C$^2$KV: Compressed and Composable KV Cache Reuse for Efficient LLM Inference
C$^2$KV:用于高效大语言模型推理的压缩可组合键值缓存重用
机构 * Alibaba Group(阿里巴巴集团)
AI总结 研究针对长上下文LLM推理成本高问题,提出C$^2$KV框架,联合优化KV提取与推理拼接,学习可组合压缩的KV缓存流形,引入轻量级边车提取器及协同训练策略,显著降低缓存成本,实现推理加速并保持生成质量。
Comments 12 pages, 9 figures, accepted by ACM SIGKDD 2026