CriticalKV: Optimizing KV Cache Eviction from an Output Perturbation Perspective
CriticalKV: 从输出扰动角度优化 KV 缓存淘汰
机构 * School of Computer Science, University of Science and Technology of China(科学技术大学计算机科学学院) ; School of Biomedical Engineering, USTC(USTC生物医学工程学院) ; Data Darkness Lab, MIRACLE Center, Suzhou Institute for Advanced Research(苏州先进研究院数据黑暗实验室、奇迹中心) ; School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院)
AI总结 本文通过分析注意力输出扰动,提出一种基于扰动约束的 KV 缓存条目选择算法,显著降低压缩损失。
Comments ICML 2026