Meituan（美团）

OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond

OScaR：LLMs及更广泛场景中的极压缩KV缓存量化之奥卡姆之刀

Zunhai Su, Rui Yang, Chao Zhang, Yaxiu Liu, Yifan Zhang, Wei Wu, Jing Xiong, Dayou Du, Xialie Zhuang, Yulei Qian, Yuchen Xie, Yik-Chung Wu, Hongxia Yang, Ngai Wong

机构 * Tsinghua University（清华大学） ； Meituan LongCat Team（美团LongCat团队） ； The University of Hong Kong（香港大学） ； The University of Edinburgh（爱丁堡大学） ； UCAS（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

AI总结 本文针对LLMs中KV缓存极压缩时的量化保真问题，提出OScaR框架，通过Canalized Rotation和Omni-Token Scaling有效缓解Token Norm Imbalance，实现近无损的INT2量化性能，同时提升解码速度和吞吐量。

Comments Under review

When to Stop Reusing: Dynamic Gradient Gating for Sample-Efficient RLVR

何时停止重用：动态梯度门控用于样本高效的RLVR

Yuchun Miao, Sen Zhang, Yuqi Zhang, Yaorui Shi, Qi Gu, Xunliang Cai, Lefei Zhang

机构 * National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（国家多媒体软件工程研究中心，武汉大学计算机学院） ； Meituan Longcat Team（美团Longcat团队） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 本文提出动态梯度门控（DGG）方法，通过实时监控lm_head梯度范数来检测并阻止有害的梯度传播，从而提高样本效率和训练速度。

Comments 23 pages, 10 figures