OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
OSCAR: 2位KV缓存量化中的离线频谱协方差感知旋转
机构 * Together AI ； University of Sydney（悉尼大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
AI总结 本文提出OSCAR方法，通过离线估计注意力感知的协方差结构，实现2位KV缓存量化的高效和准确，同时开发了可部署的系统，提升了LLM服务框架的性能和效率。
Comments 35 pages, 10 figures
