RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory
RateQuant: 通过率-失真理论实现最优混合精度KV缓存量化
机构 * BA TechWorks (BMW Group)(BA TechWorks(宝马集团)) ; National University of Singapore(新加坡国立大学) ; Tsinghua University(清华大学)
AI总结 RateQuant利用率-失真理论优化混合精度KV缓存量化,通过为不同重要性头部分配不同位宽,减少内存瓶颈,提升生成性能。
Comments 18 pages, 7 figures, 5 tables