Together AI

SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving

SAW-INT4: 为现实世界LLM服务的系统感知4位KV缓存量化

Jinda Jia, Jisen Li, Zhongzhu Zhou, Jung Hwan Heo, Jue Wang, Tri Dao, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu, Tianyi Zhang, Xiaoxia Wu

机构 * Together AI 纠错

AI总结 本文提出SAW-INT4方法，通过系统感知的4位KV缓存量化，在满足实际服务约束下实现高精度与高效率的平衡，恢复近全部精度损失。