HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
HeRo-Q: 通过Hessian条件化实现稳定低比特量化的通用框架
机构 * Beijing University of Posts and Telecommunications(北京邮电大学) ; Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) ; University of Science and Technology of China(中国科学技术大学) ; Zhejiang Lab(浙江实验室) ; Peng Cheng Laboratory(鹏城实验室)
AI总结 针对后训练量化中“低误差、高损失”的矛盾,提出HeRo-Q算法,通过轻量可学习的旋转压缩矩阵重塑损失景观,降低最大Hessian特征值,增强对量化噪声的鲁棒性,在Llama和Qwen模型上优于现有方法。