AMD

Theory-optimal Quantization Based on Flatness

基于平坦度的理论最优量化

Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； AMD ； Ritzz-AI 纠错

AI总结 本文提出了一种基于平坦度的理论最优量化方法，通过分析量化误差与异常值之间的数学关系，引入了平坦度指标来量化异常值分布，并提出了双向对角量化框架BDQ，有效分散异常值模式，提升了大语言模型在低比特精度下的性能。

Comments 16 pages, 2 figures