BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models
BPDQ:基于可变网格的位平面分解量化用于大语言模型
机构 * Southwestern University of Finance and Economics(西南财经大学) ; The University of Hong Kong(香港大学) ; Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province(四川省人工智能与数字金融重点实验室) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) ; The Hong Kong Polytechnic University(香港理工大学) ; Sun Yat-sen University(中山大学)
AI总结 本文提出BPDQ,通过位平面和标量系数构建可变量化网格,并利用二阶信息迭代优化,实现2位下大语言模型在单张RTX 3090上达到83.85%的GSM8K准确率。