Rethinking Output Alignment For 1-bit Post-Training Quantization of Large Language Models
重新思考1位后训练量化用于大语言模型的输出对齐
机构 * Department of Data Science and AI(数据科学与人工智能系) ; Monash University(墨尔本大学) ; Centre for Vision, Speech and Signal Processing(视觉、语音和信号处理中心) ; University of Surrey(萨里大学)
专题命中 幻觉与事实性 :alignment(title);分类 cs.LG
AI总结 本文提出一种新的1位后训练量化方法,解决输出对齐问题,通过减少层间误差累积和表示空间各向异性畸变,提升大语言模型性能。