QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction
QUASAR：通过损失感知重构降低量化感知训练的损失下限
机构 * Together AI ； Cornell University（康奈尔大学）
AI总结 QUASAR是一种QAT方法，通过训练循环中轻量级损失感知重构降低大语言模型量化损失下限，在2-4比特下优于现有方法，提升了低比特模型准确率。
Comments 39 pages
