Massachusetts Institute of Technology（麻省理工学院）

SoftWater: Class-Aware Rate Allocation for Softmax Quantization

SoftWater：面向Softmax量化的类别感知速率分配

Joao V. Cavalcanti, Ashia C. Wilson

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 针对小型LLM的Softmax层量化问题，提出类别感知速率分配方法SoftWater，在多模型上优于现有量化器，可大幅降低输出层KL散度，使输出层量化的困惑度损失可控。