Together AI

Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

Taylor-Calibrate：混合线性注意力蒸馏的原则性初始化

Zhongzhu Zhou, Qingyang Wu, Junxiong Wang, Mayank Mishra, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu

机构 * The University of Sydney（悉尼大学） ； Together AI ； University of California, Berkeley（加州大学伯克利分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

AI总结 提出Taylor-Calibrate方法，利用泰勒引导的教师注意力统计初始化混合线性注意力学生模型，显著减少蒸馏所需训练令牌数。

Comments 24 pages, 9 figures