Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information
通过关键信息的分步注意力混合层蒸馏提升小模型的推理能力
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
AI总结 本文提出一种基于分步注意力的混合层蒸馏方法，通过引导学生模型逐步聚焦关键信息，提升小模型的推理能力，并在多个数学和常识推理数据集上取得一致性能提升。
Comments Accepted at EMNLP 2025
