University of Edinburgh（爱丁堡大学）

Geometric Self-Distillation for Reasoning Generalization

用于推理泛化的几何自蒸馏

Josip Jukić, Ivan Titov

机构 * ILLC, University of Amsterdam（阿姆斯特丹大学伊利沙伯格学院） ； ILCC, University of Edinburgh（爱丁堡大学伊利沙伯格中心） 纠错

AI总结 研究针对大语言模型特权上下文自蒸馏中监督难以信赖、导致分布外推理能力下降的问题，提出几何自蒸馏目标GeoSD，通过Hellinger损失和近端项对抗漂移，提升了模型分布外推理准确率。