Invariant Gradient Alignment for Robust Reasoning Distillation
不变梯度对齐用于鲁棒推理蒸馏
机构 * University of Oxford(牛津大学) ; FLock.io
专题命中 其他推理 :reasoning(title,abstract);chain-of-thought(abstract);分类 cs.AI、cs.LG
AI总结 提出不变梯度对齐(IGA)框架,通过逻辑同构集、连续梯度冲突掩码和截断SVD投影,对齐不同语义域但逻辑结构相同的梯度更新,提升大语言模型在分布外输入上的鲁棒性。
Comments 30 Pages
Journal ref In Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases 2026