Georgia Institute of Technology（佐治亚理工学院）

UniSD: Towards a Unified Self-Distillation Framework for Large Language Models

UniSD：面向大语言模型的统一自蒸馏框架

Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Josiah Hester, Jindong Wang, Srijan Kumar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽大学） 纠错

AI总结 本文提出UniSD框架，系统研究自蒸馏方法，通过整合多种机制提升监督可靠性、表征对齐和训练稳定性，从而在多个基准和模型上验证自蒸馏的有效性，并构建出性能最优的UniSDfull流水线。

Comments Website: https://unifiedsd.github.io/ Code: https://github.com/Ahren09/UniSD

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

‘稍微’意味着‘ somewhat’吗？在LLM数值行为中测量模糊强度词

Daniel Tabach

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本文研究了语言模型在必须生成数值行为时是否保留强度词的顺序意义，发现模型在数值输出中压缩了模糊强度词，其解释依赖于状态并接近操作边界时出现不连续性。

Comments 9 figures, 2 tables, 16 references

MetaDNS: Enhancing Exploration in Discrete Neural Samplers via Well-Tempered Metadynamics

MetaDNS: 通过良好温控元动力学增强离散神经采样器的探索

Xiaochen Du, Juno Nam, Jaemoo Choi, Wei Guo, Sathya Edamadaka, Junyi Sha, Elton Pan, Yongxin Chen, Molei Tao, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本文提出MetaDNS，一种将良好温控元动力学整合到离散扩散或自回归采样器中的通用框架，以解决多模式和能量屏障离散分布采样中的模式崩溃问题，并实现自由能重建。

Comments Accepted at ICML 2026