University of Edinburgh（爱丁堡大学）

Geometric Self-Distillation for Reasoning Generalization

用于推理泛化的几何自蒸馏

Josip Jukić, Ivan Titov

机构 * ILLC, University of Amsterdam（阿姆斯特丹大学伊利沙伯格学院） ； ILCC, University of Edinburgh（爱丁堡大学伊利沙伯格中心） 纠错

AI总结 研究针对大语言模型特权上下文自蒸馏中监督难以信赖、导致分布外推理能力下降的问题，提出几何自蒸馏目标GeoSD，通过Hellinger损失和近端项对抗漂移，提升了模型分布外推理准确率。

When Summaries Distort Decisions: Information Fidelity in LLM-Compressed Financial Analysis

当摘要扭曲决策：LLM压缩财务分析中的信息保真度

Hoyoung Lee, Suhwan Park, Seunghan Lee, Jun Seo, Jaehoon Lee, Sungdong Yoo, Minjae Kim, CheolWon Na, Zhangyang Wang, Zach Golkhou, Minkyu Kim, Sotirios Sabanis, Alejandro Lopez-Lira, Dhagash Mehta, Soonyoung Lee, Chanyeol Choi, Wonbin Ahn, Yongjae Lee

机构 * UNIST（全纳科学技术大学） ； LG AI Research（LG人工智能研究） ； Sungkyunkwan University（成均馆大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； J.P. Morgan Chase（摩根大通） ； State Street（州立银行） ； University of Edinburgh（爱丁堡大学） ； University of Florida（佛罗里达大学） ； BlackRock（黑石） ； LinqAlpha 纠错

AI总结 研究LLM压缩财务信息时因丢失决策相关上下文导致投资判断改变的问题，提出通过生成多个候选压缩并审计分歧的代理上下文压缩方法。

Comments Preprint