University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

2604.16217 2026-04-20 cs.CL cs.AI

Beyond Surface Statistics: Robust Conformal Prediction for LLMs via Internal Representations

超越表面统计：通过内部表示实现LLM的鲁棒置信预测

Yanli Wang, Peng Kuang, Xiaoyu Han, Kaidi Xu, Haohan Wang

机构 * Imperial College London（伦敦帝国学院）； Zhejiang University（浙江大学）； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）； City University of Hong Kong（香港城市大学）

AI总结本文提出一种基于内部表示的置信预测框架，通过层间信息评分提升LLM在分布偏移下的鲁棒性，优于文本层面基线方法。

2604.15574 2026-04-20 cs.CL cs.AI cs.LG cs.NE

Why Fine-Tuning Encourages Hallucinations and How to Fix It

为何微调会鼓励幻觉以及如何解决

Guy Kaplan, Zorik Gekhman, Zhen Zhu, Lotem Rozner, Yuval Reif, Swabha Swayamdipta, Derek Hoiem, Roy Schwartz

机构 * Hebrew University of Jerusalem（海法大学）； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）； Technion – Israel Institute of Technology（技术学院 – 以色列理工学院）； University of Southern California（南加州大学）

AI总结本文探讨微调导致幻觉的原因，提出基于自蒸馏的微调方法以减少幻觉，通过抑制输出分布漂移提升事实学习效果。

2604.15416 2026-04-20 cs.LG cs.AI math.OC

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

StoSignSGD：无偏结构随机性修正SignSGD用于训练大语言模型

Dingzhi Yu, Rui Pan, Yuxing Liu, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

AI总结本文提出StoSignSGD算法，通过在sign操作中注入结构随机性，解决SignSGD在非光滑目标下的发散问题，理论和实验均证明其在凸和非凸优化中的优越性。

2510.07043 2026-04-20 cs.LG

COMPASS: Benchmarking Constrained Optimization in LLM Agents

COMPASS：评估LLM代理在约束优化中的表现

Tian Qin, Felix Bai, Ting-Yao Hu, Raviteja Vemulapalli, Hema Swetha Koppula, Zhiyang Xu, Bowen Jin, Mert Cemri, Jiarui Lu, Zirui Wang, Meng Cao

机构 * Harvard University（哈佛大学）； Apple（苹果公司）； Virginia Tech（弗吉尼亚理工学院）； UIUC（伊利诺伊大学香槟分校）； UC Berkeley（加州大学伯克利分校）

AI总结 COMPASS基准测试评估LLM代理在真实旅行规划中的约束优化能力，揭示当前模型在可行性与最优性之间存在显著差距，表明搜索空间探索不足是核心限制，编码代理提供潜在解决方案。

2509.05489 2026-04-20 cs.LG

Self-Aligned Reward: Towards Effective and Efficient Reasoners

自对齐奖励：迈向高效且有效的推理器

Peixuan Han, Adit Krishnan, Gerald Friedland, Jiaxuan You, Chris Kong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）； Amazon Web Services（亚马逊网络服务）

AI总结本文提出自对齐奖励(SAR)，通过补充可验证奖励以提升推理准确性和效率，实验表明SAR在4个模型7个基准上提升了4%的准确率并降低了30%的计算成本。

2506.08125 2026-04-20 cs.LG cs.CL

Not All Tokens Matter: Towards Efficient LLM Reasoning via Token Significance in Reinforcement Learning

并非所有标记都重要：通过强化学习中的标记重要性实现高效的LLM推理

Hanbing Liu, Lang Cao, Yuanyi Ren, Mengyu Zhou, Haoyu Dong, Xiaojun Ma, Shi Han, Dongmei Zhang

机构 * Tsinghua University（清华大学）； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）； Peking University（北京大学）； Qwen Large Model Application Team, Alibaba（阿里云文大模型应用团队）； Microsoft（微软）； Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院 ubiquitous 数据赋能重点实验室）

AI总结本文提出通过标记重要性优化强化学习，减少冗余并提升LLM推理效率和准确性，实验显示响应长度显著缩短且正确性保持或提升。