Rethinking the Divergence Regularization in LLM RL
重新思考LLM强化学习中的散度正则化
机构 * Tencent Hunyuan(腾讯混元) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; NUS(新加坡国立大学)
AI总结 针对PPO等方法的硬裁剪或硬掩码在长尾词汇中分布偏移代理不佳的问题,提出DRPO,用平滑的优势加权二次正则化替代硬掩码,保持信任区域几何的同时提供连续梯度权重,提升训练稳定性和效率。
高校专区
重新思考LLM强化学习中的散度正则化
机构 * Tencent Hunyuan(腾讯混元) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; NUS(新加坡国立大学)
AI总结 针对PPO等方法的硬裁剪或硬掩码在长尾词汇中分布偏移代理不佳的问题,提出DRPO,用平滑的优势加权二次正则化替代硬掩码,保持信任区域几何的同时提供连续梯度权重,提升训练稳定性和效率。
中性面具:RLHF如何提供浅层对齐而保留大语言模型中的党派结构
机构 * Vanderbilt University(范德堡大学) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; National Center for Supercomputing Applications(国家超级计算应用中心)
AI总结 研究RLHF对Llama 3.1 8B党派倾向的影响,发现RLHF仅压缩党派信号方差以实现中性输出,而非移除党派结构,且特征级操控可绕过对齐。
PaperMentor:面向Overleaf的AI研究论文写作人本多智能体辅导系统
机构 * CMU(卡内基梅隆大学) ; Jinesis Lab, University of Toronto & Vector Institute(Jinesis实验室,多伦多大学与向量研究所) ; EuroSafeAI ; ETHZ(苏黎世联邦理工学院) ; EPFL(洛桑联邦理工学院) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; Max Planck Institute for Intelligent Systems, Tübingen, Germany(马克斯·普朗克智能系统研究所,德国图宾根)
AI总结 提出PaperMentor,一种在Overleaf中提供内联建议的人本写作助手,通过专家技能库和12个专业智能体提供可操作反馈,用户研究中90.6%建议被认为可操作。
Comments Accepted to the ACL 2026 Demo Track
放大镜:定位和操控大语言模型内的党派方向
机构 * Vanderbilt University(范德比尔特大学) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 通过线性探针在Llama 3.1 8B Instruct模型的隐藏状态中定位党派政治身份方向,并利用稀疏自编码器分解为可解释特征,因果干预可系统性改变模型输出,证明党派偏见是可定位和操控的几何特征。
超越个体角色:将合成对话对齐到群体层面的行为分布
机构 * Amazon(亚马逊) ; University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校) ; University College London(伦敦大学学院)
AI总结 提出GroupPersona框架,通过将参考语料库的行为分布转化为生成控制,使合成对话语料库在群体层面与参考分布对齐,在12个行为属性上Jensen-Shannon散度降低24.4%。
视觉语言模型能否感知传感器所感?一种可扩展的专家引导设计用于从街景评估轮椅可达性
机构 * University of Florida(佛罗里达大学) ; University of South Florida(南佛罗里达大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 本文提出专家引导的检索增强框架,利用视觉语言模型从谷歌街景图像识别轮椅可达性障碍,通过GPS轮椅停留行为验证,表明VLM评分与移动摩擦部分一致,但细粒度障碍识别有限。
LEAF: 无需分支的树生长方法用于语音感知大语言模型后训练
机构 * University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 针对语音感知大语言模型后训练中GRPO方法粗粒度信用分配问题,提出LEAF方法,通过回溯式树结构学习、高信息量边界选择和跨度级优势分配,在语音问答和翻译任务上超越GRPO。
Comments 15 pages, 3 figures, 11 tables
基于知识引导扰动的鲁棒生物医学出版物类型与研究设计分类
机构 * School of Information Sciences(信息科学学院) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Department of Psychiatry(精神病学系) ; University of Illinois Chicago(伊利诺伊大学芝加哥分校)
AI总结 本文提出基于受控语义扰动的评估框架,通过实体遮蔽和领域对抗训练提升生物医学出版物类型分类的鲁棒性,发现通过抑制非任务定义特征可缓解鲁棒性与领域准确性之间的权衡。
Comments Accepted by IEEE ICHI 2026
基于条件的推理用于依赖上下文的生物医学问答
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; National Institutes of Health(美国国立卫生研究院)
AI总结 本文提出CondMedQA基准和Condition-Gated Reasoning框架,通过构建条件感知知识图谱,提升生物医学问答中条件依赖的推理能力。
TAO:面向浮点神经网络的容忍感知乐观验证
机构 * Princeton University(普林斯顿大学) ; HKUST (GZ)(香港科技大学(广州)) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 提出TAO协议,通过算子级容忍区域和Merkle锚定的争议游戏,在不依赖可信硬件或确定性内核的情况下验证浮点神经网络输出,开销仅0.3%。
Comments 18 pages, 8 figures
Journal ref Proceedings of the 21st European Conference on Computer Systems, (2026) 1515-1532
一种统一评估指导的查询相关提示优化框架
机构 * School of Information Sciences, University of Illinois Urbana-Champaign(信息科学学院,伊利诺伊大学厄巴纳-香槟分校) ; College of Engineering, Carnegie Mellon University(工程学院,卡内基梅隆大学)
AI总结 提出一个基于性能导向的提示评估框架,并开发一个无需执行的评估器来预测多维质量分数,进而指导一个度量感知优化器以可解释的查询相关方式重写提示,在多个数据集和骨干模型上优于现有方法。
打破知识的诅咒:为实时在线会议设计个性化术语支持
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Fujitsu Research of America(富士通美国研究)
AI总结 提出ParseJargon系统,利用用户画像和会话内反馈实现个性化术语识别,提升在线会议中跨学科听众的理解和参与度。
Comments Portions of this work appeared in CHI '26 Extended Abstracts ("Breaking the Curse of Knowledge: Toward Personalized Jargon Support in Online Meetings") and ACL '26 System Demonstrations ("ParseJargon: Personalized Real-time Jargon Support in Online Meetings")
在潜在空间中使用里奇流进行偏微分方程的前向学习
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 本文提出基于流形的机器学习编码器-解码器方法,通过里奇流演化潜在空间来学习时间动态,特别是偏微分方程。方法通过参数化潜在流形并模拟物理约束下的里奇流,实现低维表示学习及对抗鲁棒性。
Comments Fixed a small error in appendix; some improvements to experiments
基于GPR波形的贝叶斯反演用于 subsurface 物性表征:一种面向不确定性的土壤含水率和覆盖物性质检索方法
机构 * Civil and Environmental Engineering, University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校土木与环境工程系) ; Computer Science, University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系) ; Pacific Wildland Fire Sciences Laboratory, United States Forest Service(美国森林服务局太平洋野火科学实验室)
AI总结 本文提出基于贝叶斯模型更新的GPR波形反演方法,用于预测土壤和覆盖层的含水率和深度,通过实验室和实地数据验证,结果与TDR和重力法一致,提供不确定性的概率估计。
Comments Total 34 pages, 17 Figures. This paper under review in a journal but has not been published yet