University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

2607.02781 2026-07-07 cs.LG cs.AI cs.CL 新提交

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

通过拉格朗日奖励增强实现安全推理时对齐

Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）； Independent Researcher（独立研究者）

AI总结研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。

2607.02668 2026-07-07 cs.CL 新提交

Improving LLMs via Validator-to-Generator Alignment

通过验证器与生成器对齐改进大语言模型

Juan Diego Rodriguez, Jocelyn Zhang, Katrin Erk, Greg Durrett

机构 * Department of Computer Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）； Departments of Linguistics and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校语言学与计算机科学系）； Department of Computer Science & Center for Data Science, New York University（纽约大学计算机科学系及数据科学中心）

AI总结研究大语言模型不一致问题，提出基于话语频率的生成器-验证器一致性新公式，介绍\FCPA方法，实验表明该方法能提升生成器性能及两者一致性，且保持验证器质量。

2509.22851 2026-07-07 cs.LG cs.AI cs.CL 版本更新

Adaptive Margin RLHF via Preference over Preferences

通过偏好之上的偏好进行自适应边际基于人类反馈的强化学习

Yaswanth Chittepu, Prasann Singhal, Greg Durrett, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）； University of Texas at Austin（德克萨斯大学奥斯汀分校）

AI总结研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题，提出利用偏好之上的偏好推断自适应边际，介绍具体实例DPO-PoP，提升判别和生成性能，并给出采样策略。