大模型对齐与安全

Flexible Agent Alignment with Goal Inference from Open-Ended Dialog

基于开放对话的目标推断的灵活代理对齐

Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OU-AGs框架，通过开放对话中目标推断提升代理对齐能力，采用GOOD方法实现动态目标分布，提高多领域任务中的意图对齐效果。

Comments Previous version of the paper was titled: Open-Universe Assistance Games

When Helpfulness Becomes Sycophancy: Sycophancy is a Boundary Failure Between Social Alignment and Epistemic Integrity in Large Language Models

当有益变成谄媚：谄媚是大型语言模型中社会契合与认知完整性之间的边界失败

Jiechen Li, Catherine A. Barry, Rishika Randev, Janet Chen, Ella Jorgensen, Brinnae Bent

机构 * Duke University（杜克大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文探讨大型语言模型中谄媚现象作为社会契合与认知完整性之间边界失败的问题，提出三条件框架以界定谄媚，并讨论其分类、评估及缓解策略。

Comments Currently under review

Beyond Fixed Psychological Personas: State Beats Trait, but Language Models are State-Blind

超越固定心理人格：状态胜过特质，但语言模型是状态盲的

Tamunotonye Harry, Ivoline Ngong, Chima Nweke, Yuanyuan Feng, Joseph Near

机构 * University of Vermont（佛蒙特大学） ； Independent Researcher（独立研究者） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过Chameleon数据集发现语言模型对状态盲，而奖励模型对用户状态反应不一致，推动情感计算和个性化对话研究。

Comments Accepted to Findings of ACL 2026

Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization

融合你的方式：通过直接偏好优化对齐图像融合与异质需求

Weijian Su, Songqian Zhang, Yuqi Han, Jian Zhuang, Yongdong Huang, Qiang Zhang

机构 * School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） ； Key Laboratory of Social Computing and Cognitive Intelligence (Dalian University of Technology), Ministry of Education（社会计算与认知智能重点实验室（大连理工大学），教育部） ； Institute of Image Processing and Understanding, North Minzu University（北华大学图像处理与理解研究所） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)

AI总结 本文提出DPOFusion框架，通过整合PALDM和PCLDM实现任务引导和偏好适应的图像融合，解决人类和机器视觉的异质需求问题，提升融合质量和任务导向的迁移能力。

Comments Accepted by CVPR 2026

Epistemic Observability in Language Models

语言模型中的认知可观察性

Tony Mason, Vaastav Anand

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现语言模型在制造内容时自信度最高，证明这是观察问题而非能力问题，提出通过计算副产品提升检测准确性。

Optimal Transport for LLM Reward Modeling from Noisy Preference

基于噪声偏好的LLM奖励建模中的最优传输

Licheng Pan, Haochen Yang, Haoxuan Li, Yunsheng Lu, Yongqi Tong, Yinuo Wang, Shijian Wang, Zhixuan Chu, Lei Shen, Yuan Lu, Hao Wang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出SelectiveRM框架，利用最优传输对噪声偏好进行去噪，通过联合一致性差异对齐模型预测分布与偏好数据，并引入质量放松机制以排除矛盾样本，提升奖励建模性能。

Information Theoretic Adversarial Training of Large Language Models

信息论视角下的大语言模型对抗训练

Yiwei Zhang, Jeremiah Birrell, Reza Ebrahimi, Rouzbeh Behnia, Jason Pacheco, Elisa Bertino

机构 * Purdue University（普渡大学） ； Texas State University（德克萨斯州立大学） ； University of South Florida（佛罗里达州立大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出WARDEN框架，通过信息论方法动态调整对抗示例权重，提升大语言模型的鲁棒性，减少攻击成功率且保持模型效用。

Sample-efficient LLM Optimization with Reset Replay

基于重置回放的高效大语言模型优化

Zichuan Liu, Jinyu Wang, Lei Song, Jiang Bian

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出LoRR方法，通过高重播训练和周期性重置策略提升偏好优化的样本效率，实验表明其在数学和通用推理基准上显著提升性能。

Beyond Factual Correctness: Mitigating Preference-Inconsistent Explanations in Explainable Recommendation

超越事实正确性：缓解可解释推荐中的偏好不一致解释

Chengkai Wang, Baisong Liu

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出PURE框架，通过选择-生成范式缓解推荐中因偏好不一致导致的解释问题，提升解释可信度与推荐准确性。

Comments The authors have identified an issue in the evaluation protocol in Section 5.1.3. Feature extraction and semantic matching used to compute P-EHR require correction and re-validation, as they may not have been applied consistently across all generated explanations and baselines. This may affect part of the reported quantitative results and analysis, so the authors withdraw this version

Reinforced Informativeness Optimization for Long-Form Retrieval-Augmented Generation

强化信息量优化用于长文本检索增强生成

Yuhao Wang, Ruiyang Ren, Yucheng Wang, Wayne Xin Zhao, Jing Liu, Hua Wu, Haifeng Wang

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学公安学院人工智能学院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.CL

AI总结 本文提出RioRAG框架，通过 nugget-centric 验证实现可验证的信息量优化，提升长文本检索增强生成的准确性和稳定性。