大模型对齐与安全

DT2IT-MRM: Debiased Preference Construction and Iterative Training for Multimodal Reward Modeling

DT2IT-MRM：去偏偏好构建与迭代训练用于多模态奖励建模

Zhihong Zhang, Jie Zhao, Xiaojian Huang, Jin Xu, Zhuodong Luo, Xin Liu, Jiansheng Wei, Xuejin Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出DT2IT-MRM方法，通过去偏偏好构建、文本到图像偏好数据重构和迭代训练框架，解决多模态奖励建模中偏好数据的偏差、噪声和不一致问题，并在三个基准测试中取得新突破。

Comments code will be uploaded to https://github.com/zhang123434/DT2IT-MRM

Logit Arithmetic Elicits Long Reasoning Capabilities Without Training

逻辑运算激发长推理能力而不需训练

Yunxiang Zhang, Muhammad Khalifa, Lechen Zhang, Xin Liu, Ayoung Lee, Xinliang Frederick Zhang, Farima Fatahi Bayat, Lu Wang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出ThinkLogit方法，通过逻辑运算将小型推理引导器的能力转移至大模型，无需训练即可提升推理性能，实验显示在六个基准测试中实现21.5%-24.2%的提升。

Comments Accepted to ACL Findings 2026

Towards Robust Endogenous Reasoning: Unifying Drift Adaptation in Non-Stationary Tuning

迈向稳健的内生推理：统一非平稳调谐中的漂移适应

Xiaoyu Yang, En Yu, Wei Duan, Jie Lu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faculty of Engineering and Information Technology（工程与信息技术学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出CPO++框架，解决多模态大语言模型在内生推理中的漂移问题，通过反事实推理与领域知识结合，提升推理连贯性和决策精度，适用于医疗诊断和自动驾驶等安全关键领域。

Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation

通过联合解码实现知识整合的检索增强生成

Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Yuxi Zhang, Huimin Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Kam-Fai Wong, Xian Wu

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of International Relations（国际关系大学） ； Tencent Jarvis Lab（腾讯Jarvis实验室） ； Westlake University（西湖大学） ； Ministry of Education Key Laboratory of High Confidence Software Technologies, CUHK（教育部高可信软件技术重点实验室，香港中文大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出GuarantRAG框架，通过分离推理与证据整合，提升检索增强生成的准确性和事实性，实验显示在五个问答基准上准确率提升12.1%，幻觉减少16.3%。

Visual Preference Optimization with Rubric Rewards

基于评分标准的视觉偏好优化

Ya-Qi Yu, Fangyu Hong, Xiangyang Qu, Hao Wang, Gaojie Wu, Qiaoyu Luo, Nuo Xu, Huixin Wang, Wuheng Xu, Yongxin Liao, Zihao Chen, Haonan Li, Ziming Li, Dezhi Peng, Minghui Liao, Jihao Wu, Haoyu Ren, Dandan Tu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出rDPO框架，通过实例特定的评分标准提升多模态任务中的偏好优化效果，实验表明其在多个基准测试中优于现有方法。

Graph-Based Chain-of-Thought Pruning for Reducing Redundant Reflections in Reasoning LLMs

基于图的链式推理剪枝：减少推理LLM中冗余反射

Hongyuan Yuan, Xinran He, Run Shao, Bolei He, Xianwei Xue, Mengke Chen, Qiutong Pan, Haiwei Wang, Haifeng Li

机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出基于图的链式推理优化框架，通过剪枝策略减少推理过程中冗余反射，提升效率与准确性。

Comments Accepted by ACL2026 Findings

Aligning What LLMs Do and Say: Towards Self-Consistent Explanations

对LLMs的行为与说法进行对齐：迈向自洽的解释

Sahar Admoni, Ofra Amir, Assaf Hallak, Yftah Ziser

机构 * Technion – Israel Institute of Technology（以色列理工学院） ； Nvidia Research（英伟达研究院） ； University of Groningen（格罗宁根大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 研究通过比较回答与解释的特征重要性分布，发现后验自一致性银行(PSCB)能更可靠地体现模型决策与解释的一致性，应用DPO优化提升对齐性而不影响任务精度。

Comments Accepted to Findings of ACL 2026

The Theorems of Dr. David Blackwell and Their Contributions to Artificial Intelligence

大卫·布莱克韦尔定理及其对人工智能的贡献

Napoleon Paxton

机构 * School of Information, University of California, Berkeley（加州大学伯克利分校信息学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文综述了布莱克韦尔的三个重要定理及其对现代人工智能和机器学习的影响，包括马尔可夫链蒙特卡罗推断、自主机器人导航、生成模型训练等领域的应用。

Comments Survey article, 19 pages, 1 figure, 2 tables

Reinforcement Learning from Human Feedback: A Statistical Perspective

基于人类反馈的强化学习：统计学视角

Pangpang Liu, Chengchun Shi, Will Wei Sun

机构 * Department of Biostatistics, Yale University（耶鲁大学生物统计学系） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计学系） ； Mitch Daniels School of Business, Purdue University（普渡大学米奇·丹尼尔斯商学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文从统计学角度探讨了基于人类反馈的强化学习，分析了其在大语言模型对齐中的核心方法与挑战，包括奖励模型学习和策略优化，并讨论了相关统计模型和最新研究进展。

Care-Conditioned Neuromodulation for Autonomy-Preserving Supportive Dialogue Agents

关怀条件神经调节用于自主性保留的支持性对话代理

Shalima Binta Manir, Tim Oates

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；harmlessness(abstract)；分类 cs.LG

AI总结 本文提出Care-Conditioned Neuromodulation方法，通过状态依赖控制框架提升对话代理在支持性任务中的自主性保留能力，实验表明其在多轮对话中有效提升自主性支持与帮助性。

AI Empathy Erodes Cognitive Autonomy in Younger Users

人工智能共情削弱年轻用户的认知自主性

Junfeng Jiao, Abhejay Murali, Saleh Afroogh

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CY

AI总结 本文研究人工智能共情对年轻用户认知自主性的影响，指出情感共鸣可能强化用户情绪状态，削弱独立情绪管理和批判性思维能力，提出以功能中性为核心的斯多葛式架构以保护用户自主性。

Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling

通过解耦奖励建模实现隐私保护的人类反馈强化学习

Young Hyun Cho, Will Wei Sun

机构 * Purdue University（普渡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出一种隐私保护框架，仅在奖励学习中施加差分隐私，通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项，且样本量和隐私水平影响主导项，实验验证了理论预测。

Agentic AI and the next intelligence explosion

代理AI与下一次智能爆炸

James Evans, Benjamin Bratton, Blaise Agüera y Arcas

机构 * Paradigms of Intelligence Team, Google（谷歌智能范式团队） ； University of Chicago（芝加哥大学） ； Santa Fe Institute（圣菲研究所） ； Antikythera, Berggruen Institute（安提基特拉与伯格格林研究所） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文探讨代理AI如何通过模拟内部思想社会解决复杂任务，提出智能爆炸将不再是单一硅基脑，而是复杂社会结构。

Comments 4 pages

Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

通过元数据增强的RAG流水线和直接偏好优化增强法律LLM

Suyash Maniyar, Deepali Singh, Rohith Reddy

专题命中 偏好对齐 ：DPO(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出元数据增强的RAG和直接偏好优化，解决法律领域长文本检索和生成中的精度问题，提升模型的可靠性与安全性。

Comments 12 pages including Appendix

Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning?

注意罕见病：罕见皮肤疾病能否通过诊断推理可靠诊断？

Yang Liu, Jiyao Yang, Hongjin Zhao, Xiaoyong Li, Yanzhe Ji, Xingjian Li, Runmin Jiang, Tianyang Wang, Saeed Anwar, Dongwoo Kim, Yue Yao, Zhenyue Qin, Min Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Australian National University（澳大利亚国立大学） ； University of Western Australia（西澳大学） ； POSTECH ； Yale University（耶鲁大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出DermCase基准，通过多模态数据评估罕见皮肤疾病诊断推理能力，揭示现有模型在诊断准确性和临床推理中的不足。

The Institutional Scaling Law: Non-Monotonic Fitness, Capability-Trust Divergence, and Symbiogenetic Scaling in Generative AI

机构规模定律：非单调适应度、能力-信任分歧与共生式规模在生成AI中的体现

Mark Baciak, Thomas A. Cellucci

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出机构规模定律，揭示机构适应度非单调随模型规模变化，证明能力与信任在临界规模后正式分歧，并展示领域特定模型的协同系统在特定环境中优于前沿通用模型。

Objective Decoupling in Social Reinforcement Learning: Recovering Ground Truth from Sycophantic Majorities

社会强化学习中的目标解耦：从趋炎附势的多数中恢复真实目标

Majid Ghasemi, Mark Crowley

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出Epistemic Source Alignment（ESA）方法，解决社会强化学习中因多数评估者偏见导致的目标解耦问题，通过判断反馈来源而非信号本身，确保收敛到真实目标。

R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging

R-Align: 通过以推理为中心的元判断增强生成奖励模型

Yanlin Lai, Mitt Huang, Hangyu Guo, Xiangfeng Wang, Haodong Li, Shaoxiong Zhan, Liang Zhao, Chengyuan Yao, Yinmin Zhang, Qi Han, Chun Yuan, Zheng Ge, Xiangyu Zhang, Daxin Jiang

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 R-Align通过引入黄金判断和明确监督推理对齐，提高生成奖励模型的推理一致性，从而增强RLHF的性能。

Comments Github: https://github.com/lyn22333/R-Align Huggingface: https://huggingface.co/collections/lyn22333/r-align

Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models

结果准确性不够：对奖励模型推理过程的对齐

Binghai Wang, Yantao Liu, Yuxuan Liu, Tianyi Tang, Shenzhi Wang, Chang Gao, Chujie Zheng, Yichang Zhang, Le Yu, Shixuan Liu, Tao Gui, Qi Zhang, Xuanjing Huang, Bowen Yu, Fei Huang, Junyang Lin

机构 * Alibaba Group（阿里巴巴集团） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文提出推理一致性度量，结合结果准确性改进生成奖励模型训练，提升RLHF性能并减少欺骗性对齐问题。

Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization

通过熵增强的多轮偏好优化构建编码代理

Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

机构 * Department of Computer Science, Northwestern University, Evanston, USA（西北大学计算机科学系） ； Meta AI, Bellevue, USA（Meta AI） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出EntroPO框架，通过增强熵的方法提升多轮交互中编码代理的性能，实现更高效的测试时间扩展。

SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization

SLIME：偏好优化中的稳定性似然隐边界的隐式约束

Maksim Afanasyev, Illarion Iov

机构 * Floating Point Sigma Lab（浮点数Sigma实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 SLIME通过引入稳定性似然隐边界的隐式约束，解决偏好优化中的目标不匹配问题，提升模型生成稳定性。

One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation

一个尺寸，多种适配：在大规模广告图像生成中对多样化群体点击偏好进行对齐

Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

机构 * NLPR & MAIS, CASIA（中国科学院长春光学精密机械与物理研究所 & 中国科学院自动化所） ； School of AI, UCAS（中国科学院大学人工智能学院） ； HKUST(gz)（香港科技大学） ； PRLab, NJU（南京大学PRLab） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出OSMF框架，通过自适应分组和群组感知多模态模型，解决广告图像生成中用户群体点击偏好多样性的优化问题。

Reward Model Interpretability via Optimal and Pessimal Tokens

通过最优和最劣 tokens 实现奖励模型可解释性

Brian Christian, Hannah Rose Kirk, Jessica A. F. Thompson, Christopher Summerfield, Tsvetomira Dumbalska

机构 * University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：harmlessness(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文通过分析奖励模型对不同token的评分，揭示了模型间的异质性、评分不对称性及潜在偏见，挑战了奖励模型的可互换性及代理人类价值观的假设。

Comments Accepted for publication in Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency (FAccT '25), to appear June 2025

CATTO: Balancing Preferences and Confidence in Language Models

CATTO: 在语言模型中平衡偏好与信心

Nisarg Parikh, Ananya Sai, Pannaga Shivaswamy, Kunjal Panchal, Andrew Lan

机构 * Adobe 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 CATTO通过校准意识的标记级训练目标，在保持任务准确性的同时，有效提升语言模型预测信心，减少校准误差，提高输出选择的可靠性。

Small-Margin Preferences Still Matter-If You Train Them Right

小边距偏好依然重要-如果你训练得当的话

Jinlong Pang, Zhaowei Zhu, Na Di, Yichi Zhang, Yaxuan Wang, Chen Qian, Yang Liu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Northeastern University（东北大学） ； DIMACS, Rutgers University（Rutgers大学DIMACS研究中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本文提出MixDPO，一种基于难度的训练策略，通过课程学习和混合目标优化，提升LLM在模糊配对上的对齐效果。

Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains

直接偏好优化与评分信息：实用算法和可证明的收益

Luca Viano, Ruida Zhou, Yifan Sun, Mahdi Namazifar, Volkan Cevher, Shoham Sabach, Mohammad Ghavamzadeh

机构 * EPFL（苏黎世联邦理工学院） ； Amazon AGI（亚马逊人工智能实验室） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Cornell University（康奈尔大学） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 本文提出利用评分间隙信息改进直接偏好优化算法，通过理论证明和实验验证，在准确评分间隙条件下实现更快的统计速率，并在多种LLM和基准上表现优异。

Helios: A Foundational Language Model for Smart Energy Knowledge Reasoning and Application

Helios：一种面向智能能源知识推理与应用的基础语言模型

Haoyu Jiang, Fanjie Zeng, Boan Qu, Xiaojie Lin, Wei Zhong

机构 * College of Energy Engineering, Zhejiang University（浙江大学能源工程学院） ； Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院） ； Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 Helios是一种专为智能能源领域设计的基础语言模型，通过构建多智能体协作框架和相关数据集，提升领域知识、任务执行准确性和与人类偏好的对齐程度。

Think Twice: Branch-and-Rethink Reasoning Reward Model

再思两次：分支与再思考推理奖励模型

Yizhu Jiao, Jiaqi Zeng, Julien Veron Vialard, Oleksii Kuchaiev, Jiawei Han, Olivier Delalleau

机构 * NVIDIA（NVIDIA公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL

AI总结 BR-RM通过两轮次的分支与再思考机制，改进奖励模型的判断准确性与敏感性，实现更精确的推理能力。

Comments Source Code: https://github.com/yzjiao/BR-RM. Model Checkpoints: https://huggingface.co/nvidia/Qwen3-Nemotron-14B-BRRM and https://huggingface.co/nvidia/Qwen3-Nemotron-8B-BRRM

Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models

医疗大视觉-语言模型的直接偏好优化基准测试

Dain Kim, Jiwoo Lee, Jaehoon Yun, Yong Hoe Koo, Qingyu Chen, Hyunjae Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； AIGEN Sciences（AIGEN公司） ； Hanyang University College of Medicine（翰林大学医学院） ； Asan Medical Center, University of Ulsan College of Medicine（釜山大学医学院阿桑医院） ； Yale University（耶鲁大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 本文评估了医疗领域中多种DPO变体，发现其在视觉问答任务中存在性能不一致和视觉误解问题，并提出针对性策略提升3.6%。

Comments EACL 2026 (Findings)

CTPD: Cross Tokenizer Preference Distillation

CTPD: 跨分词器偏好蒸馏

Truong Nguyen, Phi Van Dat, Ngan Nguyen, Linh Ngo Van, Trung Le, Thanh Hong Nguyen

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL

AI总结 CTPD提出一种跨分词器的偏好蒸馏框架，通过对齐跨度投影、跨分词器重要性采样和教师锚定参考，实现不同分词器模型间的偏好信息高效转移。

Comments AAAI 2026