大模型对齐与安全

Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive

代理与架构限制：为何基于优化的系统无法回应规范

Radha Sarma

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.CY

AI总结 本文指出基于优化的系统无法回应规范，提出真正的代理性需要不可比较的边界和否定性回应机制，揭示了优化与规范治理的不兼容性及由此引发的收敛危机。

Comments About 10,600 words in all (includes ~1000 words of literature and ~2400 words of Appendices). Under journal review

Solving the Granularity Mismatch: Hierarchical Preference Learning for Long-Horizon LLM Agents

解决粒度不匹配问题：用于长周期LLM代理的层次化偏好学习

Heyang Gao, Zexu Sun, Erxue Min, Hengyi Cai, Shuaiqiang Wang, Dawei Yin, Xu Chen

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出层次化偏好学习方法，通过双层课程引导解决LLM代理长周期任务中的粒度不匹配问题，提升多粒度偏好优化能力。

Comments Accepted to ICLR 2026

When Data is the Algorithm: A Systematic Study and Curation of Preference Optimization Datasets

当数据成为算法：对偏好优化数据集的系统研究与整理

Aladin Djuhera, Farhan Ahmed, Swanand Ravindra Kadhe, Syed Zawad, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统研究并整理了多个开源DPO数据集，提出UltraMix混合数据集，通过Magpie框架进行精细标注，揭示偏好质量差异，并在关键基准上超越最佳单个数据集性能。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR) 2026

EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

EditReward：一种用于指令引导图像编辑的人类对齐奖励模型

Keming Wu, Sicong Jiang, Max Ku, Ping Nie, Minghao Liu, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； McGill University（麦吉尔大学） ； Independent（独立研究者） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EditReward是一种基于人类偏好的奖励模型，通过大规模标注数据提升图像编辑任务的质量与性能，展示了在指令引导图像编辑中的卓越对齐能力。

Comments Accepted by ICLR 2026. Project Page: https://tiger-ai-lab.github.io/EditReward

Preference Packing: Efficient Preference Optimization for Large Language Models

偏好打包：大型语言模型高效偏好优化

Jaekyung Cho

机构 * AWS GenAI Innovation Center（AWS生成人工智能创新中心） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 偏好打包通过减少重复输入提示的注意力操作和KV缓存内存使用，提升大型语言模型的训练效率，实验显示训练时间减少37%并实现3.22倍速度提升。

The ASIR Courage Model: A Phase-Dynamic Framework for Truth Transitions in Human and AI Systems

ASIR勇气模型：人类和人工智能系统中真相过渡的相动态框架

Hyo Jin Kim

机构 * Jinple Studio（jinple工作室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 ASIR勇气模型通过相动态框架，将真相披露视为状态转换过程，适用于人类和AI系统在压力下的行为分析与建模。

Comments 13 pages, 5 figures. Version 1. Includes recursive feedback extension and simulation results. Data available via DOI: 10.5281/zenodo.18754266

Ada-RS: Adaptive Rejection Sampling for Selective Thinking

Ada-RS: 选择性思维的自适应拒绝采样

Yirou Ge, Yixi Li, Alec Chiu, Shivani Shekhar, Zijie Pan, Avinash Thangali, Yun-Shiuan Chuang, Chaitanya Kulkarni, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。

EXACT: Explicit Attribute-Guided Decoding-Time Personalization

EXACT: 显式属性引导的解码时个性化

Xin Yu, Hanwen Xing, Lingzhou Xue

机构 * Department of Statistics, the Pennsylvania State University, PA, USA（统计系，宾夕法尼亚州立大学） ； University of Southern California, CA, USA（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 EXACT通过显式属性引导解码时个性化，利用预定义可解释属性提升生成质量，有效缓解上下文偏好变化。

Goal Inference from Open-Ended Dialog

从开放式对话中推断目标

Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种在线方法，通过自然语言提取目标并利用贝叶斯推断，使具身代理在开放式对话中高效学习和完成多样化用户目标。

Comments This version has been updated to reflect a copy of Master's thesis submitted Jan 24, 2025 for degree date Feb 2025 (https://hdl.handle.net/1721.1/158960). We recommend readers to read revised version incorporating a different agent pipeline and methodological approach which is available at: arXiv:2508.15119

Semi-Supervised Preference Optimization with Limited Feedback

半监督偏好优化与有限反馈

Seonggyun Lee, Sungjun Lim, Seojin Park, Soeun Cheon, Kyungwoo Song

机构 * Yonsei University（延世大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出半监督偏好优化方法，通过结合少量标注数据和大量未标注数据，有效提升模型对齐人类偏好的效率，减少数据获取成本。

Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

纳贝格4.1-3B：一个小型通用模型，能够推理、对齐和行动

Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

机构 * Nanbeige LLM Lab（纳贝geist 语言模型实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 Nanbeige4.1-3B是一款小型通用模型，通过结合奖励建模和复杂性感知奖励，实现了强大的推理、代码生成和代理行为，展示了3B参数模型的广泛能力与专业性。

Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training

交替强化学习用于非可验证大语言模型后训练的评分标准建模

Ran Xu, Tianci Liu, Zihan Dong, Tony Yu, Ilgee Hong, Carl Yang, Linjun Zhang, Tao Zhao, Haoyu Wang

机构 * Emory University（埃默里大学） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University at Albany（阿尔巴尼大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 Rubric-ARM通过交替强化学习优化评分标准生成与评判，提升非可验证领域大语言模型后训练的响应质量评估与策略对齐性能。

Comments The first two authors contributed equally

Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning

从人类反馈中鲁棒强化学习用于大语言模型微调

Kai Ye, Hongyi Zhou, Jin Zhu, Francesco Quinzan, Chengchun Shi

机构 * Department of Statistics, LSE（统计系，伦敦经济学院） ； Department of Mathematics, Tsinghua University（数学系，清华大学） ； School of Mathematics, University of Birmingham（数学学院，伯明翰大学） ； Department of Engineering Science, University of Oxford（工程科学系，牛津大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种鲁棒的强化学习算法，用于改进大语言模型微调中从人类反馈学习奖励函数的性能，通过减少方差和改进后悔界，实验证明其在基准数据集上表现优异。

WildReward: Learning Reward Models from In-the-Wild Human Interactions

WildReward: 从真实世界的人类交互中学习奖励模型

Hao Peng, Yunjia Qi, Xiaozhi Wang, Zijun Yao, Lei Hou, Juanzi Li

机构 * Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WildReward，通过真实世界用户交互直接学习奖励模型，无需偏好对，实现更优的校准和一致性，并在多种任务中取得显著提升。

Towards Reinforcement Learning from Neural Feedback: Mapping fNIRS Signals to Agent Performance

迈向基于神经反馈的强化学习：将fNIRS信号映射到智能体表现

Julia Santaniello, Matthew Russell, Benson Jiang, Donatello Sassaroli, Robert Jacob, Jivko Sinapov

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过fNIRS信号预测智能体表现，利用分类器和回归器提升RLHF性能，并验证了跨受试者泛化能力。

Comments Accepted to the Association for the Advancement of Artificial Intelligence (AAAI) 2026. To appear in the AAAI 2026 Proceedings

Aligning Large Language Model Behavior with Human Citation Preferences

使大型语言模型行为与人类引用偏好对齐

Kenichiro Ando, Tatsuya Harada

机构 * RIKEN AIP（日本研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过构建数据集分析LLM引用行为与人类偏好的一致性，发现模型在引用医学文本和数字句子上存在偏差，通过优化可提升对齐效果。

Comments Work In Progress

VISTA: Enhancing Visual Conditioning via Track-Following Preference Optimization in Vision-Language-Action Models

VISTA: 通过视觉跟踪偏好优化增强视觉条件化在视觉-语言-动作模型中

Yiye Chen, Yanan Jian, Xiaoyi Dong, Shuxin Cao, Jing Wu, Patricio Vela, Benjamin E. Lundell, Dongdong Chen

机构 * Nvidia（Nvidia公司） ； Microsoft（微软公司） ； University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 VISTA通过视觉跟踪偏好优化提升视觉条件化，增强VLA模型在视觉-动作对齐和任务性能上的表现。

Comments In submission. Project website: https://vista-vla.github.io/

GOPO: Policy Optimization using Ranked Rewards

GOPO：基于排名奖励的策略优化

Kyuseong Choi, Dwaipayan Saha, Woojeong Kim, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国） ； Columbia University, NY, United States（哥伦比亚大学，纽约，美国） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。

Comments 17 pages, 8 figures

Improving Detection of Watermarked Language Models

提升水印语言模型的检测能力

Dara Bahri, John Wieting

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过结合水印与非水印检测器提升大型语言模型的检测能力。

Comments Published at TMLR 2026

TRE: Encouraging Exploration in the Trust Region

TRE: 在信任区域中鼓励探索

Chao Huang, Yujing Lu, Quangang Li, Shenghe Wang, Yan Wang, Yueyang Zhang, Long Xia, Jiashu Zhao, Zhiyuan Sun, Daiting Shi, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 TRE通过在模型信任区域内鼓励探索，提升了大型语言模型在数学推理、组合搜索和偏好对齐任务中的性能。

From Utterance to Vividity: Training Expressive Subtitle Translation LLM via Adaptive Local Preference Optimization

从话语到生动性：通过自适应局部偏好优化训练表达性字幕翻译LLM

Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Hujing Digital Media & Entertainment Group（华景数字媒体与娱乐集团） ； Geely AI lab（吉利AI实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ALPO方法，通过构建多方向字幕语料库，优化翻译LLM的表达性和生动性，提升翻译质量的多维评估性能。

Comments Accepted to ICLR 2026

DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

DRIFT：从现实世界偏好学习中学习大量用户不满

Yifan Wang, Bolian Li, Junlin Wu, Zhaoxuan Tan, Zheli Liu, Ruqi Zhang, Ananth Grama, Qingkai Zeng

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 DRIFT通过利用现实世界中的用户不满信号，提升大语言模型的偏好学习性能，实现更高的任务得分和胜率，优于现有方法。

ReNCE: Learning to Reason by Noise Contrastive Estimation

ReNCE: 通过噪声对比估计学习推理

Wenzheng Zhang, Karl Stratos

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.LG

AI总结 ReNCE通过噪声对比估计学习提升大语言模型的推理能力，采用显式对比学习方法在数学基准测试中表现优异。

Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

深度思考，快速行动：多视角链式推理的潜在推理蒸馏用于电子商务相关性

Baopu Qiu, Hao Chen, Yuanrong Wu, Changtong Zan, Chao Wei, Weiru Zhang, Xiaoyi Zeng

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多视角链式推理蒸馏方法，通过改进的教师模型和轻量级学生模型提升电子商务搜索相关性建模的准确性和效率。

Comments 12 pages, 6 figures, Accepted by WWW2026 industry track

Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble

通过紧凑的LLM集合模拟人类偏好：提示到代理

Bingchen Wang, Zi-Yu Khoo, Jingtan Wang

机构 * Independent Researcher, China（中国独立研究者） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 通过紧凑的LLM集合模拟人类偏好，P2P方法在无需微调和敏感数据的情况下，有效重建目标人群偏好并实现高质量预测。

Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures

超越正确性：跨文化的主观写作偏好评估

Shuangshuang Ying, Yunwen Li, Xingwei Qu, Xin Li, Sheng Jin, Minghao Liu, Zhoufutu Wen, Xeron Du, Tianyu Zheng, Yichi Zhang, Letian Ni, Yuyang Cheng, Zhenzhu Yang, Qiguang Chen, Jingzhe Ding, Shengda Long, Wangchunshu Zhou, Jiazhan Feng, Wanjun Zhong, Libo Qin, Ge Zhang, Wenhao Huang, Wanxiang Che, Chenghua Lin

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WritingPreferenceBench数据集，发现基于序列的奖励模型在评估主观写作偏好时表现不佳，而生成奖励模型通过推理链达到更高准确率，揭示了当前RLHF方法在捕捉主观偏好方面的局限性。

Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs

强化学习微调增强大语言模型内部电路的激活强度和多样性

Honglin Zhang, Qianyue Hao, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系，BNRist，清华大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 强化学习微调增强了LLMs内部电路的激活强度和多样性，相较于偏好优化方法，其在数学泛化上的优势源于信息流的冗余与灵活性。

Unsupervised Elicitation of Language Models

无监督的语言模型引导

Jiaxin Wen, Zachary Ankner, Arushi Somani, Peter Hase, Samuel Marks, Jacob Goldman-Wetzler, Linda Petrini, Henry Sleight, Collin Burns, He He, Shi Feng, Ethan Perez, Jan Leike

机构 * Anthropic ； Schmidt Sciences ； New York University（纽约大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出无监督算法ICM，通过模型自动生成标签来微调语言模型，无需外部监督，在多个任务中表现出色，尤其在超人类能力任务中表现更优。

RECAP: REwriting Conversations for Intent Understanding in Agentic Planning

RECAP：用于代理规划中意图理解的对话重写

Kushan Mitra, Dan Zhang, Hannah Kim, Estevam Hruschka

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI

AI总结 RECAP通过对话重写提升代理规划中的意图理解，提出新基准和方法，验证重写对规划效用的提升。

Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

政治观点在西方语言之间是否转移？对未对齐和对齐的多语言大语言模型的分析

Franziska Weeber, Tanise Ceron, Sebastian Padó

机构 * University of Stuttgart（斯图加特大学） ； Bocconi University（博科尼大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.CY

AI总结 研究探讨多语言大语言模型在五种西方语言中政治观点的转移情况，发现对齐前模型观点差异小，对齐后观点在各语言间均匀转移。

Comments EACL2026