大模型对齐与安全

Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation

从预训练或微调的大语言模型进行无奖励代码对齐：揭示代码生成中的权衡

Sanjeepan Sivapiran, Gias Uddin

机构 * York University Canada（加拿大约克大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；分类 cs.AI

AI总结 本研究通过实证分析，探讨了在代码生成任务中，对预训练或微调后的大语言模型进行无奖励对齐（DPO和BoNBoN）的效果，发现预训练到对齐的路径提升更大，但微调版本基线更高。

Journal ref The ACM International Conference on the Foundations of Software Engineering (FSE) 2026

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

基于Shapley值的大语言模型对齐数据估值：通过顺序偏好优化

Mélissa Tamine, Otmane Sakhi, Benjamin Heymann, Maxime Vono, Patrick Loiseau

机构 * Criteo AI lab（Criteo AI实验室） ； FairPlay joint team（FairPlay联合团队） ； CREST ； ENSAE ； Institut Polytechnique de Paris（巴黎理工学院） ； Inria（法国国家科学与技术研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 研究大语言模型对齐中数据估值问题，针对基于Shapley值估值计算量大的挑战，提出顺序偏好优化方法，可高效近似Shapley值，计算真实偏好数据集的Shapley值并揭示各源对模型对齐的作用。

Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation

基于噪声声明验证的覆盖控制偏好挖掘用于基于证据的生成

Weixin Liu, Congning Ni, Qingyuan Song, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学中心） ； Lirio ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 研究临床简要医院病程总结中基于证据生成的问题，引入VERI-DPO框架，将噪声声明验证转化为覆盖控制的摘要级偏好，经实验验证该框架能降低不支持率，提升模型表现。

Comments 15 pages, 1 figure, 8 tables. Major revision with locked MIMIC-IV transfer evaluation, blinded pairwise human assessment, matched multi-seed ablations, revised title, and revised author list

KARMA: Knowledge graph-based Automated Reasoning Materialization and Alignment

KARMA：基于知识图谱的自动推理实例化与对齐

Jinkyeong Choi, Chaebin Jeong, Donghyeon Park

机构 * Sejong University（世宗大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对基于模板对比合成的问题，提出KARMA方法，通过枚举知识图谱路径生成对比候选，用解耦槽级目标进行偏好监督，在多领域基准测试中表现优于基线。

Comments First version, 20 pages

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia（佐治亚大学） ； Purdue University（普渡大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 综述强化学习与语言模型整合，介绍如近端策略优化等算法，分析其在各领域应用，对失败模式算法分析，给出分类法，评估趋势并探讨挑战与新兴方向，为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

Unbiased Alignment for Large Language Models with Noisy Preferences

具有噪声偏好的大语言模型的无偏对齐

Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型与人类偏好对齐问题，针对真实偏好数据集中噪声大的问题，提出无偏对齐理论框架，引入新损失函数，能直接从噪声数据集无偏训练模型，实验表明优于现有基线。

Comments Accepted by ICML2026

The Rise of Verbal Tics in Large Language Models: A Systematic Analysis Across Frontier Models

大语言模型中言语 tic 的兴起：前沿模型的系统分析

Shuai Wu, Xue Li, Yanna Feng, Yufang Li, Zhijun Wang, Ran Wang

机构 * Lead Researcher（研究员） ； Research Assistant（研究助理） ； Academic Advisor（学术顾问） ； Research Consultant（研究顾问） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统分析了八个前沿大语言模型中言语 tic 的现象，通过定制评估框架评估10,000个提示，发现 Gemini 3.1 Pro tic 值最高，DeepSeek V3.2 最低，并揭示了 tic 在多轮对话中的累积效应及跨语言差异。

Comments 17 figures, 8 tables

Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models

通过在线自我博弈强化学习追踪移动目标以实现更安全的语言模型

Mickel Liu, Liwei Jiang, Yancheng Liang, Simon Shaolei Du, Yejin Choi, Tim Althoff, Natasha Jaques

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 研究传统大语言模型安全对齐问题，引入Self-RedTeam算法，通过在线自我博弈多智能体强化学习持续共同进化攻防策略，有理论安全保障，实证效果好，推动从被动修补到主动协同进化转变。

Comments ICML 2026 Poster

Attention Limited Reward Learning

注意力受限奖励学习

Wenqian Xing

机构 * Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI

AI总结 研究通过基于理性注意力不集中的简化模型，探讨标准奖励建模中遗漏的内容，分离两种模糊性，指出有限注意力会扭曲成对比较结果，学习受标签携带的关注信息量而非数量影响。

Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards

梯度正则化减轻基于人类反馈和可验证奖励的强化学习中的奖励作弊

Johannes Ackermann, Michael Noukhovitch, Takashi Ishida, Masashi Sugiyama

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Mila（蒙特利尔大学Mila） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。

Comments Accepted at ICML 2026, 25 pages, 15 figures

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

最佳中的更优N：通过上下文学习生成预对齐响应

Eric Lei, Hsiang Hsu, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出Best-of-Better-$N$框架应对响应质量限制问题，利用检索高奖励示例及重写步骤，通过上下文学习使预训练模型输出分布向高奖励区域转移，在安全对齐和数学推理基准测试中有更好表现。

TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance

TaoSR-AGRL：用于电子商务搜索相关性的自适应引导强化学习框架

Jianhui Yang, Yiming Jin, Pengkun Jiao, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Tsinghua University（清华大学） ； Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） ； Fudan University（复旦大学） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 电商搜索中查询-产品相关性预测很关键，现有方法有局限。提出TaoSR-AGRL框架，通过规则感知奖励塑造和自适应引导重放两大创新，提升模型推理能力，在实验中表现优于基线，已成功部署。

Comments Accepted to The Web Conference (WWW) 2026, Industry Track, Oral

Journal ref Proceedings of the ACM Web Conference 2026 (WWW '26), 2026, pp. 7955-7966

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

化腐朽为神奇：事后重新标记大语言模型智能体轨迹以实现成功示范

Zichao Li, Gang Wu, Zichao Wang, Ruiyi Zhang, Wanrong Zhu, Ryan A. Rossi, Vlad I Morariu, Jihyung Kil

机构 * Mila, McGill University（米拉，麦吉尔大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 针对大语言模型智能体监督瓶颈，利用智能体展开中隐含的成功目标，引入事后监督学习（HSL），通过辅助大语言模型重新标记轨迹及目标并微调，提出两种技术减轻数据次优性，实验证明其优势。

Comments Accepted to ICLR 2026

Human-Centric Reflective Architecture for Human-AI Collaborative Decision-Making

用于人类与人工智能协作决策的以人类为中心的反思架构

Andreas Kouridakis, Dimitrios Patiniotis Spyropoulos, George Vouros

机构 * University of Piraeus（比雷埃夫斯大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 研究人类与人工智能协作决策问题，将其建模为随机博弈，提出以人类为中心的反思架构，整合人类校准模型与强化学习智能体，提升决策有效性并给出高质量建议。

Multi-Objective Exploration and Preference Optimization via Mutual Information

基于互信息的多目标探索与偏好优化

Hongyan Xie, Yikun Ban, Ruiyu Fang, Zixuang Huang, Deqing Wang, Jianxin Li, Shuangyong Song

机构 * School of Computer, Beihang University（北京航空航天大学计算机学院） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（星辰AGI实验室，中国电信人工智能技术（北京）有限公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出MI-EPO框架，通过最大化生成响应、偏好反馈和偏好向量的联合条件互信息，统一多目标探索与对齐，实现可控且稳定的多目标权衡。

Comments Accepted at ECML/PKDD 2026

Failures Are Fated, But Can Be Faded: Characterizing and Mitigating Unwanted Behaviors in Large-Scale Vision and Language Models

失败是注定的，但可以被淡化：在大规模视觉和语言模型中表征和缓解 unwanted 行为

Som Sagar, Aditya Taparia, Ransalu Senanayake

机构 * School of Computing and Augmented Intelligence, Arizona State University, Tempe, United States of America（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出利用深度强化学习表征和缓解大规模视觉和语言模型中的失败模式，通过有限的人类反馈重构失败景观，验证了方法在计算机视觉、自然语言处理和视觉-语言任务中的有效性。

Comments 25 pages, 35 figures

Journal ref Proceedings of the 41st International Conference on Machine Learning (ICML 2024), PMLR 235:42999-43023, 2024

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II：大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。

The Unverifiability of Artificial General Intelligence (AGI) Alignment, Static and Dynamic: From Trakhtenbrot's Wall to the Safety-Generality Tension

人工通用智能对齐的不可判定性

Jose Pascual Gumbau Mezquita

机构 * University Jaume I de Castelló（贾乌梅·伊大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 本文证明了AGI安全的核心障碍不是对齐状态的不可能性，而是其结构性不可验证性，通过两个不可判定性定理和Trakhtenbrot墙揭示了工程防御的局限性，并推导出完备性-可靠性-可处理性三难困境。

Comments v2: substantially expanded and retitled. Adds unpublished results on the dynamic (self-modifying) case, deriving the persistence barrier from Rice's Theorem one level up; a supervisory-regress theorem linking the results to scalable oversight and Yampolskiy's verifier theory; and a unified treatment of all four barriers as one obstruction, the Expressivity Invariant

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

通过拉格朗日奖励增强实现安全推理时对齐

Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

When Aggregate Alignment Misleads: Auditing Policy Repair Without Per-State Expert Actions

当聚合对齐产生误导时：无需逐状态专家操作的审核策略修复

Peiying Zhu, Sidi Chang

机构 * Blossom AI（绽放人工智能公司） ； Blossom AI Labs（绽放人工智能实验室） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究在酒店定价模拟器中，智能策略编辑器仅接收区域级诊断反馈时的策略修复问题，用多重启大语言模型编辑器进行修复，其不仅提升收益还减小情节构成距离，结果表明应按诊断反馈是否成可靠闭环结果评估策略修复。

VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving

VLM-CASE：面向前瞻安全自动驾驶的视觉语言模型赋能上下文自适应安全包络

Tianjia Yang, Ke Li, Ruwen Qin, Xianbiao Hu

机构 * Department of Civil and Environmental Engineering, The Pennsylvania State University（宾夕法尼亚州立大学土木与环境工程系） ； Department of Civil Engineering, Stony Brook University（石溪大学土木工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 针对恶劣工况下自动驾驶感知与性能退化、仅能事后响应的问题，提出基于微调VLM的上下文自适应安全包络框架，实现前瞻安全控制，在多场景仿真中性能优于基线方法。

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

将离策略令牌转换为策略内令牌：一种改进大语言模型对齐的插件方法

Yu Li, Xiuyu Li, Mingyang Yi, Jiaxing Wang, zhangliangxu, Zhaolong Xing, Zhen Chen

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。

LLMs Encode Harmfulness and Refusal Separately

大语言模型分别编码有害性和拒绝性

Jiachen Zhao, Jing Huang, Zhengxuan Wu, David Bau, Weiyan Shi

机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 研究大语言模型对有害性的理解，发现其有害性和拒绝性在模型内分别编码，有害性方向与拒绝方向不同，据此揭示越狱方法原理及对抗微调影响，提出潜在危害表示的安全应用。

Pretraining Curricula Enable Selective Fine-tuning

预训练课程实现选择性微调

Sebastian A. Bruijns, Jirko Rubruck, Mia H. Whitefield, Kai J. Sandbrink, Fazl Barez, Christopher Summerfield

机构 * University of Oxford（牛津大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究预训练课程如何影响学习、泛化和微调选择性，对比平衡与不平衡预训练方式，发现不平衡预训练促进上下文学习并提高拒绝微调选择性，还扩展到合成语言学习任务。

MIND-V: Hierarchical World Model for Long-Horizon Robotic Manipulation with RL-based Physical Alignment

MIND-V：基于强化学习物理对齐的长期机器人操作分层世界模型

Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li

机构 * Tsinghua University（清华大学） ； X Square Robot（X Square机器人） ； Sun Yat-sen University（中山大学） ； HKUST（香港科技大学） 纠错

专题命中 安全训练 ：alignment(title)

AI总结 提出MIND-V分层世界模型，通过语义推理、行为语义桥接和运动视频生成，结合强化学习物理对齐，实现长期机器人操作视频的物理合理合成。

VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models

VISOR++：基于通用视觉输入的大型视觉语言模型转向

Ravikumar Balakrishnan, Mansi Phute

机构 * HiddenLayer, USA（HiddenLayer美国分校） ； Georgia Institute of Technology, USA（佐治亚理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究视觉语言模型行为控制，针对现有方法局限，提出VISOR++，通过优化视觉输入实现行为控制，无需运行时访问模型内部，在多模型上验证有效性且能保持无关任务性能。

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs

进化引导解码：大语言模型的迭代值细化

Zhenhua Liu, Lijun Li, Ruizhe Chen, Yuxian Jiang, Tong Zhu, Zhaochen Su, Wenliang Chen, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Soochow University（苏州大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现引导解码中值函数不准确源于分布差距，提出迭代值细化框架，用值探索提供训练信号，迭代自我细化利用改进值函数生成高质量数据，实验证明该框架能有效对齐语言模型并降低计算成本。

Comments Accepted to ACL 2026 (main conference)

Faithfulness to Refusal: A Causal Audit of Neuron Selectors

对拒绝的忠实性：神经元选择器的因果审计

Ananth Eswar, Pratinav Seth, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。

CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

CRRL：一种用于自主系统恢复的基于因果关系的强化学习框架

Safia Fatima, Kai Olav Ellefsen, Leon Moonen

机构 * Simula Research Laboratory（Simula研究实验室） ； University of Oslo（奥斯陆大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究自主系统恢复中传统强化学习问题，引入基于因果关系的CRRL框架，利用驾驶日志因果关系塑造训练信号，使策略与基于规则的恢复有效协作，提升相关指标。

Comments 30 pages