大模型对齐与安全

Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy

不只是RLHF：为何仅对齐不足以解决多智能体趋同

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（艾弗绿谷学院） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(title)；分类 cs.AI、cs.LG

AI总结 本文研究了多智能体系统在模拟同伴分歧下的错误率问题，发现预训练基础模型与指令模型存在相似的替换模式，且错误率较高。通过激活修补发现错误集中在中间层，修复后可恢复大部分正确率差距。研究还指出压力抑制了清洁推理特征，而非激活新的趋同回路。

Contextual Value Alignment via Multilayer Combinatorial Fusion

基于多层组合融合的上下文价值对齐

Yuanhong Wu, Djallel Bouneffouf, D. Frank Hsu

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出MCF-CVA框架，通过多层组合融合及EAR算法，结合多道德智能体的认知多样性缓解冲突冗余，在标准指标上优于单智能体等基线，提升LLM的上下文价值对齐能力。

Comments 12 pages, 5 figures, 5 tables

TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models

TrustRoboReward：面向多范式机器人奖励模型的偏好有序保序分数编辑方法

Yidong Wang, Yan Zhan, Ziteng Feng, Zhenyu Cui, Ziyi Zhou, Renzhao Liang, Jiaxuan Zhu, Zilei Yang, Yiran Zhao, Zhongkuan Mao, Bo Jia, Hanchu Ni, Chenggang Xie, Biao Liu, Yi Zhang, Yong Dai, Xiaozhu Ju, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Southern University of Science and Technology（南方科技大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Beijing Language and Culture University（北京语言大学） ； Sichuan University（四川大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有机器人奖励模型的跨范式偏好与分数不一致问题，本文提出 TrustRoboReward 框架，通过 POISE 方法解决反转冲突，训练的 Qwen3-VL-4B 性能接近 GPT-5-mini，优于 RoboReward 基线。

BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries

BOUND：在搜索-控制边界处的摘要引导式校正偏好蒸馏

Qingying Niu, Ruiyang Ren, Wayne Xin Zhao, Yaliang Li

专题命中 偏好对齐 ：DPO(summary_cn,abstract)

AI总结 针对大语言模型深度搜索智能体的持续漂移问题，提出BOUND框架，通过摘要引导构建偏好对，用DPO蒸馏偏好，在7个基准上多数数据集和指标优于基线。

Comments 15 pages

Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

语言模型处理差异论元标记中的类型学对齐差异

Iskar Deng, Nathalia Xu, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL

AI总结 通过控制合成语料训练GPT-2模型，发现模型在标记方向（自然标记方向）上表现出类人偏好，但在论元角色偏好（宾语vs主语）上未复现人类语言的强烈宾语偏好。

Comments 16 pages, 8 figures, 7 tables. To appear at CoNLL 2026

Journal ref Proceedings of the 30th Conference on Computational Natural Language Learning (CoNLL 2026), pp. 268-283, San Diego, California, USA, Association for Computational Linguistics, 2026

ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

ZetaGPT：无位置编码的状态空间注意力语言模型的参考实现

Róisín Luo

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 ZetaGPT是首款无显式位置编码的开源小型语言模型，它将因果状态空间方程与自注意力结合，提供全开源训练流水线，为无位置编码语言模型的研究提供紧凑可复现的参考实现。

Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback

Wasserstein分布鲁棒遗憾优化用于人类反馈的强化学习

Yikai Wang, Shang Liu, Jose Blanchet

机构 * Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学） ； Imperial Business School, Imperial College London（帝国理工学院伦敦商学院） ； Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出Wasserstein分布鲁棒遗憾优化（DRRO）用于强化学习从人类反馈，通过简单分配模型研究提示问题，展示在ℓ1-地面成本Wasserstein模糊集下，内最坏遗憾有精确解，最优策略具有水填充结构，从而实现高效政策梯度算法。

LLM Reasoning for Subjective Tasks: Failure Modes, Mitigation, and Dynamic Reasoning Routing

用于主观任务的大语言模型推理：失败模式、缓解措施与动态推理路由

Juncheng Dong, Ding Tong, Ishan Gupta, Yuyan Wang

机构 * Duke University（杜克大学） ； Netflix（网飞公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 该研究针对主观任务中LLM推理的失败模式，提出带条件长度惩罚的后训练算法缓解推理崩溃，还发现推理风格不匹配是主观验证误差主因，给出算法补丁与架构蓝图。

Comments 20th ACM Conference on Recommender Systems (RecSys 2026)

Representational Equality in Cross-country Value Simulation: A Systematic Analysis of Large Language Models

跨国价值观模拟中的表征平等：对大型语言模型的系统分析

Xiaowen Jian, Xinyi Mou, Daisong Gong, Chen Qian, Huimin Chen, Maosong Sun

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CY

AI总结 本研究分析59国的LLM跨国价值观模拟，发现富裕技术先进国家人群模拟更准确，且两种干预路径的准确率提升未必带来表征平等，为构建更具包容性的LLM模拟提供指导。

Comments Accepted for publication in Computational Linguistics

AeroDPO: Unleashing Lightweight UAV Navigation with High-Fidelity Perception and Automated Preference Optimization

AeroDPO：释放具备高保真感知与自动偏好优化的轻量级无人机导航能力

Peng Xu, Chengcheng Wang, Shaohua Wan

专题命中 偏好对齐 ：DPO(abstract_cn)；分类 cs.AI

AI总结 本文提出AeroDPO，通过高保真感知与自动偏好优化，使20亿参数轻量级无人机导航模型达到70亿参数模型的成功率，同时降低分布外场景碰撞率，成为自主空中智能体新SOTA。

Comments 7 pages, 3 figures, 4 tables

PIVOT: Preference-based Intervention Vectors for Pedagogical Tutor Steering

PIVOT：用于教学导师引导的基于偏好的干预向量

Fares Fawzi, Jiaxu Zhao, Tanya Nazaretsky, Tanja Käser

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对LLM对话辅导缺乏教学策略推理时控制的问题，提出PIVOT框架，通过偏好干预向量实现导师动作控制，在用户研究中获多数教师认可。

Themis: Training Robust Multilingual Code Reward Models for Flexible Multi-Criteria Scoring

Themis: 训练鲁棒的多语言代码奖励模型以实现灵活的多标准评分

Indraneil Paul, Goran Glavaš, Iryna Gurevych

机构 * UKP Lab, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（UKP实验室，德累斯顿理工大学及应用网络安全国家研究中心ATHENE） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出Themis-CodeRewardBench基准，评估多语言多标准代码奖励模型，训练了Themis-RM系列模型，展示了其在多语言迁移和多标准训练中的优势。

Uncertainty-Aware Variational Reward Factorization via Probabilistic Preference Bases for LLM Personalization

基于概率偏好基的不确定性感知变分奖励分解用于大语言模型个性化

Gyuseok Lee, Wonbin Kweon, Zhenrui Yue, SeongKu Kang, Jiawei Han, Dong Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Korea University（高丽大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出变分奖励分解框架，通过概率偏好基和变分分布实现用户偏好建模，提升LLM个性化效果。

Comments COLM'26

SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging

SafeMERGE: 通过选择性层间模型融合在微调大语言模型中保持安全对齐

Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SafeMERGE，一种轻量级后微调框架，通过选择性融合层间模型来恢复安全对齐，同时保持下游性能，减少有害输出并提升实用性。

Journal ref Findings of the ACL 2026

Multi-Agent AI Safety as an Institutional Design Problem

作为制度设计问题的多智能体AI安全

Abdullah X

机构 * POLIS Research Programme, Project AWARE（POLIS研究计划，AWARE项目） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；分类 cs.AI、cs.LG

AI总结 本文作为POLIS项目首篇论文，探究多智能体AI安全的制度设计问题，通过含5280回合的实验套件，对比不同守卫机制，发现制度的权威状态与阻止后路径对安全的影响。

Comments 17 pages, 5 figures. Code and reproducibility artifacts available in the public POLIS repository

Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production

昨日之盾，今日之矛：生产环境中的自演进安全护栏

Cong Ming, Jingyi Chen, Bin Liu, Qi Chu, Tao Gong, Nenghai Yu, Yingfei Xiang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Sangfor Technologies（深信服科技） 纠错

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 针对静态LLM安全护栏无法应对新威胁的问题，提出自演进安全护栏SESG多智能体系统，可快速适配新威胁，性能优于静态护栏及自适应基线，已应用于深信服护栏并取得良好效果。

SafeCOMM: A Study on Safety Degradation in Fine-Tuned Telecom Large Language Models

SafeCOMM: 对于在电信领域微调的大型语言模型安全退化的研究

Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Fernando Koch, Walid Saad, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） ； Florida Atlantic University（佛罗里达 Atlantic 大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 本文研究了在电信领域微调的大型语言模型的安全退化问题，提出TeleHarm基准测试及三种防御方法，展示了如何通过安全重对齐提升模型安全性，实现SafeCOMM模型。

Journal ref IEEE Wireless Communications and Networking Conference (WCNC), 2026

Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation

KV缓存量化下的对齐崩溃：诊断与缓解

Bruce Changlong Xu, Adarsh Kumarappan, Mu Zhou

机构 * Stanford University（斯坦福大学） ； California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现低比特KV缓存量化会无声破坏大模型的安全对齐，根源在于安全特征位于低维激活子空间，易受量化噪声影响；提出逐通道缩减（PCR）诊断方法，分类三种失效模式并指导缓解，无需训练即可恢复高达97%的对齐损失。

Comments Preprint. 61 pages, 9 figures

SHE: Trajectory-driven Safety Harness Evolution for LLM Agents

SHE：面向大语言模型智能体的轨迹驱动安全管控机制演化

Wanying Qu, Qinghua Mao, Yu Li, Jiyao Liu, Xin Zhang, Dadi Guo, Yanxu Zhu, Qingyu Liu, Leitao Yuan, Xi Lin, Shanfeng Zhu, Yanwei Fu, Jing Shao, Xia Hu, Dongrui Liu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究提出SHE框架，将LLM智能体的安全管控机制分解为四个构件并引入归因引导演化循环，在Agent-SafetyBench上使攻击成功率降低3.1倍，还具备泛化与跨模型迁移能力。

Comments Project: https://github.com/RainbowQTT/SHE

Beyond "I Can't Help With That": How Child Safety Experts Evaluate AI Chatbot Safety

超越“我无法对此提供帮助”：儿童安全专家如何评估AI聊天机器人的安全性

Hannah Cha, Neha Shukla, Solon Barocas, Alexandra Chouldechova, Eugenia Kim, Jennifer Wortman Vaughan

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 本文通过访谈19名儿童安全相关从业者，分析现有AI聊天机器人儿童安全评估的局限，提出需将从业者视角纳入安全评估工作的建议。

Comments Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

Coupled Graph--Policy Distillation for Personalized Medication Safety in Older Adults with Multimorbidity

面向多病老年患者个性化用药安全的耦合图-策略蒸馏方法

Zihan Wang, Anglin Liu, Rongyi Wang, Dantong Li, Yi Lu, Siqing Yuan, Hongxia Xu, Zhongtian Long, Jintai Chen

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出ATLAS框架与GeriMedBench基准，通过耦合图-策略蒸馏实现多病老年患者的个性化用药安全，在多基准测试中表现优于对比系统，获临床医生更高评分。

Enhance the Safety in Reinforcement Learning by ADRC Lagrangian Methods

通过ADRC拉格朗日方法增强强化学习的安全性

Mingxu Zhang, Huicheng Zhang, Jiaming Ji, Yaodong Yang, Ying Sun

机构 * AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（人工智能方向，香港科技大学（广州）） ； School of Artificial Intelligence, Peking University, Beijing, China（人工智能学院，北京大学，北京，中国） ； Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出ADRC-拉格朗日方法，通过主动扰动抵消控制提升强化学习的安全性，实验显示在复杂环境中显著减少安全违规和成本

Journal ref Transactions on Machine Learning Research, 2026

Reliability-Safety Trade-off in AI Distillation: A Renormalization-Group Approach

AI知识蒸馏中的可靠性-安全性权衡：一种重整化群方法

Y. M. Du, Miao-Miao Yi, Tan-Ji Zhou, C. P. Sun

专题命中 安全训练 ：safety(title,abstract)

AI总结 该研究基于统计力学构建知识蒸馏的粗粒化模型，以参数K表征危险辨别能力，揭示了AI蒸馏中可靠性与安全性的权衡关系，为多代蒸馏提供了可检验的标度预测。

FanarGuard: A Culturally-Aware Moderation Filter for Arabic Language Models

FanarGuard: 一种文化感知的阿拉伯语言模型审查过滤器

Masoomali Fatehkia, Enes Altinisik, Husrev Taha Sencar

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 FanarGuard是一种双语审查过滤器，通过评估阿拉伯语和英语中的安全性和文化对齐性，提升内容审查的准确性与文化敏感性。

Emergent Problem-Graph Alignment in RL-Discovered Entanglement Topologies for QAOA

用于QAOA的RL发现纠缠拓扑中的涌现问题-图对齐

Tobias Rohe, Federico Harjes Ruiloba, Markus Baumann, Gerhard Stenzel, Leo Sünkel, Thomas Gabor, Claudia Linnhoff-Popien

专题命中 安全训练 ：alignment(title)

AI总结 该研究用RL智能体发现QAOA的纠缠拓扑，得到与问题图对齐的稀疏拓扑，在有限优化预算下性能优于全图拓扑，揭示了拓扑密度带来的可训练性与表达性的权衡。

PAM: Training Policy-Aligned Moderation Filters at Scale

PAM：在大规模上训练策略对齐的 moderation 过滤器

Masoomali Fatehkia, Enes Altinisik, Mohamed Osman, Husrev Taha Sencar

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 PAM 提出了一种灵活的框架，用于训练基于用户定义策略的定制 moderation 过滤器，能够在大规模上实现更广泛的对齐需求，并在多个基准测试中表现优于现有方法。

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update

代理探索与可重用引导：基于代理引导更新信号的模块化大语言模型训练后范式

Daocheng Fu, Rong Wu, Yu Yang, Jianbiao Mei, Licheng Wen, Pinlong Cai, Xuemeng Yang, Yong Liu, Botian Shi, Yu Qiao

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。

The Theory of Strategic Evolution: Games with Endogenous Players and the Seven Laws of Strategic Replicators

战略进化理论：具有内生参与者和战略复制者的博弈

Kevin Vallier

机构 * Institute of American Constitutional Thought and Leadership（美国宪法思想与领导力研究所） ； University of Toledo（托莱多大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出战略进化理论，引入具有内生参与者的博弈，定义进化稳定智能分布，通过跨层增益矩阵构建战略层层次结构，证明相关封闭性及定理，可用于分析人工智能部署动态等，揭示人格工程问题及稳定多智能体系统的宪法约束。

Comments 171 pages. Formalized in Lean 4 with Mathlib: 240 theorems in the elaborated environment, 141 audited headline results, cold-compiling from a clean checkout with zero custom axioms. Source, theorem-by-theorem contract, and reproducible axiom audit: https://github.com/selfreferencing/TSE_Formal. Companion to Agentic Capital

SAFE-CHEM: Uncertainty-Aware Policy Switching for Robust Robotic Chemistry

SAFE-CHEM：面向稳健机器人化学的不确定性感知策略切换

Laura Jones, Shazil Shahzad, Ayesha Sana, Gabriella Pizzuto

机构 * School of Computer Science & Informatics, University of Liverpool（利物浦大学计算机科学与信息学院） ； Department of Chemistry, University of Liverpool（利物浦大学化学系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本研究针对机器人化学实验的安全风险，提出SAFE-CHEM不确定性感知框架，通过混合控制架构在不确定性超阈值时切换至备份控制器，提升任务成功率并减少安全违规，实现零样本仿真到真实的迁移。

Unaccountable Delegation, Fading Skills: Mapping the Risks of Workplace AI Agents

不可问责的授权与技能衰退：绘制职场AI智能体的风险图谱

Gabriele La Malfa, Lakmal Meegahapola, Edyta Bogucka, Jie M. Zhang, Michael Luck, Elizabeth Black, Daniele Quercia

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 该研究开发了AI智能体多层框架，基于2078项工作任务生成风险场景并验证，扩展出15类职场AI风险分类法，揭示了不同部署模式的风险差异，为职场AI风险管控提供了分类工具与依据。