大模型对齐与安全

Reinforcement Learning Amplifies Emergent Misalignment from Harmless Rewards

强化学习放大了来自无害奖励的涌现性失调

Magnus Jørgenvåg, David Kaczér, Lasse Ruttert, Marvin Gülhan, Lucie Flek, Florian Mai

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn, Germany（波恩-亚琛信息科技国际中心，波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本文研究强化学习如何从看似无害的奖励信号中引发语言模型的涌现性失调，发现其比监督微调更严重，并验证了在训练中插入安全数据可缓解此问题。

Safe Equilibrium Policy Optimization for Strategic Agent Policies

面向策略型智能体的安全均衡策略优化

Karthika Arumugam, Kiran Kumar Manku, Amit Dhanda

机构 * Amazon, USA（亚马逊公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出Safe Equilibrium Policy Optimization (SEPO)方法，通过惩罚可剥削性、共谋风险和外部性成本，优化语言模型在多智能体博弈中的策略安全性。

Comments Submitted to EMNLP 2026

LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models

LambdaPO: 一种用于推理语言模型的Lambda风格策略优化

Redacted by arXiv

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 针对GRPO因使用群体均值作为基线而丢失细粒度偏好信息的问题，提出LambdaPO方法，通过将优势估计分解为成对偏好结构并引入语义密度奖励，从群体轨迹中挖掘更细粒度的优化信号，提升推理性能。

Comments arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission. Author list and submitter name redacted due to disputed authorship

How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency

AI攻击者对固定脆弱目标的可靠性如何？LLM渗透测试一致性的400次运行实证研究

Galip Tolga Erdem

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 通过400次自主渗透测试运行（4个模型各100次），研究LLM在固定目标上攻击行为的一致性，发现模型间成功率差异显著且失败模式独特。

Comments 41 pages, 7 figures. Code and 400-run dataset: https://doi.org/10.5281/zenodo.20421592

Dissecting the Black Box: Circuit-Level Analysis of LLM Vulnerability Detection

剖析黑箱：LLM 漏洞检测的电路级分析

Syafiq Al Atiiq, Chun Zhou, Christian Gehrmann

机构 * Lund University（隆德大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 通过机械可解释性分析 Gemma-2-2b 模型在 C/C++ 漏洞检测中的内部计算，发现模型主要依赖安全检测器（识别安全编码模式的注意力头）而非直接检测漏洞特征，并识别出关键神经组件（早期层注意力头和 MLP 神经元），通过消融实验验证其因果作用。

Comments 11 pages, 6 figures. Supported by the Wallenberg AI, Autonomous Systems and Software Program (WASP)

EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation

EvoRubric: 用于开放生成的自我进化评分标准驱动强化学习

Xin Guan, Xiaomeng Hu, Shen Huang, Zhenyi Wang, Bo Zhang, Zijian Li, Pengjun Xie, Bo Liu, Jiuxin Cao

机构 * Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出EvoRubric，一种单策略共进化强化学习框架，通过动态交替生成响应和评分标准，并引入多层验证机制，解决开放生成任务中缺乏明确奖励的问题，在医学、写作和科学领域超越传统静态和外部LLM驱动方法。

SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing

SciIntBench: 衡量大语言模型在对抗性框架下对科研诚信规范的遵从度

Almene De Meran Meguimtsop, Maria Leonor Pacheco, Daniel E. Acuna

机构 * Department of Computer Science University of Colorado Boulder（计算机科学系，科罗拉多大学博尔德分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出SciIntBench对抗性基准，通过810个提示评估16个LLM在10个RCR类别中的框架敏感拒绝与帮助行为，发现模型对显性不当行为拒绝可靠，但对隐性违规（尤其是压力驱动的捷径）拒绝不足。

Harmonizing Real-Time Constraints and Long-Horizon Reasoning: An Asynchronous Agentic Framework for Dynamic Scheduling

协调实时约束与长视距推理：一种用于动态调度的异步智能体框架

Shijie Cao, Yuan Yuan, Jing Liu

机构 * School of Computer Science and Engineering, Beihang University, Beijing 100191, China（北京航空航天大学计算机科学与工程学院） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳环形区研究所） ； Qingdao Research Institute, Beihang University（青岛研究院） ； Hangzhou Innovation Institute, Beihang University（杭州创新研究院） ； School of Artificial Intelligence, Xidian University, Xi’an 710071, Shaanxi, China（西安电子科技大学人工智能学院） ； Guangzhou Institute of Technology, Xidian University, Guangzhou 510555, Guangdong, China（广州技术研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出RACE-Sched异步智能体框架，通过双流架构解耦策略执行与逻辑推理，利用LLM合成和验证符号启发式规则，在保证实时性的同时提升动态调度质量。

Intent-aligned Autonomous Spacecraft Guidance via Reasoning Models

通过推理模型实现意图对齐的自主航天器制导

Yuji Takubo, Simone D'Amico

机构 * Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出一种通过行为序列和航点约束将高层推理与安全轨迹优化相结合的意图对齐航天器制导框架，在近距离操作场景中实现了超过90%的SCP收敛率，并比启发式决策高出1.5倍的满足顶级意图优先性能标准的轨迹生成率。

Comments Accepted for Computer Vision and Pattern Recognition Conference (CVPR) 2026, AI4Space Workshop (4-page Short paper). 9 pages, 3 figures (including supplementary materials)

Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations

解码前拒绝：检测和利用中间LLM激活中的拒绝信号

Matteo Gioele Collu, Riccardo Conte, Alberto Giaretta, Denis Kleyko, Mauro Conti, Matteo Zavatteri, Roberto Confalonieri

机构 * University of Padua（帕多瓦大学） ； Örebro University（欧雷布罗大学） ； Fondazione Bruno Kessler（布鲁诺·凯索基金会） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文通过线性探针在变压器块的残差流激活中检测拒绝行为，并提出Mechanistic AutoDAN方法，利用探针引导的遗传搜索实现高效攻击，显著降低搜索时间并保持攻击成功率。

Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure

少即是多：面向LLM的几何遗忘方法，实现最小数据披露

Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao

机构 * Faculty of Information Technology, Monash University, Clayton, Victoria, Australia.（墨尔本大学信息技术学院，澳大利亚维多利亚州克莱顿分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出几何遗忘（GU）方法，通过操作模型隐藏状态并利用少量安全参考提示和锚点上下文合成提示，在无需原始训练数据的情况下实现高效选择性遗忘，在ToFU和UnlearnPII基准上达到强目标抑制且对非目标性能影响最小。

Comments 21 pages, 8 Figures

LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks

LCO：基于LLM的约束优化，用于现实任务中更安全的智能体LLM

Jiayong Wan, Jiawei Chen, Zhaoxia Yin, Liu Shuyuan, Hang Su

机构 * East China Normal University（东华大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 提出LCO框架，通过自思考模块和进化采样模块约束LLM行为，在不微调模型的情况下减少上下文奖励黑客行为，实验表明在输出优化和策略优化场景中显著提升安全性。

Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

评估中文大语言模型：角色分配对刻板印象和安全机制的影响

Geng Liu, Li Feng, Carlo Alberto Bono, Songbo Yang, Mengxiao Zhu, Francesco Pierri

专题命中 安全训练 ：safety(abstract)；分类 cs.CY

AI总结 本研究通过大规模跨模型分析，量化了角色分配对四个中文大语言模型在拒绝行为和毒性输出放大方面的影响，并探索了基于外部评估器的迭代缓解策略。

From Static Context to Calibrated Interactive RL: Mitigating Distribution Shift in Multi-turn Dialogue with Aligned Simulator

从静态上下文到校准的交互式强化学习：利用对齐模拟器缓解多轮对话中的分布偏移

Xiaohua Wang, Jiakang Yuan, Zisu Huang, Muzhao Tian, Changze Lv, Kaitao Song, Tao Chen, Xiaoqing Zheng

机构 * Fudan University（复旦大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出校准的交互式强化学习框架，通过将交互式强化学习与模拟器对齐相结合，缓解多轮对话中因策略和模拟器导致的分布偏移，提升对话质量。

CRPO: Character-centric Group Relative Policy Optimization for Role-aware Reasoning in Role-playing Agents

CRPO：以角色为中心的群体相对策略优化用于角色扮演代理中的角色感知推理

Yihong Tang, Kehai Chen, Liang Yue, Benyou Wang, Min Zhang

机构 * Institute of Computing and Intelligence（计算与智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Shenzhen Loop Area Institute (SLAI)（深圳Loop区研究院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出CRPO框架，通过解耦任务逻辑与风格奖励、动态调整优化约束和利用通用响应作为负基线，解决强化学习在角色扮演中角色保真度下降和风格崩溃问题。

AEROS: A Single-Agent Operating Architecture with Embodied Capability Modules

AEROS：一种具有具身能力模块的单智能体操作架构

Xue Qin, Simin Luan, John See, Cong Yang, Zhijun Li

机构 * School of Software, Harbin Institute of Technology（哈尔滨工业大学软件学院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Mathematical and Computer Sciences, Heriot-Watt University, Malaysia Campus（赫瑞-沃森大学马来西亚分校数学与计算机科学学院） ； School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出AEROS架构，将机器人建模为单一持久智能主体，通过可安装的具身能力模块扩展能力，实现模块化可扩展性、可组合能力执行和一致的系统级安全。

Comments Submitted to Engineering Applications of Artificial Intelligence (EAAI). 48 pages, 5 figures, 9 tables

MMUEChange: A Generalized LLM Agent Framework for Intelligent Multi-Modal Urban Environment Change Analysis

MMUEChange：面向智能多模态城市环境变化分析的通用LLM智能体框架

Zixuan Xiao, Jun Ma, Siwei Zhang

机构 * Department of Urban Planning and Design, The University of Hong Kong（香港大学城市规划与设计系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出MMUEChange多模态智能体框架，通过模块化工具包和模态控制器实现异构城市数据灵活集成与跨模态对齐，在三个城市案例中任务成功率提升46.7%并有效缓解幻觉。

Journal ref Applied Soft Computing 190 (2026) 114576

Autoregressive Language Models are Secretly Energy-Based Models: Insights into the Lookahead Capabilities of Next-Token Prediction

自回归语言模型实际上是能量模型：对下一个词元预测的预见能力的洞察

Mathieu Blondel, Michael E. Sander, Germain Vivier-Ardisson, Tianlin Liu, Vincent Roulet

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文通过建立自回归模型与能量模型之间的双射，揭示了自回归模型在下一个词元预测范式下具备预见能力，并提供了理论误差界。

LipoAgent: Coordinating Fine-Tuned LLM Agents for Safer Lipid Design

LipoAgent: 协调微调的大语言模型智能体以实现更安全的脂质设计

Leshu Li, An Lu, Haiyu Wang, Zhibin Feng, Conghui Duan, Qing Bao, Zongmin Zhao, Sai Qian Zhang

机构 * New York University（纽约大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出LipoAgent，一种安全感知的多智能体大语言模型框架，通过条件预测目标强制毒性作为效率预测的前提，并结合多智能体验证，在mRNA转染效率预测上平均相对提升32%。

CoRe-Code: Collaborative Reinforcement Learning for Code Generation

CoRe-Code：面向代码生成的协作式强化学习

Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Xiaoyu Xia, Sumon Biswas

机构 * The Ohio State University（俄亥俄州立大学） ； Royal Melbourne Institute of Technology（皇家墨尔本理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出CoRe-Code框架，通过规划器-编码器范式和基于GRPO的协作感知强化学习，增强多智能体间的协调与专业化，提升代码生成的准确性和效率。

The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes

在线策略蒸馏的多种面貌：陷阱、机制与修复

Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu

机构 * UIUC（伊利诺伊大学香槟分校） ； Renmin University of China（中国人民大学） ； Peking University（北京大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文通过实证研究分析了在线策略蒸馏（OPD）和在线策略自蒸馏（OPSD）在大语言模型后训练中的有效性、失败机制及修复方法。

Flow-OPD: On-Policy Distillation for Flow Matching Models

Flow-OPD：面向流匹配模型的在线策略蒸馏

Zhen Fang, Wenxuan Huang, Yu Zeng, Yiming Zhao, Shuang Chen, Kaituo Feng, Yunlong Lin, Lin Chen, Zehui Chen, Shaosheng Cao, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； The Chinese University of Hong Kong（香港中文大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出Flow-OPD框架，通过两阶段对齐策略（单奖励GRPO微调专家+流式冷启动与在线策略蒸馏）解决流匹配模型在多任务对齐中的奖励稀疏和梯度干扰问题，并引入流形锚点正则化抑制美学退化，在GenEval和OCR指标上显著提升。

Comments Project Page: https://costaliya.github.io/Flow-OPD/ , Code: https://github.com/CostaliyA/Flow-OPD

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

MaMa: 一种基于博弈论的安全智能体系统设计方法

Jonathan Nöther, Adish Singla, Goran Radanovic

机构 * Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出MaMa算法，通过将安全智能体系统设计形式化为系统设计者与对手之间的Stackelberg博弈，利用基于LLM的对抗搜索自动生成鲁棒安全的系统设计。

One Policy, Infinite NPCs: Persona-Traceable Shared RL Policies for Scalable Game Agents

一个策略，无限NPC：用于可扩展游戏智能体的可追溯共享RL策略

Yoosung Hong

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出一种基于冻结LLM嵌入的条件共享强化学习策略pcsp，实现大规模NPC的个性化控制，在300人生活模拟基准上零样本身份识别提升17倍，推理速度比LLM策略快22倍。

Comments 18 pages, 15 figures, 14 tables

DART: Semantic Recoverability for Structured Tool Agents

DART：结构化工具代理的语义可恢复性

Ke Yang, Panpan Li, Zonghan Wu, Kejin Xu, Huaxi Huang, Xiaoshui Huang

机构 * MOS Intelligent Connectivity Technology Co. Ltd.（MOS智能连接技术有限公司） ； Sichuan Vocational College of Post and Telecom（四川邮电职业技术学院） ； East China Normal University（华东师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对结构化工具代理执行失败时局部恢复可能破坏下游已提交工作的语义一致性问题，提出DART运行时系统，通过形式化语义可恢复性并实施可接受性检查，在依赖和效果约束下选择安全的恢复点。

Distill to Think, Foresee to Act: Cognitive-Physical Reinforcement Learning for Autonomous Driving

蒸馏思考，预见行动：面向自动驾驶的认知-物理强化学习

Yang Wu, Qiang Meng, Zhaojiang Liu, Youquan Liu, Jian Yang, Jin Xie

机构 * NJU（南京大学） ； SJTU（上海交通大学） ； FDU（福建大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出CoPhy框架，通过蒸馏VLM知识到BEV编码器实现零推理成本的认知能力，并构建自回归BEV世界模型预测未来语义地图以提供可解释的物理沙盒，结合双奖励机制（物理奖励和安全约束、认知奖励和意图对齐）优化驾驶策略，在NAVSIM基准上取得最优结果。

Learning Without Losing Identity: Capability Evolution for Embodied Agents

无需失去身份的学习：体素代理的能力进化

Xue Qin, Simin Luan, John See, Cong Yang, Zhijun Li

机构 * School of Software, Harbin Institute of Technology（哈尔滨工业大学软件学院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Mathematical and Computer Sciences, Heriot-Watt University（赫瑞-沃德大学数学与计算机科学学院） ； School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种以能力为中心的体素代理进化范式，通过引入体素能力模块（ECMs）实现持续改进，同时保持代理身份的稳定性，实验表明其在任务成功率和安全性方面优于传统方法。

Comments 12 pages, 2 figures, 7 tables

From Licensing to Open Access: Designing a Sustainable Transition in Operational Weather Data

从许可到开放获取：设计可持续的运营天气数据转型

Emma Pidduck, Umberto Modigliani, Victoria L. Bennett, Fabio Venuti, Florian Pappenberger, Florence Rabier

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 本文研究了欧洲中期天气预报中心（ECMWF）从受限数据许可模式向CC BY 4.0开放获取的转型，探讨了其设计方法和可持续性问题。

RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts

RefusalBench: 为什么拒绝率错误排名前沿大语言模型在生物研究提示中的表现

Lukas Weidener, Marko Brkić, Mihailo Jovanović, Emre Ulgac, Aakaash Meduri

机构 * Applied Scientific Intelligence, Inc.（应用科学智能公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出RefusalBench，通过141个提示的47组匹配三元组，评估前沿大语言模型在生物研究提示中的拒绝行为，发现拒绝率错误排名安全校准，揭示了模型在不同风险层级下的表现差异。

Comments 34 pages, 4 figures, 12 tables (10 in main text, 2 in supplementary). Code and data: https://github.com/AppliedScientific/refusalbench

Refining and Reusing Annotation Guidelines for LLM Annotation

对LLM注释的注释指南进行细化和重用

Kon Woo Kim, Jin-Dong Kim, Akiko Aizawa

机构 * The Graduate University for Advanced Studies, SOKENDAI（Graduate University for Advanced Studies, SOKENDAI） ； National Institute of Informatics (NII)（National Institute of Informatics） ； BioData Science Initiative (BSI), National Institute of Genetics (NIG)（BioData Science Initiative (BSI), National Institute of Genetics） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出了一种系统性的注释指南重用和细化方法，通过迭代审核框架来对LLM注释进行改进，并在生物医学NER任务中验证了指南整合的有效性、推理优化模型的优势以及在最小监督下的审核可行性。

Comments 14 pages, 7 figures. Accepted to the ACL 2026 Main Conference