大模型对齐与安全

IDEA: Insensitive to Dynamics Mismatch via Effect Alignment for Sim-to-Real Transfer in Multi-Agent Control

IDEA: 通过效果对齐对动力学失配不敏感的模拟到现实迁移多智能体控制

Chenlong Liu, Zhuohui Zhang, Xinyan Chen, Zhipeng Wang, Bin Cheng, Bin He

机构 * College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出一种通过效果对齐对动力学失配不敏感的模拟到现实迁移方法，结合随机环境结构与离散语义动作，并开发动作同步机制，提升多智能体系统在真实场景中的训练效率和成功率。

Comments 8 pages, 6 figures

Verifiable Foundation Models for Robot Safety

机器人安全的可验证基础模型

Davide Corsi, Kyungmin Kim, Roy Fox

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出FEARL框架，将策略分解为大控制器和小安全模块，使形式化验证仅应用于安全模块，从而在保持控制器表达能力的同时实现可验证的机器人安全控制。

Imagine to Ensure Safety in Hierarchical Reinforcement Learning

想象以确保分层强化学习的安全性

Gregory Gorbov, Artem Latyshev, Aleksandr I. Panov

机构 * Cognitive AI Systems Lab（认知人工智能系统实验室） ； Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所） ； FRC Computer Science RAS（俄罗斯科学院联邦研究中心计算机科学研究所） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出结合可学习世界模型与高低层策略的分层方法，通过高层生成安全子目标、低层利用想象滚动减少不安全行为，在长时域任务中显著优于现有安全强化学习基线。

CNnotator: LLM-Guided Memory Safety Annotation Synthesis

CNnotator: LLM引导的内存安全注释合成

Twain Byrnes, Mike Dodds

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Galois, Inc.（Galois公司） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出CNnotator工具，利用大语言模型自动生成CN规范来标注C代码的内存使用模式，OpenAI o3模型首次尝试成功率达90%，表明AI辅助注释对实际C代码库可行。

Comments 6 pages. Published at ReCode 2026 (1st Workshop on Code Translation, Transformation, and Modernization), co-located with ICSE 2026. This version corrects the description of the property-based testing backend (Bennet, built on Fulminate) relative to the published version

Journal ref Proceedings of the 1st Workshop on Code Translation, Transformation, and Modernization (ReCode '26), April 12-18, 2026, Rio de Janeiro, Brazil. ACM, New York, NY, USA, 6 pages

AIR: Improving Agent Safety through Incident Response

AIR：通过事件响应提升智能体安全性

Zibo Xiao, Jun Sun, Junjie Chen

机构 * Tianjin University（天津大学） ； Singapore Management University（新加坡国立管理学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出首个面向LLM智能体系统的事件响应框架AIR，通过语义检测、自动遏制恢复和规则合成，在三个典型智能体上实现超90%的检测、修复和根除成功率。

Comments Accepted at ICML 2026

CLAR: Learning 3D Representations for Robotic Manipulation by Fusing Masked Reconstruction with Multi-Level Contrastive Alignment

CLAR: 通过融合掩码重建与多层级对比对齐学习用于机器人操作的3D表示

Wenbo Cui, Chengyang Zhao, Yuhui Chen, Haoran Li, Zhizheng Zhang, Dongbin Zhao, He Wang

机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所SKL-MAIS） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Galbot ； CFCS, School of Computer Science, Peking University（北京大学计算机科学与技术学院CFCS） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出CLAR框架，融合掩码自编码与全局跨模态对比学习，并引入基于可变形注意力的局部自适应对齐机制，解决3D预训练中空间几何与语义细节的权衡问题，在视觉运动策略学习中达到最优性能。

CausalT5k: Diagnosing Refusal and Failure Modes in Trustworthy Causal Reasoning Across Causal Rungs

CausalT5k: 诊断可信因果推理中的拒绝与失败模式——跨越因果阶梯

Longling Geng, Andy Ouyang, Theodore Wu, Daphne Barretto, Matthew John Hayes, Rachael Cooper, Yuqiao Zeng, Sameer Vijay, Gia Ancone, Ankit Rai, Matthew Wolfman, Patrick Flanagan, Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 提出CTK基准，通过5,147个案例诊断大语言模型在因果推理中的失败模式，包括因果阶梯、陷阱类型、压力敏感性和拒绝质量等标注，揭示聚合准确率隐藏的缺陷。

Comments 12 pages, 17 tables, 4 figures

NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

面向法律AI-TRISM的神经符号AI：可信、可靠、可解释、安全模型

Deepa Tilwani, Yash Saxena, Ankur Padia, Srinivasan Parthasarathy, Manas Gaur

机构 * Department of Computer Science, AI Institute, University of South Carolina（南卡罗来纳大学计算机科学系，人工智能研究所） ； Department of Computer Science and Electrical Engineering, University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校计算机科学与电气工程系） ； Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） 纠错

专题命中 安全训练 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 针对法律领域LLM缺乏可解释推理和易产生幻觉的问题，提出TRISM框架，融合神经符号AI与LLM，通过结构化法律知识集成和RAG验证机制提升模型可信度。

AP-GRPO: Anchor-Gated Phonetic Alignment with Policy Optimization for Pathological Speech Reconstruction

AP-GRPO: 基于锚定门控语音对齐与策略优化的病理语音重建

Pengfei Zhang, Hoang H Nguyen, Yutong Song, Wenjun Huang, Tahmid Imtiaz Imu, Henry Peng Zou, Jiang Wu, Honghui Xu, Amir M. Rahmani

机构 * University of California Irvine（加州大学尔湾分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 针对神经退行性和神经运动障碍患者的病理语音，提出AP-GRPO框架，通过锚定门控奖励和语音对齐奖励优化语音语言模型，实现忠实重建，并揭示疾病特异性模式。

SHARD: Safe and Helpful Alignment via Self-Reframing Distillation

SHARD: 通过自我重构蒸馏实现安全且有益的校准

Viswonathan Manoranjan, Amogh Gupta, Anvesh Rao Vijjini, Thomas Hofweber, Snigdha Chaturvedi

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 安全训练 ：alignment(title)；safety(abstract)；分类 cs.CL

AI总结 提出SHARD方法，通过哲学准则重构敏感提示以暴露良性意图，并自我重构响应，在保持安全性的同时提升帮助性。

'AI Alignment' Encompasses Competing Technical Priorities

“AI对齐”包含相互竞争的技术优先级

Tushita Jha, Rory Svarc, Mateusz Bagiński

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.CY

AI总结 本文指出AI对齐概念存在多种定义，不同研究项目下的对齐干预可能相互冲突，并建议研究者区分政策与科学范围、明确方法分歧、区分理想与代理指标、细化危害/收益来源、承认概念多样性。

Comments 9 pages, 0 figures, 2 tables, ICML 2026

Your Model Already Knows: Attention-Guided Safety Filter for Vision-Language-Action Models

你的模型已经知道：面向视觉-语言-动作模型的注意力引导安全过滤器

Seongbin Park, Fan Zhang, Baharan Mirzasoleiman, Shahriar Talebi, Nader Sehatbakhsh

机构 * University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文发现VLA模型中的少数注意力头能可靠定位目标物体，利用这一特性提出无需训练的安全框架，结合控制障碍函数和实时目标跟踪器，实现动态障碍物下的碰撞避免，在动态场景中性能提升43%。

Comments Under review

Personalization Meets Safety:Mechanisms,Risks,and Mitigations in Personalized LLMs

个性化与安全的交汇：个性化大语言模型中的机制、风险与缓解措施

Yanyan Luo, Xue Han, Ruiqiao Bai, Xin Huang, Yitong Wang, Qian Hu, Qing Wang, Chunxu Zhao, Jie Liu, Cong Geng, Lehao Xing, Pengwei Hu, Junlan Feng

机构 * China Mobile Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动九天人工智能技术（北京）有限公司） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文首次对个性化大语言模型进行安全导向的综述，从用户表征、个性化范式和评估三个维度组织，提出统一的安全风险分类，并分析各范式下的脆弱性及缓解策略。

Data Flow Control: Data Safety Policies for AI Agents

数据流控制：AI 智能体的数据安全策略

Charlie Summers, Eugene Wu

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出数据流控制框架，通过声明式策略和可移植查询重写层 Passant，在 DBMS 中强制执行元组级数据安全策略，实现接近零开销。

Comments 15 pages, 12 figures

VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring

VLESA: 用于人类活动监测的视觉语言具身安全智能体

Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； Harvard University（哈佛大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出VLESA框架，通过自我中心视频监测人类活动，利用GRPO训练的目标条件安全Q过滤器进行实时安全干预，在ASIMOV-2.0基准上实现更高干预精度。

Comments 18 pages, 5 tables, 5 figures

EvoDrive: Pareto Evolution for Safety-Critical Autonomous Driving via Self-Improving LLM Agents

EvoDrive: 通过自我改进的LLM智能体实现安全关键自动驾驶的帕累托进化

Tong Nie, Yuewen Mei, Yihong Tang, Junlin He, Jie Deng, Jian Sun, Wei Ma

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出EvoDrive，首个基于LLM的自动化智能体进化框架，通过模拟器接地演员-评论家架构和帕累托存档，在安全关键场景生成中实现对抗性与真实性的多目标优化。

Glass Box at Orbit: A Constitutional AI Verification Framework for Trustworthy Autonomous CubeSat Intelligence

轨道上的玻璃盒：面向可信自主立方星智能的宪法AI验证框架

Karthik Barma, Anil Sanneboyina, V C Premchand Yadav

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 提出玻璃盒框架，通过运行时宪法AI验证层拦截自主航天器决策，利用六项物理约束和七项线性时序逻辑安全不变式确保安全，并证明其验证开销与模型规模无关。

Comments 12 pages, 2 figures, 2 tables, 32 references. Paper 1 of the Project October series on autonomous orbital intelligence

Lost in Delusion: Examining LLM Safety Under User Delusions and Distress

迷失在妄想中：审视用户妄想与痛苦下的LLM安全性

Andrew Aquilina, Chetna Nihalani, Vasudha Varadarajan, Nathan S. Fishbein, Yu-Ru Lin, Maarten Sap

机构 * University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Fordham University（福特汉姆大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 本研究通过多轮对话模拟，发现LLM在检测用户痛苦时表现良好，但在痛苦嵌入妄想时干预行为显著减少（高达4.5倍），并提出针对性提示策略以缩小这一差距。

Safety Must Precede the Deployment of Open-Ended AI

安全必须优先于开放式AI的部署

Ivaxi Sheth, Jan Wehner, Sahar Abdelnabi, Ruta Binkyte, Mario Fritz

机构 * CISPA-Helmholtz Center of Information Security（CISPA-海德堡信息安全中心） ； MPI for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center（智能系统Max Planck研究所、图宾根ELLIS研究所、图宾根人工智能中心） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出开放式AI系统因自主无限生成新行为而带来预测性丧失、新兴错位和控制困难等独特安全挑战，需在部署前主动研究，并给出挑战分类和研究方向。

Comments Accepted to ICML'26

When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models

当上下文翻转，安全失效：诊断对齐语言模型中的脆弱安全性

Dasol Choi, Alex Kwon

机构 * AIM Intelligence（AIM智能） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出上下文翻转评估方法，通过安全基准和常识控制测试12个模型，发现对齐语言模型存在安全特异性脆弱性，源于策略覆盖而非理解错误，并证明动作级护栏无法检测后果翻转。

Constrained Meta Reinforcement Learning with Provable Test-Time Safety

具有可证明测试时安全性的约束元强化学习

Tingting Ni, Maryam Kamgarpour

机构 * Sycamore Lab, EPFL, Lausanne, Switzerland（苏黎世联邦理工学院萨克森实验室，瑞士拉瓦尔） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出一种约束元强化学习算法，在测试任务上以可证明的安全性和样本复杂度保证学习近似最优策略，并证明样本复杂度下界。

$D^2$-Monitor: Dynamic Safety Monitoring for Diffusion LLMs via Hesitation-Aware Routing

$D^2$-Monitor: 通过犹豫感知路由实现扩散LLM的动态安全监控

Aoxi Liu, Yupeng Chen, James Oldfield, Guanzhe Hong, Junchi Yu, Baoyuan Wu, Philip Torr, Adel Bibi

机构 * Torr Vision Group, University of Oxford（奥克斯大学托尔视觉组） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 针对扩散大语言模型的安全监控问题，提出基于犹豫感知路由的双层动态监控框架$D^2$-Monitor，通过轻量级探针实时估计犹豫度并触发高容量探针，在3个数据集上以0.85M参数达到最优性能与效率平衡。

Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets

统一跨域离线强化学习中异构数据集的价值对齐与价值分配

Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

机构 * City University of Hong Kong ； Tencent ； Institute of Artificial Intelligence (TeleAI), China Telecom ； Institute of Automation, Chinese Academy of Sciences. Corresponding Author 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.LG

AI总结 针对异构跨域离线强化学习中价值误分配问题，提出V2A方法，通过时间一致模态表示学习和模态感知优势学习统一动力学对齐、价值对齐与价值分配，显著提升策略性能。

Comments Accepted at ICML 2026

JT-SAFE-V2: Safety-by-Design Foundation Model with World-Context Data

JT-SAFE-V2：具有世界上下文数据的安全设计基础模型

Junlan Feng, Fanyu Meng, Chong Long, Pengyu Cong, Duqing Wang, Yan Zheng, Yuyao Zhang, Xuanchang Gao, Ye Yuan, Yunfei Ma, Zhijie Ren, Fan Yang, Na Wu, Di Jin, Chao Deng

机构 * JIUTIAN Research（九天研究院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出JT-Safe-V2大语言模型，通过世界知识预训练、高确定性训练和安全强化后训练实现通用智能与安全设计的联合优化，并引入Safe-MoMA框架降低推理成本，在通用智能和安全基准上达到最优性能。

Governing Evolving Memory in LLM Agents: Risks, Mechanisms, and the Stability and Safety Governed Memory (SSGM) Framework

在LLM代理中治理演化的记忆：风险、机制以及稳定性与安全性的治理记忆（SSGM）框架

Chingkwun Lam, Jiaxin Li, Lingfei Zhang, Kuo Zhao

机构 * College of Intelligent Science and Engineering（智能科学与工程学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文研究了LLM代理中记忆治理的问题，提出了一种新的SSGM框架，通过一致性验证、时间衰减建模和动态访问控制来缓解记忆腐蚀风险，提高记忆系统的稳定性与安全性。

ETS: Energy-Guided Test-Time Scaling for Training-Free RL Alignment

ETS: 为无训练强化学习对齐的能耗引导测试时缩放

Xiuyu Li, Jinkai Zhang, Mingyang Yi, Yu Li, Longqiang Wang, Yue Wang, Ju Fan

机构 * Renmin University of China, Beijing, China（中国人民大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文提出了一种无需训练的推理方法，直接从最优强化学习策略中采样，通过结合参考策略模型和能耗项来改进掩码语言模型的过渡概率，并通过在线蒙特卡洛方法估计关键能耗项，从而提高生成质量。

Comments Accepted by ICML 2026

Foundation models on the bridge: Semantic hazard detection and safety maneuvers for maritime autonomy with vision-language models

桥梁上的基础模型：基于视觉-语言模型的语义危险检测与安全操作用于海上自主性

Kim Alexander Christensen, Andreas Gudahl Tufte, Alexey Gusev, Rohan Sinha, Milan Ganai, Ole Andreas Alsos, Marco Pavone, Martin Steinert

机构 * Dept. of Mechanical and Industrial Engineering, NTNU（机械与工业工程系，挪威科技大学） ； Dept. of Aeronautics and Astronautics, Stanford University（航空航天工程系，斯坦福大学） ； Dept. of Computer Science, Stanford University（计算机科学系，斯坦福大学） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 安全训练 ：safety(title)；alignment(abstract)；分类 cs.AI

AI总结 本文提出了一种基于视觉-语言模型的语义危险检测与安全操作方法，用于满足IMO草案MASS代码对海上自主船舶的要求，通过快速-慢速异常管道和短时间范围的人类可覆盖回退操作来实现，在40个港口场景中验证了该方法的性能。

Comments 17 pages without bibliography or appendix. The main paper has 16 figures. Paper webpage can be found at https://kimachristensen.github.io/bridge_policy/

Journal ref Ocean Engineering 359, Part 3 (2026), Article 124646

Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints

在非平稳环境下通过自适应安全约束实现安全的持续强化学习

Timofey Tomashevskiy

机构 * McMaster Centre for Software Certification（麦斯特软件认证中心） ； Department of Computing and Software（计算与软件系） ； McMaster University（麦斯特大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。

Comments Preprint version

MILD: Mediator Agent System with Bidirectional Perception and Multi-Layered Alignment for Human-Vehicle Collaboration

MILD：具有双向感知和多层对齐的中介代理系统用于人车协作

Jiyao Wang, Yunbiao Wang, Yubo Jiao, Xiao Yang, Dengbo He, Sasan Jafarnejad, Luis Miranda-Moreno, Raphael Frank, Jiangbo Yu

机构 * Department of Civil Engineering, McGill University（麦吉尔大学土木工程系） ； Systems Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）系统中心） ； Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠与信任跨学科中心） 纠错

专题命中 安全训练 ：alignment(title)；safety(abstract)；分类 cs.AI

AI总结 本文提出MILD系统，通过双向感知和多层对齐提升人车协作效率，采用ECPO算法确保策略符合安全规范和人类价值观，实验证明其在感知准确性和策略质量上优于基线模型。

Why Does Agentic Safety Fail to Generalize Across Tasks?

为何代理安全无法跨任务泛化？

Yonatan Slutzky, Yotam Alexander, Tomer Slor, Yoav Nagel, Nadav Cohen

机构 * Some Institute（某些研究所） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文探讨了代理安全在多任务场景中泛化失败的原因，指出安全要求使任务与安全执行的关系更为复杂，通过理论和实验表明需新的方法提升安全性能。