大模型对齐与安全

Agents That Certify Their Own Exploits: Confidence-Scheduled Restricted Responses for Safe Opponent Exploitation

可证明自身利用行为的智能体：用于安全利用对手的置信度调度受限响应

Boning Li, Longbo Huang

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究提出CS-RNR方法，通过置信序列跟踪对手行动频率，生成可自我审计的安全利用策略，在Leduc等博弈中实现远超基准的收益且符合预算要求。

Comments 21 pages, 5 figures

Old Tricks, New Models: How Simple Image Transformations Break Modern AI-based Content Moderation

旧技巧，新模型：简单图像变换如何破解基于现代AI的内容审核

Marco Alecci, Francesco Marchiori, Iyiola Emmanuel Olatunji, Tegawendé F. Bissyandé, Jacques Klein

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究通过黑盒评估发现，商用多模态图像审核API可被简单图像变换绕过，且不同服务稳健性差异大，表明这类API无法单独作为可靠安全过滤器，需结合分层审核管道部署。

Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

选择 moderation 的位置与方式：过滤点与响应重写的端到端权衡

Mengya Hu, Susie Park, Suzana Ilic, Qiong Wei, Sandeep Atluri, Myra Deng, Tucker Fross, Curt Tigges

机构 * Microsoft Responsible AI（微软负责任人工智能部门） ； Goodfire（古德法尔公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 该研究针对内容审核部署中的过滤点与响应方式，对比不同方案的有用性、有害暴露等指标，发现响应重写可平衡流量恢复与安全，支持按部署约束选择审核配置。

Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

危害并非普遍存在：迫切需要针对特定社区的毒性检测

Xinnuo Xu, Anja Thieme, Daniela Massiceti, Ioana Tanase, Rita Marques, Melanie Fernandez Pradier, Martin Grayson, Camilla Longden, Cecily Morrison

机构 * Microsoft Research Cambridge, UK（英国剑桥微软研究院） ； Microsoft Paris, France（法国巴黎微软） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究指出文本到图像生成的通用毒性检测方法不能保护边缘化社区，主张特定社区毒性检测（CTD）。通过与专家合作制定指南，利用图像数据集实验表明现有模型表现不佳，基于提示的方法和参数高效微调可提升性能，但CTD性能仍远低于通用检测，需持续研究。

Comments 18 pages, under review

Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study

多智能体大语言模型系统中分布式后门的早期检测：一项特征研究

Diego Fernandez Arias, Dev Prashant Mistry, Ren Wang, Yibo Hu

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统中分布式后门早期检测，构建分层多智能体系统实例，通过记录片段注入及载荷组装执行时间来检测。前缀检测器能较早标记多数成功攻击，部分检测器依赖表面线索，微调模型可减少线索去除后的损失。

NEXT: Reasoning-Driven Video Recommendation via a Vision-Language Model

NEXT：通过视觉语言模型进行推理驱动的视频推荐

Yuming Liu, Hongye Yang, Harrison Zhao, Ellie Zhu, Bokai Cao, Lei Huang, Lizhu Zhang, Xiangjun Fan

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究提出推理驱动的视频推荐框架NEXT，通过对用户已观看视频推理推断其下一个意图来检索后续视频。训练NEXT-8B视觉语言模型，在DocVQA性能上表现出色，在特定评估中提升下一个意图逻辑质量，部署后带来生产收益，证明其可作为实用推理引擎。

Comments 13 pages, 2 figures, 5 tables

Explainable Reinforcement Learning via Physics-Aware Policy Distillation

通过物理感知策略蒸馏实现可解释强化学习

Shaker Al-Tamari, Waled Kadour

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对安全关键领域中深度强化学习的黑箱问题，利用策略蒸馏框架，以高性能TD3为教师模型，基于浅层决策树生成可解释学生代理，通过特定方法生成数据集，实现性能与教师相当并保持系统稳定性和可解释性。

Comments 6 pages, 7 figures

Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents

用于大语言模型代理中污点限制的代理权限策略代数

Arseny Kravchenko, Vadim Liventsev, Innokentii Konstantinov, Ildar Iskhakov, Matvey Kukuy

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 研究大语言模型代理处理混合机密数据时的安全风险，提出APPA框架，通过引擎管理上下文分支等解决可用性瓶颈，经双幺半群模型证明相关特性，实验表明其能抑制数据泄露并恢复部分被污点跟踪损失的效用。

Comments Preprint. Submitted to the 19th ACM Workshop on Artificial Intelligence and Security (AISec '26). 10 pages, 2 tables, 1 figure

Constrained Reinforcement Learning Using Successor Representations

使用后继表示的约束强化学习

Michael Girstl, Alexander Mattick, Christopher Mutschler

机构 * Technical University of Darmstadt (TU Darmstadt)（达姆施塔特工业大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森州人工智能中心） ； Fraunhofer Institute for Integrated Circuits IIS, Fraunhofer IIS（弗劳恩霍夫集成电路研究所IIS） ； University of Technology Nuremberg (UTN)（纽伦堡工业大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对现实世界强化学习中策略难适应成本函数变化的问题，提出SafeDSR方法，通过引入可学习权重矩阵扩展深度后继表示到约束强化学习，能快速重训策略，在二维导航环境展示竞争力与灵活性。

Comments published in Transactions for Machine Learning Research 2026

Journal ref Michael Girstl, Alexander Mattick, & Christopher Mutschler (2026). Constrained Reinforcement Learning Using Successor Representations. Transactions on Machine Learning Research

Constitutional governance for societies of AI agents in the built environment: a research agenda

建筑环境中人工智能代理社会的宪法治理：一项研究议程

Ali Ghoroghi

专题命中 安全训练 ：safety(abstract)；分类 cs.CY

AI总结 本文针对建筑环境中人工智能代理社会的治理提出研究议程，围绕深度不确定性下改造的机制设计、建筑运营中代理的物理信息验证、冲击下城市基础设施的抗脆弱协调三个问题，借鉴多代理系统研究成果，阐述基础、识别问题并概述相关要求。

Comments 23 pages, 2 figures. Supplementary material is included in the same PDF

Decentralized Granular Access Control for Agentic AI Systems in Critical Infrastructure

关键基础设施中智能体人工智能系统的去中心化粒度访问控制

Arun Malik, Deepal Jayasinghe, Bradley Klemick, Prachi Shah, Nitish Talasu, Vineet Tushar Trivedi

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究关键基础设施中智能体人工智能系统的安全挑战，提出去中心化多层访问控制架构，含复合身份模型等四项创新，基于OWASP威胁分类法设计，经云提供商生产验证，能有效实施粒度访问控制并防止特权升级。

Comments 7 pages, 9 figures, 7 tables

Optimal Reward Shaping: Autonomous Car Parking Case Study

最优奖励塑造：自动驾驶汽车停车案例研究

Emre Özkaya, Nicolas R. Gauger

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。

Comments 12 pages, 8 figures. Includes supplementary video demonstration and open-source code link

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

GuardianAgentBench: Where Agents Fail and How to Guard Them

GuardianAgentBench：智能体何处失败及如何防范

Vishal Ishwar Naik, Chenyu Xu, Donna Dong, Hussein Hassan, Abhishek Pradhan, Ofer Mendelevitch, Tallat Shafat, Humayun Irshad

机构 * Vectara, Inc.（Vectara公司） ； Anthropic（Anthropic公司） ； OpenAI（OpenAI公司） ； Google DeepMind（谷歌DeepMind） ； DeepSeek-AI（DeepSeek人工智能公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体安全可靠行为问题，提出GuardianAgentBench基准测试，含多阶段验证和攻击模式。实验发现模型有两种失败模式，性能随工具集和轮次深度下降。护栏实现优于系统提示防御，证明执行时结构干预可提升安全性且不影响正确行为。

Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning

使用多智能体强化学习解决空中走廊降级监视下的冲突

Esrat Farhana Dulia, Syed Arbab Mohd Shihab, Caleb Adams, Ruben Del Rosario

机构 * College of Aeronautics and Engineering（航空与工程学院） ； Center for Advanced Air Mobility（先进空中交通中心） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究针对空中走廊降级监视下的冲突解决问题，开发基于深度Q网络的多智能体强化学习框架，为两类飞机训练策略，经模拟评估策略效果，揭示安全与走廊容量权衡，支持相关冲突解决策略评估。

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

自主拓扑变异：具有能力、状态和影子不变量的多智能体大语言模型系统的安全运行时重组

Bronislav Sidik, Chaya Levi, Nizzan Kimhi

机构 * Toga Networks (Huawei)（托加网络（华为）） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统运行时无自我重组机制的问题，提出自主拓扑变异（ATM）机制，结合遥测驱动过载检测与安全不变量，经实验验证可提升任务成功率、减少隐私内存暴露并降低延迟，且相关内容已开源。

Comments 9 pages, 5 tables. Code and benchmark harness available at https://github.com/sidikbro/jiuwen_atm

Robust Critics: Defending LLMs Against Multi-Turn Attacks

鲁棒评论家：防御大语言模型免受多轮攻击

Roman Belaire, Arunesh Sinha, Pradeep Varakantham

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对大语言模型在多轮攻击下的安全问题，提出对话评论家引导采样（DCGS）框架，通过推断用户意图、建模为马尔可夫决策过程并学习价值和遗憾评论家来生成回复，在多个数据集上评估优于基线和前沿模型，还能迁移提升模型鲁棒性。

End-to-End Learning of Safe Optimal Feedback Control in High Dimensions with Control Barrier Function Layers

基于控制障碍函数层的高维安全最优反馈控制的端到端学习

Xingjian Li, Kelvin Kan, Deepanshu Verma, Krishna Kumar, Stanley Osher, Samy Wu Fung

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究在硬安全约束下高维半全局反馈控制器的学习问题，结合算子分裂与无雅可比反向传播方法，实现可扩展端到端训练并保持安全保证，证明该方法在高维多智能体非线性控制问题上的有效性。

Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

弥合实验室与商店之间的差距：一种用于零售类人机器人的数据高效训练后及经验驱动学习的VLA框架

Roger Sala Sisó, Tiago Silvério, Jakob Sand, Tran Nguyen Le

机构 * HIVE Robots（蜂巢机器人公司） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对VLA类人机器人弥合实验室与实际应用差距的问题，提出DEED系统级方法，含数据高效训练后管道、经验驱动细化研究及潜在空间分析工具，经实验证明精心设计数据和训练后处理可解决该问题。

Comments 8 pages. This work has been submitted to the IEEE for possible publication

PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference

PyroDash：具有成本效益的令牌级小语言模型与大语言模型协作推理

Niqi Lyu, Pengtao Shi, Wei Qiu, Jianlin Zhong, Sicong Xia, Jianyao Ma, Yicheng Ding

机构 * Pyromind Dynamics Inc.（Pyromind动力学公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对大语言模型推理成本高、小语言模型可靠性低的问题，提出PyroDash框架，通过令牌级协作推理，分三阶段训练小语言模型，在数学推理基准测试中能支持不同操作点，可减少大语言模型使用并保持推理性能。

Comments 19 pages, 3 figures

Safe Remediation as Risk-Constrained Intervention Decision in Microservice Systems

作为微服务系统中风险约束干预决策的安全修复

Chengxiao Dai, Zhaokun Yan, Chenjun Lei, Qiao Li, Luyan Zhang

机构 * School of Computer Science, University of Sydney（悉尼大学计算机科学学院） ； Khoury College of Computer Sciences, Northeastern University（美国东北大学库里计算机科学学院） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） ； College of Business and Economics, Australian National University（澳大利亚国立大学商业与经济学院） ； School of Computer Science and Technology, Fujian Normal University（福建师范大学计算机科学与技术学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究微服务系统中安全修复问题，将其转化为风险约束干预决策问题并构建约束马尔可夫决策过程，引入三维风险分解和上下文自适应人在回路门，通过实验验证该框架能降低错误修复率、提高修复成功率并减轻值班升级负载。

OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks

OpenEvoShield：面向开放世界多智能体系统攻击的双重非平稳持续防御

Litian Zhang, Chaozhuo Li, Yuting Zhang, Zejian Chen, Bingyu Yan, Qiwei Ye

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对LLM-MAS中对手通过通信注入恶意指令的双重动态攻击，提出OpenEvoShield持续防御框架，含不对称速率控制器等组件，实验表明其在多基准和拓扑上优于基线，能检测多数未见攻击且误报率低。

Comments 29 pages, 5 figures, 14 tables

Decentralized Multi-agent Reinforcement Learning for Resilient Critical Infrastructures

用于弹性关键基础设施的去中心化多智能体强化学习

Minghui Ding, Evangelos Pournaras

机构 * School of Computer Science, University of Leeds（利兹大学计算机科学学院） ； School of Energy Systems, LUT University（卢特大学能源系统学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究用于弹性关键基础设施的去中心化多智能体强化学习，基于对其特性与基础设施要求的分析，指出信用分配和通信是实际可行的核心条件，提出包含结构、因果、弹性感知信用分配及相关通信等的研究议程，为弹性关键基础设施构建有条件的基础。

Comments Accepted at the 2026 IEEE International Conference on Autonomic Computing and Self-Organizing Systems (ACSOS 2026)

Fence: Specialized SLM Guardrails for LLM Applications

Fence：用于大语言模型应用的专用小型语言模型护栏

Kumud Lakara, Ruibo Shi, Fran Silavong

机构 * JPMorgan（摩根大通） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究使用闭源大语言模型的实际应用的安全措施问题，提出用在合成数据上训练的小型语言模型作专用护栏，引入受GAN启发的合成数据生成方法，实验证明该方法训练的护栏比基于提示的性能更优。

Hardware Mechanisms to Dynamically Throttle AI Performance

动态限制人工智能性能的硬件机制

Haiyue Ma, Lauren Malek, Joseph Forzani, David Wentzlaff

机构 * Princeton University（普林斯顿大学） ； Princeton University Electrical（普林斯顿大学电子与计算机工程） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究在人工智能模型集成到关键系统时缺乏意图控制的问题，提出用微架构旋钮动态控制硬件资源限制AI性能，评估候选旋钮并构建机制，展示其高性能敏感度等优势及多旋钮组合效果。

A Dual-Hypothesis Reasoning Framework for LLM Guardrails

一种用于大语言模型护栏的双假设推理框架

Md Asiful Islam, Mihai Surdeanu

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究提出ARBITER大语言模型护栏框架，采用双假设推理和多组件监督微调方法，用成本效益高的策略生成推理痕迹及基于LoRA微调，性能超现有方法，还能为不安全决策提供解释，在安全审核基准实验中表现出色。

Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI

指定委托自治边界：智能体人工智能的需求工程

Chetan Arora, Andreas Vogelsang, Abbi Sharma

机构 * Faculty of IT, Monash University（莫纳什大学信息科技学院） ； University of Duisburg-Essen（杜伊斯堡-埃森大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究智能体人工智能系统带来的需求工程问题，提出机构理由记录和智能体委托策略两个互补工件，通过分级建模权限，以医院出院协调智能体和自动代码审查智能体为例阐释框架，解决委托自治边界相关需求工程问题。

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe

以少胜多：一种简单方法构建的大规模遥感视觉语言模型

Stefan Maria Ailuro, Mario Markov, Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel

机构 * INSAIT, Sofia University “St. Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”信息与自动化研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究针对遥感视觉语言模型，质疑架构专业化必要性，提出通用模型经大规模跨数据和任务训练可获好性能。核心方法是用单一语言策略及多任务强化学习框架训练。主要贡献是在多基准测试中取得竞争力结果，证明数据规模更关键。

EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

EduGuard：一种用于编程教育的基于安全检索增强生成的语言模型导师

S M Asif Hossain, Ruksat Khan Shayoni, M. F. Mridha, Jungpil Shin

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 研究针对学生使用GenAI进行编程学习时的问题，提出EduGuard安全RAG辅导框架，集成多种功能。通过构建基准测试并与强基线比较，在正确性、基础等方面表现最佳，能提升准确率并降低过度依赖，证明安全GenAI辅导需多方面保障。

AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery

AnovaX：一个具有大语言模型规划、类型化执行器和自适应恢复功能的本地多智能体语音助手

Raunak B Sinha

机构 * BITS Pilani（贝拉理工学院皮拉尼分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究桌面语音助手局限，提出AnovaX本地多智能体语音助手，通过Python进程连接多组件，含规划器、安全层等，各工具对应专用智能体类，有递归元智能体及自适应恢复循环，还介绍配套服务器功能，展示其独特优势。