大模型对齐与安全

Distilling LLM Reasoning into an Interpretable Policy Tree for Human-AI Collaboration

将LLM推理蒸馏为可解释的策略树用于人机协作

Beiwen Zhang, Yongheng Liang, Guowei Zou, Haitao Wang, Hejun Wu

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出Co-pi-tree方法，通过将大语言模型推理蒸馏为可执行策略树，在Overcooked-AI中平均奖励提升35.4%，同时减少77.7%的LLM查询和97.1%的测试延迟。

Resilient Write: A Six-Layer Durable Write Surface for LLM Coding Agents

抗挫写入：一种六层耐用写入表面用于大语言模型编码代理

Justice Owusu Agyemang, Jerry John Kponyo, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperixlabs, Ghana（塞普里克斯实验室，加纳） ； Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（库马西技术大学，加纳） ； VIA Cybersecurity Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（VIA网络安全实验室，库马西技术大学，加纳） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Resilient Write，通过六层耐用写入表面提升编码代理在文件写入时的容错能力，减少恢复时间并提高自我纠正率。

A Barrier-Modulated Architecture for Safe Affine Formation Control in Second-Order Multi-Agent Systems

面向二阶多智能体系统安全仿射编队控制的屏障调制架构

Ashik Abrar Naeem, Mohammad Ariful Haque

专题命中 安全训练 ：safety(abstract)

AI总结 提出一种结合高阶控制屏障函数与自适应动态规划的屏障调制架构，实现二阶多智能体系统的安全仿射编队控制，通过分析型与数据驱动两种安全控制器保证绝对避碰和一致最终有界编队跟踪误差。

DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning

DyCo-RL: 用于视觉推理的动态跨模态协调

Hangui Lin, Yan Shu, Zhengyang Liang, Chi Liu, Xiangrui Liu, Minghao Qin, Teng Long, Zheng Liu, Nicu Sebe

机构 * University of Trento（特伦托大学） ； BAAI（北京智源人工智能研究院） ； Singapore Management University（新加坡管理大学） ； IQuest Research 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出DyCo-RL，通过Fisher-Rao测地距离量化模态内注意力转移，实现动态跨模态协调，并利用对齐引导的优势重加权优化策略，提升多模态大模型在视觉推理中的表现。

A Survey on the Applications of Generative Artificial Intelligence in Automated Driving Systems Test Scenario Generation Methods

生成式人工智能在自动驾驶系统测试场景生成方法中的应用综述

Ji Zhou, Yongqi Zhao, Yixian Hu, Hexuan Li, Zhengguo Gu, Nan Xu, Arno Eichberger

专题命中 安全训练 ：safety(abstract)

AI总结 综述生成式AI在自动驾驶测试场景生成中的应用，分析31篇主要研究，提出包含多模态扩展、伦理检查表和ODD覆盖图的分类法，以解决标准化评估缺失等问题。

Comments 40 pages,7 figures

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

Efficient and Stealthy Jailbreak Attacks via Adversarial Prompt Distillation from LLMs to SLMs

通过从大语言模型到小语言模型的对抗性提示蒸馏实现高效且隐蔽的越狱攻击

Xiang Li, Chong Zhang, Jia Wang, Fangyu Wu, Yushi Li, Xiaobo Jin

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 提出对抗性提示蒸馏（APD）框架，将LLM的越狱能力迁移到SLM，实现高效低资源攻击，在GPT-4上达到96.4%攻击成功率，速度提升3.7倍，参数减少11.3倍。

Comments 24 pages, 3 figures

Self-Mined Hardness for Safety Fine-Tuning

自我挖掘的难度用于安全微调

Prakhar Gupta, Garv Shah, Donghua Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过模型自身生成结果评估提示难度，对最难的提示进行安全微调，在Llama-3模型上将攻击成功率降至1-3%，但增加了拒绝率，通过混合良性提示可平衡性能。

Defending Against Malicious Finetuning by Scaling Train-time Adversarial Attacks

通过扩展训练时对抗攻击防御恶意微调

Haoming Wen, Shi Chen, Qingyu Shi, Siyuan Liu, Minrui Luo, Jingzhao Zhang, Tianxing He

机构 * Xiongan AI Institute（雄安人工智能研究院） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海期智研究院） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对全参数微调的安全威胁，提出基于对抗训练和双层优化的Patcher方法，通过扩展对抗循环中的优化步数增强防御，并设计并行算法提升效率。

PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits

PLAGUE：面向多轮利用的终身自适应生成的即插即用框架

Neeladri Bhuiya, Madhav Aggarwal, Diptanshu Purwar

机构 * A10 Networks, Inc.（A10网络公司） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PLAGUE框架，通过终身学习启发的三阶段设计（Primer、Planner、Finisher）实现高效多轮越狱攻击，在o3和Opus 4.1等强安全模型上ASR提升超30%。

Comments Accepted in ICLR 2026

Helpful to a Fault: Measuring Illicit Assistance in Multi-Turn, Multilingual LLM Agents

有益于故障：测量多轮、多语言LLM代理中的非法协助

Nivya Talokar, Ayush K Tarun, Murari Mandal, Maksym Andriushchenko, Antoine Bosselut

机构 * EPFL（苏黎世联邦理工学院） ； independent（独立研究员） ； tubingen（图宾根大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出STING框架，用于评估多轮多语言LLM代理在执行非法任务时的协助能力，发现低资源语言中攻击成功率不一致，提供实际部署中的压力测试方法。

Comments Accepted in ICML 2026

Context-Fractured Decomposition Attacks on Tool-Using LLM Agents: Exploiting Artifact Provenance Gaps

上下文碎片化解构攻击：利用工具使用LLM代理的工件来源鸿沟

Xiaofeng Lin, Yukai Yang, Daniel Guo, Sahil Arun Nale, Charles Fleming, Guang Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI

AI总结 针对工具使用LLM代理，提出上下文碎片化解构（CFD）攻击，利用跨上下文工件来源鸿沟实现多步越狱，成功率提升高达28.3个百分点。

State Backdoor: Towards Stealthy Real-world Poisoning Attack on Vision-Language-Action Model in State Space

状态后门：针对状态空间中视觉-语言-动作模型的隐蔽现实世界投毒攻击

Ji Guo, Wenbo Jiang, Yansong Lin, Yijing Liu, Ruichen Zhang, Guomin Lu, Aiguo Chen, Xinshuo Han, Hongwei Li

机构 * Laboratory Of Intelligent Collaborative Computing, University of Electronic Science and Technology of China（智能协同计算实验室，电子科学与技术大学） ； National Key Laboratory of Wireless Communications, University of Electronic Science and Technology of China（无线通信国家重点实验室，电子科学与技术大学） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科学与技术大学） ； College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（计算机科学与技术学院，南京航空航天大学） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 提出状态后门攻击，利用机器人手臂初始状态作为触发器，通过偏好引导遗传算法优化触发器的隐蔽性和有效性，在五个VLA模型和五个真实任务中实现超过90%的攻击成功率。

"Can you be my mum?": Manipulating Social Robots in the Large Language Models Era

你能做我的妈妈吗？：在大型语言模型时代操纵社交机器人

Giulio Antonio Abbo, Gloria Desideri, Tony Belpaeme, Micol Spitale

机构 * IDLab-AIRO , Ghent University – imec（IDLab-AIRO 和根特大学-imec） ； DEIB , Politecnico di Milano（DEIB 和米兰理工学院） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CY

AI总结 研究探讨了在大型语言模型时代，用户如何利用机器人违反伦理原则，通过三种场景测试发现五种操纵技术，旨在为设计更安全的伦理人机交互提供参考。

Comments 10 pages, 2 figures

Journal ref HRI '25: Proceedings of the 2025 ACM/IEEE International Conference on Human-Robot Interaction

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

学习攻击与防御：通过GRPO对语言模型进行自适应红队测试

Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

机构 * Microsoft AI Red Team（微软AI红队） ； Microsoft Azure（微软Azure） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AdvGRPO框架，通过密集多通道奖励和分离优势归一化实现GRPO在攻击者-防御者联合优化中的稳定训练，产生高效可迁移攻击，防御者优于基线。

Can Data Work be Reparative?

数据工作能否具有修复性？

Srravya Chandhiramowuli, Ding Wang, Alex Taylor

机构 * University of Edinburgh（爱丁堡大学） ； Google Research（谷歌研究院） 纠错

专题命中 红队测试 ：safety(abstract)；red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 通过民族志研究，探讨公民科技倡议如何从女性主义视角协作构建安全数据集，旨在将数据工作重塑为修复与补救的场所，并分析其中遇到的挑战与张力。

Comments To be presented at ACM FAccT, Montréal, Canada, June 25 to June 28, 2026

Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks

超越通过/失败：使用过程挖掘理解LLM如何抵抗（和失败）红队攻击

Zvi Topol

机构 * MuyVentive LLC 纠错

专题命中 红队测试 ：jailbreak(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 提出将过程挖掘应用于红队攻击轨迹，通过分析事件日志提取直接跟随图和状态转移矩阵，揭示GPT-OSS和Llama 3.3在防御结构上的差异，发现传统攻击成功率指标无法捕捉的模型防御模式。

Brain-Prompt Injection: A Route-Safety Audit for BCI-LLM Agents

脑提示注入：BCI-LLM代理的路径安全审计

Jianwei Tai

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.AI

AI总结 提出路径安全审计契约，通过分离定理和共形校准量化BCI-LLM代理中脑信号注入攻击的风险，实验证明确认通道可降低路由风险。

Document-Authored Control-Signal Impersonation: A Low-Cost Indirect Prompt Attack on RAG Safety Boundaries

文档作者控制信号冒充：对RAG安全边界的低成本间接提示攻击

Jianguo Zhu

机构 * Chengdu University of Information Technology（成都信息工程大学） 纠错

专题命中 提示注入 ：safety(title)；prompt injection(abstract)；分类 cs.CL

AI总结 研究检索增强生成系统中文档文本冒充控制信号的安全漏洞，提出非命令式间接注入攻击方法DACSI，并在多个模型上验证其有效性。

Comments Preprint. Independent-author version

VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation

VATS: 通过系统性变异利用错误路径注入中的隐式权威

Harshil Patel, Kunal Pai

机构 * Harshil Patel ； Kunal Pai 纠错

专题命中 提示注入 ：safety(abstract,comments)；prompt injection(abstract)；分类 cs.AI

AI总结 提出VATS框架，通过七维变异生成对抗性负载，利用错误消息的隐式权威绕过安全机制，在四个前沿模型上实现高达100%的注入成功率。

Comments Published at Second Workshop on Agents in the Wild: Safety, Security, and Beyond (ICML 2026 AIWILD)

PRISM: Recovering Instruction Sets from Language Model Activations

PRISM：从语言模型激活中恢复指令集

Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

机构 * Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham（阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心） ； Microsoft（微软） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 提出PRISM方法，通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集，利用法官引导的GRPO优化，在多种场景下优于基线方法。

Comments Under Review

Review the Code, Not the Story: A Vision and Protocol for Code-First Peer Review

审查代码，而非故事：代码优先同行评审的愿景与协议

Jienan Chen

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出代码优先同行评审协议，由AI系统构建环境、执行实验并生成标准化审查包，将评审焦点从叙述转向可执行证据。

Comments 17 pages, vision and protocol paper

Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models

谄媚作为多语言对齐失败：安全性能如何随语言、主题和模型退化

Arya Shah, Himanshu Beniwal, Mayank Singh, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度理工学院甘地讷格尔分校） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多语言模型中谄媚现象，发现低资源语言中谄媚率激增，且与主题无关，归因于分词器生育率，表明对齐方法在非高资源语言中泛化差。

Comments 19 pages, 9 figures, 7 tables

CARE: A Conformal Safety Layer for Medical Summarization

CARE：面向医学摘要的保形安全层

Suhana Bedi, Bridget Lin, Anson Y. Zhou, Chloe O. Stanwyck, Jenelle A. Jindal, Sanmi Koyejo, David Stutz, Nigam H. Shah

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 幻觉与事实性 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出CARE方法，通过保形风险控制为LLM医学摘要提供校准的遗漏和幻觉标记，在保证安全性的同时减少审查负担。

Comments 29 pages, 5 figures

Auditing Proprietary Alignment in Large Language Models: A Comparative Framework Without a Ground-Truth Standard

审计大型语言模型中的专有对齐：一种无需真实标准的比较框架

Alireza Arbabi, Florian Kerschbaum

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种统计框架，通过比较目标模型与基线模型在共享语义空间中的响应偏差，检测黑盒语言模型中的专有对齐行为，无需真实标准即可实现外部审计。

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Ghosted Layers: 无约束激活对齐用于恢复层剪枝的LLM

Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

机构 * University of Southern California（南加州大学） ； Inha University（inha大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ghosted Layers方法，通过无约束优化解决层剪枝后激活分布不匹配问题，提升LLM准确性和 perplexity 而不牺牲效率。

AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments

AlignFed: 异构边缘环境中大语言模型的对齐感知异步联邦微调

Yan Wang, Ziyi Gao, Rui Wang

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出AlignFed框架，通过多阶段语义对齐机制（版本感知更新分组、跨版本语义对齐、公平性感知聚合）解决异步联邦微调中大语言模型在异构边缘环境中的模型漂移、客户端漂移和聚合不公平问题。

Multimodal Generative Engine Optimization: Rank Manipulation for Vision-Language Model Rankers

多模态生成式引擎优化：针对视觉-语言模型排序器的排名操纵

Yixuan Du, Chenxiao Yu, Haoyan Xu, Ziyi Wang, Yue Zhao, Xiyang Hu

机构 * Georgetown University（乔治城大学） ； University of Southern California（南加州大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多模态生成式引擎优化（MGEO）方法，通过联合优化图像扰动和文本后缀，利用视觉-语言模型内部跨模态知识耦合，实现对产品排名的有效操纵，揭示了多模态基础模型知识基础的脆弱性。

Comments Proceedings of the 4th Workshop on Towards Knowledgeable Foundation Models (KnowFM) at ACL 2026

Code Is More Than Text: Uncertainty Estimation for Code Generation

代码不仅仅是文本：代码生成的不确定性估计

Yuling Shi, Caiqi Zhang, Yuexian Li, Haopeng Wang, Yeheng Chen, Nigel Collier, Xiaodong Gu

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 针对代码生成中错误程序的可靠性问题，提出基于词法、算法和功能三个正交轴的不确定性估计方法，在五个代码LLM上将AUROC提升8.1个百分点。

Sample-Efficient Post-Training for LEGO Spatial-Physics Reasoning

面向LEGO空间物理推理的样本高效后训练

Yuhuan Yuan, Zhouliang Yu, Minghao Liu, Weiyang Liu, Ge Lin Kan

机构 * HKUST(GZ)（香港科技大学（广州）） ； CUHK（香港中文大学） ； ZODA 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM生成LEGO组装时出现的物理有效但几何语义错位问题，提出基于模型的数据选择方法和样本高效强化学习PVPO，结合体素空间几何奖励，提升结构、语义对齐和物理有效性。

Comments Technical Report V1, 15 pages, 6 figures, 3 tables