大模型对齐与安全

Alignment as Jurisprudence

对齐作为法学

Nicholas Caputo

机构 * Oxford Martin AI Governance Initiative（牛津马丁人工智能治理研究所） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文探讨法学与对齐的相似结构，通过法律解释主义和宪法AI等方法，揭示两者在规则与案例互动中的价值，并指出AI如何改进法律理解和应用。

Journal ref 27 Yale Journal of Law and Technology 390 (Sept. 2025)

MILD: Mediator Agent System with Bidirectional Perception and Multi-Layered Alignment for Human-Vehicle Collaboration

MILD：具有双向感知和多层对齐的中介代理系统用于人车协作

Jiyao Wang, Yunbiao Wang, Yubo Jiao, Xiao Yang, Dengbo He, Sasan Jafarnejad, Luis Miranda-Moreno, Raphael Frank, Jiangbo Yu

机构 * Department of Civil Engineering, McGill University（麦吉尔大学土木工程系） ； Systems Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）系统中心） ； Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠与信任跨学科中心） 纠错

专题命中 安全训练 ：alignment(title)；safety(abstract)；分类 cs.AI

AI总结 本文提出MILD系统，通过双向感知和多层对齐提升人车协作效率，采用ECPO算法确保策略符合安全规范和人类价值观，实验证明其在感知准确性和策略质量上优于基线模型。

Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

有害意图作为LLM残差流中的几何可恢复特征

Isaac Llorente-Saguer

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过几何方法识别LLM残差流中有害意图的特征，发现其在不同模型架构中线性可分离，并通过优化策略实现高检测性能。

Comments 26 pages, 1(+6) figures, 4(+14) tables. Code at https://github.com/isaac-6/harm-directions

Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning

无法学习者可以撒谎：评估和改进LLM去学习中的诚实性

Renjie Gu, Jiazhen Du, Yihua Zhang, Sijia Liu

机构 * Fudan University（复旦大学） ； Central South University（中南大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文评估并改进LLM去学习中的诚实性，提出正式定义并引入评估指标，实验显示现有方法无法满足标准，提出ReVa方法提升去学习效果和诚实性。

Comments Accepted by ACL 2026

RUBEN: Rule-Based Explanations for Retrieval-Augmented LLM Systems

RUBEN：基于规则的检索增强大语言模型输出解释工具

Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

机构 * University of Waterloo（滑铁卢大学） ； York University（约克大学） 纠错

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 RUBEN通过新型剪枝策略发现最小规则集解释检索增强大语言模型输出，用于测试安全训练和对抗性提示注入效果。

Comments Accepted by ICDE 2026 (Demonstration Track)

SCORP: Scene-Consistent Multi-agent Diffusion Planning with Stable Online Reinforcement Post-Training for Cooperative Driving

SCORP：具有稳定在线强化学习后训练的场景一致多智能体扩散规划用于协作驾驶

Haojie Bai, Aimin Li, Ruoyu Yao, Xiongwei Zhao, Tingting Zhang, Xing Zhang, Lin Gao, and Jun Ma

机构 * School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Middle East Technology University (METU)（中东技术大学） ； Robotics and Autonomous Systems Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）机器人与自主系统方向） ； School of Computer Science and Technology, Qinghai University（青海大学计算机科学与技术学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 SCORP通过场景条件多智能体去噪架构和两层马尔可夫决策过程提升多智能体协作驾驶的场景一致性和效率，实验表明其在安全性和效率指标上优于现有基线方法。

Constraint-Aware Reinforcement Learning via Adaptive Action Scaling

通过自适应动作缩放实现约束感知强化学习

Murad Dawood, Usama Ahmed Siddiquie, Shahram Khorshidi, Maren Bennewitz

机构 * Humanoid Robots Lab University of Bonn（人类机器人实验室 柏林洪堡大学） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种模块化成本感知调节器，通过预测约束违反来缩放智能体动作，与SAC和TD3等off-policy方法无缝集成，显著提升安全性和回报率。

Comments Accepted in 8th Annual Learning for Dynamics & Control Conference (L4DC)

PromptGuard: Soft Prompt-Guided Unsafe Content Moderation for Text-to-Image Models

PromptGuard: 基于软提示的文本到图像模型不安全内容审查

Lingzhi Yuan, Xinfeng Li, Chejian Xu, Guanhong Tao, Xiaojun Jia, Yihao Huang, Wei Dong, Yang Liu, Bo Li

机构 * Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机科学与数据科学学院） ； Kahlert School of Computing, The University of Utah（犹他大学Kahlert计算学院） ； Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 PromptGuard通过引入软提示机制，有效抑制文本到图像模型生成不安全内容，同时保持生成质量，且比现有方法快3.8倍。

Comments Accepted for publication in IEEE Transactions on Information Forensics and Security (TIFS)

Less Diverse, Less Safe: The Indirect But Pervasive Risk of Test-Time Scaling in Large Language Models

多样性越低，安全性越差：大规模语言模型测试时缩放的间接但广泛的风险

Shahriar Kabir Nahin, Hadi Askari, Muhao Chen, Anshuman Chhabra

机构 * Bellini College of AI, Cybersecurity, and Computing（人工智能、网络安全与计算学院） ； University of South Florida, Tampa, Florida, USA（佛罗里达州塔帕斯大学） ； University of California, Davis, California, USA（加州大学戴维斯分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文揭示了测试时缩放（TTS）中多样性降低导致安全风险增加的问题，提出RefDiv协议用于检测TTS管道中的漏洞，并发现现有安全防护措施对此类风险效果有限。

Comments Accepted to ICML 2026

ST-ResGAT: Explainable Spatio-Temporal Graph Neural Network for Road Condition Prediction and Priority-Driven Maintenance

ST-ResGAT：用于道路状况预测和优先级驱动维护的可解释时空图神经网络

Mohsin Mahmud Topu, Azmine Toushik Wasi, Mahfuz Ahmed Anik, MD Manjurul Ahsan

机构 * Shahjalal University of Science and Technology（沙赫拉尔科学与技术大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ST-ResGAT，一种融合残差图注意力编码与GRU时间聚合的时空残差图注意力网络，用于预测道路损坏并生成ASTM合规的维护优先级，实验显示其预测精度高且具有可解释性。

Comments 40 Pages. 10 Tables. 8 Figures

Journal ref Intelligent Transportation Infrastructure, 2026

The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs

近确定性结构输出在线策略蒸馏中的外推悬崖

Xin Li, Hao Jiang, Annan Wang, Yichi Zhang, Chau Yuen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在线策略蒸馏中近确定性结构输出任务的外推悬崖问题，推导了基于模态概率、预热质量及重要性采样剪切强度的闭式安全阈值，并展示了在Amazon Fashion数据集上通过调整参数实现模型性能提升。

When a Robot is More Capable than a Human: Learning from Constrained Demonstrators

当机器人比人类更强大时：从受限演示中学习

Xinhu Li, Ayush Jain, Zhaojing Yang, Yigit Korkmaz, Erdem Bıyık

机构 * Thomas Lord Department of Computer Science, University of Southern California（汤姆·劳德计算机科学系，南加州大学） ； Meta AI ； Department of Computer Science & Engineering, University of California San Diego（计算机科学与工程系，加州大学圣地亚哥分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨机器人能否超越受限专家的演示学习，通过探索更高效轨迹和自定义奖励信号，提升学习效率和任务完成速度。

Interactive Critique-Revision Training for Reliable Structured LLM Generation

交互式批评-修订训练用于可靠的结构化大语言模型生成

Fei Xu Yu, Zuyuan Zhang, Mahdi Imani, Nathaniel D. Bastian, Tian Lan

机构 * The George Washington University（乔治华盛顿大学） ； Northeastern University（东北大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DPA-GRPO方法，通过生成器-验证器游戏中的结构化验证干预，提升结构化决策的准确性与一致性，实验显示其在TaxCalcBench TY24上优于零样本生成和生成器-only RL基线。

Beyond Red-Teaming: Formal Guarantees of LLM Guardrail Classifiers

超越红队测试：LLM防护分类器的正式保证

Nikita Kezins, Urbas Ekka, Pascal Berrang, Luca Arnaboldi

机构 * Delft University of Technology（代尔夫特理工大学） ； University of Birmingham（伯明翰大学） ； Zeroth Research（Zeroth研究） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出通过将验证空间从离散输入空间转移到分类器预激活空间，定义有害区域为包含已知有害提示表示的凸形区域，从而为LLM防护分类器提供正式保证，揭示了不同模型在安全性和鲁棒性上的差异。

On Uniform Error Bounds for Kernel Regression under Non-Gaussian Noise

关于在非高斯噪声下核回归的统一误差界

Johannes Teutsch, Oleksii Molodchyk, Marion Leibold, Timm Faulwasser, Armin Lederer

机构 * Chair of Automatic Control Engineering, Department of Computer Engineering, Technical University of Munich（自动控制工程学系，计算机工程系，慕尼黑技术大学） ； Institute of Control Systems, Hamburg University of Technology（控制系统研究所，汉堡技术大学） ； Department of Electrical and Computer Engineering, National University of Singapore（电子与计算机工程系，新加坡国立大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出非渐近的核回归统一误差界，适用于广泛非高斯分布，包括亚高斯、有界、亚指数和方差/矩有界的噪声，并在安全控制中验证了界的有效性。

Comments This paper has been accepted at the 43rd International Conference on Machine Learning (ICML) 2026

Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning

多尺度预测表示用于目标条件强化学习

Valliappan Chidambaram Adaikkappan, David Meger, Sai Rajeswar, Pietro Mazzaglia

机构 * Mila, McGill University（蒙特利尔大学Mila实验室） ； ServiceNow Research（ServiceNow研究） ； Qualcomm Research（高通研究） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。

Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

在操作设计域内运行：基于视觉-语言模型的零样本感知

Berkehan Ünal, Hauke Dierend, Dren Fazlija, Christopher Plachetka

机构 * Volkswagen Aktiengesellschaft（大众汽车股份有限公司） ； L3S Research Center（莱比锡大学汉诺威研究中心） ； Faculty of Information Technology（信息科技学院） ； MOIA GmbH（MOIA公司） ； Motor AI GmbH（Motor AI公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文探讨了视觉-语言模型在无监督条件下对操作设计域的零样本感知能力，通过实验验证了基于链式推理的提示方法在OBD感知中的有效性，并提出了可重用的提示模板。

Comments 8 pages, 4 figures

MARS-SQL: A multi-agent reinforcement learning framework for Text-to-SQL

MARS-SQL: 一种用于文本到SQL的多智能体强化学习框架

Haolin Yang, Jipeng Zhang, Zhitao He, Alexander Zhou, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 MARS-SQL通过多智能体框架解决文本到SQL任务中的逻辑与模式对齐问题，采用生成代理与验证机制提升交互学习效果，实现77.84%和89.75%的准确率。

Reasoning Compression with Mixed-Policy Distillation

基于混合策略蒸馏的推理压缩

Han Yang, Mingyan Wu, Bailan He, Zeyu Cao, Sikuan Yan, Kevin Qinghong Lin, Zifeng Ding

机构 * Technical University of Munich（慕尼黑技术大学） ； GESIS – Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所） ； Northeastern University（东北大学） ； LMU Munich（慕尼黑大学） ； Siemens AG（西门子股份公司） ； University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； Mina AI 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出混合策略蒸馏框架，通过从大模型压缩推理轨迹到小模型，有效减少token使用并提升推理性能。

Formal Policy Enforcement for Real-World Agentic Systems

面向现实代理系统的正式政策执行

Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Somesh Jha

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Cornell University（康奈尔大学） ； Langroid 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文提出基于面向切面编程的框架，通过Datalog语言实现跨代理系统的政策执行，解决传统方法无法保证正式执行的问题。

Safe Multi-Agent Behavior Must Be Maintained, Not Merely Asserted: Constraint Drift in LLM-Based Multi-Agent Systems

安全多智能体行为必须被维护，而非仅仅被断言：基于LLM的多智能体系统中的约束漂移

Tianxiao Li, Yixing Ma, Haiquan Wen, Zhenglin Huang, Qianyu Zhou, Zeyu Fu, Guangliang Cheng

专题命中 安全训练 ：safety(abstract)

AI总结 本文探讨了基于LLM的多智能体系统中约束漂移问题，指出安全约束在执行过程中可能丢失、扭曲或减弱，提出约束状态治理作为研究范式，以确保安全行为在轨迹中持续有效。

Comments 12 pages, 2 figures, 4 tables. Preprint

On the Generation and Mitigation of Harmful Geometry in Image-to-3D Models

关于图像到3D模型中有害几何的生成与缓解

Yule Liu, Yilong Yang, Jiale Teng, Hanze Jia, Zeren Luo, Jingyi Zheng, Zifan Peng, Ke Li, Yifan Liao, Zhen Sun, Jiaheng Wei, Yang Liu, Zhuo Ma, Xinlei He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Xidian University（西安电子科技大学） ； Zhejiang University（浙江大学） ； Wuhan University（武汉大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 研究探讨了图像到3D模型生成有害几何的风险及缓解方法，通过系统评估发现当前模型能有效重建有害几何，但现有防护措施存在不足，提出堆叠防御策略以降低有害几何留存率。

GUARD: Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics for LLMs

GUARD：通过自适应角色扮演和 Jailbreak 诊断进行 LLM 的指南合规性测试

Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Zelei Cheng, Haohan Wang

机构 * Hong Kong University of Science and Technology（香港理工大学） ； Lapis Labs（Lapis实验室） ； Capital One 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 GUARD 通过自适应角色扮演和 Jailbreak 诊断，将指南转化为具体违规问题，验证 LLM 的合规性，经八种 LLM 测试验证有效性。

Comments 56 pages

The Art of the Jailbreak: Formulating Jailbreak Attacks for LLM Security Beyond Binary Scoring

Jailbreak攻击的艺术：为LLM安全制定超越二进制评分的Jailbreak攻击

Ismail Hossain, Tanzim Ahad, Md Jahangir Alam, Sai Puppala, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯大学埃尔帕索分校计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡罗尔丹分校计算学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出大规模组合式Jailbreak数据集、自动化生成方法及OPTIMUS评估器，系统性解决Jailbreak攻击的生成、分类与评估问题，揭示了安全与隐蔽最优区域。

Comments This paper is under review on of top security venues

Not All Turns Matter: Credit Assignment for Multi-Turn Jailbreaking

并非所有转折都重要：多轮 jailbreak 的信用分配

Zhida He, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Peng Yu, Xingcheng Xu, Dongrui Liu, Xia Hu, Chaochao Lu, Qiaosheng Zhang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 越狱攻击 ：jailbreak(title_cn,summary_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出 TRACE 框架，通过区分多轮 jailbreak 中不同回合的贡献，提升攻击效果和防御安全。

Comments 41 pages, 10 figures

A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models

单个神经元足以绕过大型语言模型的安全对齐

Hamid Kazemi, Atoosa Chegini, Maria Safi

机构 * Apple（苹果公司） ； University of Maryland, College Park（马里兰大学 College Park 分校） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过针对单个神经元展示安全对齐的两种失效方向，证明在不训练或提示工程的情况下，通过抑制或放大特定神经元可绕过安全对齐。

GPO-V: Jailbreak Diffusion Vision Language Model by Global Probability Optimization

GPO-V：通过全局概率优化实现扩散视觉语言模型的突破

Yu Pan, Andi Zhang, Yi Wang, Sibei Yang, Wenjie Wang

机构 * ShanghaiTech University（上海科技大学） ； University of Warwick（沃里克大学） ； SUN YAT-SEN UNIVERSITY（中山大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)

AI总结 本文提出GPO-V，通过全局概率优化方法突破扩散视觉语言模型的安全防线，揭示了非顺序生成架构中的关键安全漏洞。

Adversarial Attacks Against MLLMs via Progressive Resolution Processing and Adaptive Feature Alignment

通过渐进分辨率处理和自适应特征对齐对多模态大语言模型进行对抗攻击

Haobo Wang, Xiaorong Ma, Weiqi Luo, Xiaojun Jia, Jiwu Huang

机构 * Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(abstract)

AI总结 本文提出PRAF-Attack框架，通过多尺度语义指导和中间层局部对齐提升多模态大语言模型的对抗攻击转移性，实验表明其在多种黑盒MLLM上表现更优。

Re-Triggering Safeguards within LLMs for Jailbreak Detection

在大语言模型中重新触发安全机制以检测劫持

Zheng Lin, Zhenxing Niu, Haoxuan Ji, Yuzhe Huang, Haichang Gao

机构 * Xidian University（西安电子科技大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.AI

AI总结 本文提出一种大语言模型劫持提示检测方法，通过重新激活内部安全机制提升防御能力，实验表明其在白盒和黑盒环境下有效抵御最新劫持攻击。

Mitigating Many-shot Jailbreak Attacks with One Single Demonstration

通过一个单个演示缓解多示例劫持攻击

Kejia Chen, Jiawen Zhang, Boheng Li, Pengcheng Li, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia, Tianwei Zhang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Sun Yat-sen University（中山大学） ； University of Science and Technology of China（中国科学技术大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；分类 cs.AI

AI总结 本文研究多示例劫持攻击为何随着演示数量增加而增强，提出通过添加固定单个安全演示来对抗该攻击，从而提升模型鲁棒性。