大模型对齐与安全

A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving

LLM服务中基于批处理条件的拒绝鲁棒性配对测试协议

Sahil Kadadekar

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 提出配对测试协议，通过四项研究验证批处理条件对LLM安全标签的影响，发现批处理导致的安全标签翻转率低但存在，建议精确堆栈验证。

Comments 12 pages. Accepted to the ICML 2026 Workshop on Hypothesis Testing

The A-R Behavioral Space: Execution-Level Profiling of Tool-Using Language Model Agents in Organizational Deployment

A-R行为空间：组织部署中工具使用语言模型代理的执行层剖析

Shasha Yu, Fiona Carroll, Barry L. Bentley

机构 * Cardiff School of Technologies, Cardiff Metropolitan University（卡迪夫技术学院，卡迪夫市政大学） ； School of Professional Studies, Clark University（专业研究学院，克拉克大学） ； Harvard Medical School, Harvard University（哈佛医学院，哈佛大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出基于动作率(A)和拒绝信号(R)的二维A-R空间及散度(D)来测量执行层行为，评估不同规范制度和自主性配置下语言模型代理的执行与拒绝分布模式。

Robotics-Inspired Guardrails for Foundation Models in Socially Sensitive Domains

受机器人启发的用于社会敏感领域基础模型的护栏

Rebecca Ramnauth, Drazen Brscic, Brian Scassellati

机构 * Yale University（耶鲁大学） ； Kyoto University（京都大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于机器人学的护栏框架，用于在社会敏感领域中对基础模型进行运行时行为控制，以减少交互轨迹中向不良状态的漂移，并适应多样化的社会情境。

Comments Under review at Journal of Artificial Intelligence Research (JAIR)

From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails

从拒绝到恢复：一种生成AI防护机制的控制论方法

Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） ； Equal Advising（平等指导） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于控制论的生成AI防护机制，通过实时监控和主动纠正高风险输出，提供了一种动态替代传统标志和阻断方法的解决方案。

Journal ref Second International Association on Safe and Ethical AI Conference (IASEAI 2026)

Learning in Structured Stackelberg Games

在结构化Stackelberg游戏中学习

Maria-Florina Balcan, Kiriaki Fragkia, Keegan Harris

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California（加州大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 本文研究了结构化Stackelberg游戏，提出Stackelberg-Littlestone维度以优化在线学习算法，并在分布设定中提供样本复杂度的上下界。

Comments Accepted as a spotlight paper to ICML 2026

SPOT: Selective Prompt Projection via Total Variation for Inference-Only Safe Text-to-Image Generation

SPOT：基于总变分的选性提示投影用于仅推理的文本到图像生成

Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出SPOT框架，通过总变分约束生成器参考分布，实现对文本到图像生成中不安全内容的抑制，同时保持良性提示的行为，实验显示其在多个数据集上显著降低不适当评分。

RUBEN: Rule-Based Explanations for Retrieval-Augmented LLM Systems

RUBEN：基于规则的检索增强大语言模型输出解释工具

Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

机构 * University of Waterloo（滑铁卢大学） ； York University（约克大学） 纠错

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 RUBEN通过新型剪枝策略发现最小规则集解释检索增强大语言模型输出，用于测试安全训练和对抗性提示注入效果。

Comments Accepted by ICDE 2026 (Demonstration Track)

SCORP: Scene-Consistent Multi-agent Diffusion Planning with Stable Online Reinforcement Post-Training for Cooperative Driving

SCORP：具有稳定在线强化学习后训练的场景一致多智能体扩散规划用于协作驾驶

Haojie Bai, Aimin Li, Ruoyu Yao, Xiongwei Zhao, Tingting Zhang, Xing Zhang, Lin Gao, and Jun Ma

机构 * School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Middle East Technology University (METU)（中东技术大学） ； Robotics and Autonomous Systems Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）机器人与自主系统方向） ； School of Computer Science and Technology, Qinghai University（青海大学计算机科学与技术学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 SCORP通过场景条件多智能体去噪架构和两层马尔可夫决策过程提升多智能体协作驾驶的场景一致性和效率，实验表明其在安全性和效率指标上优于现有基线方法。

Constraint-Aware Reinforcement Learning via Adaptive Action Scaling

通过自适应动作缩放实现约束感知强化学习

Murad Dawood, Usama Ahmed Siddiquie, Shahram Khorshidi, Maren Bennewitz

机构 * Humanoid Robots Lab University of Bonn（人类机器人实验室 柏林洪堡大学） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种模块化成本感知调节器，通过预测约束违反来缩放智能体动作，与SAC和TD3等off-policy方法无缝集成，显著提升安全性和回报率。

Comments Accepted in 8th Annual Learning for Dynamics & Control Conference (L4DC)

PromptGuard: Soft Prompt-Guided Unsafe Content Moderation for Text-to-Image Models

PromptGuard: 基于软提示的文本到图像模型不安全内容审查

Lingzhi Yuan, Xinfeng Li, Chejian Xu, Guanhong Tao, Xiaojun Jia, Yihao Huang, Wei Dong, Yang Liu, Bo Li

机构 * Department of Computer Science, University of Maryland（计算机科学系，马里兰大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机科学与数据科学学院） ； Kahlert School of Computing, The University of Utah（犹他大学Kahlert计算学院） ； Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 PromptGuard通过引入软提示机制，有效抑制文本到图像模型生成不安全内容，同时保持生成质量，且比现有方法快3.8倍。

Comments Accepted for publication in IEEE Transactions on Information Forensics and Security (TIFS)

GLiGuard: Schema-Conditioned Classification for LLM Safeguard

GLiGuard：面向LLM安全的模式条件分类

Urchade Zaratiana, Mary Newhauser, George Hurn-Maloney, Ash Lewis

机构 * Qwen Team（通义实验室） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 GLiGuard通过模式条件编码实现高效多维度内容安全评估，在参数更小的情况下达到与大模型守卫模型相当的准确率，同时提升吞吐量和降低延迟。

Comments 20 pages, 4 figures

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

超越'我无法完成此请求'：通过标签增强缓解LLM中的刚性拒绝

Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

机构 * Southeast University, Nanjing, China（东南大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出LANCE方法，通过标签增强实现安全且灵活的响应，减少LLM中的刚性拒绝问题，提升交互自然性。

PRCD-MAP: Learning How Much to Trust Imperfect Priors in Causal Discovery

PRCD-MAP：学习如何信任不完美的先验信息在因果发现中

Xihang Shan, Da Zhou

机构 * School of Mathematical Sciences（数学科学学院） ； Xiamen University（厦门大学） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 PRCD-MAP通过为每个边分配信任度，结合先验信息和正则化项，提供了一种安全的因果发现方法，实验证明其在多个数据集上的有效性。

Bridging the Experimental Last Mile: Digitizing Laboratory Know-How for Safe AI-Assisted Support

弥合实验最后一公里：数字化实验室知识以实现安全的人工智能辅助支持

Akira Miura, Yuki Sasahara, Momoka Demura, Yuji Masubuchi, Tetsuya Asai, Chikahiko Mitsui

机构 * Division of Applied Chemistry, Faculty of Engineering, Hokkaido University（北海道大学工学部应用化学科） ； Graduate School of Chemical Sciences and Engineering, Hokkaido University（北海道大学研究生院化学科学和工程学系） ； Graduate School of Information Science and Technology, Hokkaido University（北海道大学研究生院信息科学和技术学系） ； Quantum Nexus, Inc. 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一种结合视频、多模态AI和检索增强生成的AI助手，通过提取实验室特定知识来提升实验安全性，经评估显示其在指导和安全方面具有实用性。

Comments 32 pages in total (main 13 pages, appendix 19 pages), 2 main figures, 1 main table

Grounded Multimodal Retrieval-Augmented Drafting of Radiology Impressions Using Case-Based Similarity Search

基于案例相似性搜索的医学影像印象 grounded 多模态检索增强草稿生成

Himadri S Samanta

机构 * Independent AI Researcher（独立AI研究员） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一种多模态检索增强生成系统，结合对比图像-文本嵌入、基于案例的相似性检索和引用约束草稿生成，以生成具有临床依据的医学影像印象。

Comments 15 pages, 4 figures, 3 tables

A Framework for Longitudinal Health AI Agents

面向长期健康AI代理的框架

Georgianna Lin, Rencong Jiang, Noémie Elhadad, Xuhai "Orson" Xu

机构 * Columbia University, Biomedical Informatics（哥伦比亚大学生物医学信息学） ； Columbia University, Computer Science（哥伦比亚大学计算机科学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出一个多层框架，用于支持长期健康交互的AI代理，强调适应性、连贯性、连续性和自主性，通过案例展示如何维持有意义的参与并支持个性化决策。

Comments 10 pages, 2 figures, 5 tables

Learning Probabilistic Responsibility Allocations for Multi-Agent Interactions

多智能体交互中的概率责任分配学习

Isaac Remy, Caleb Chang, Karen Leung

机构 * University of Washington, Department of Aeronautics and Astronautics（华盛顿大学航空航天系） ； NVIDIA 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文提出一种学习多智能体交互中概率责任分配模型的方法，通过条件变分自动编码器的潜在空间和多智能体轨迹预测技术，实现基于场景和智能体上下文的责任分配分布学习，展示了在INTERACTION驾驶数据集上的强预测性能和可解释性。

ClawSafety: "Safe" LLMs, Unsafe Agents

ClawSafety: 安全的LLM，不安全的代理

Bowen Wei, Yunbei Zhang, Jinhao Pan, Kai Mei, Xiao Wang, Jihun Hamm, Ziwei Zhu, Yingqiang Ge

机构 * George Mason University（乔治梅森大学） ； Tulane University（杜兰大学） ； Rutgers University（罗格斯大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 ClawSafety评估了120个对抗性测试场景，揭示了高权限工作环境中LLM的安全性问题，强调部署栈对安全性的关键影响。

Stable and Interpretable Jet Physics with IRC-Safe Equivariant Feature Extraction

利用 IRC 安全等价特征提取实现稳定且可解释的喷注物理

Partha Konar, Vishal S. Ngairangbam, Michael Spannowsky, Deepanshu Srivastava

机构 * Physical Research Laboratory（物理研究实验室） ； Durham University（杜伦大学） ； Indian Institute of Technology（印度理工学院） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文通过图神经网络实现喷注分类，结合物理诱导偏置，设计 IRC 安全和等价性架构，提升模型稳定性与可解释性，建立学习表示与 QCD 观测的联系。

Comments 30 pages, 3 tables, 7 figures

Journal ref JHEP 03 (2026) 219

DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models

DUAL-Bench: 测量视觉语言模型中的过度拒绝与鲁棒性

Kaixuan Ren, Preslav Nakov, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； MBZUAI（马克斯·普朗克智能系统研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出DUAL-Bench，通过评估18种VLM在12类危险场景下的表现，揭示模型在双重使用场景中的脆弱安全边界，强调安全完成与过度拒绝的平衡需求。

Comments 26pages, 13 figures, Preprint

Provably Safe Model Updates

可证明安全的模型更新

Leo Elmecker-Plakolm, Pierre Fasterling, Philip Sosnin, Calvin Tsay, Matthew Wicker

机构 * Department of Computing（计算系） ； Imperial College London（帝国理工学院伦敦分校） ； School of Computer and Comm. Sciences (IC)（计算机与通信科学系） ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出可证明安全的模型更新框架，通过计算最大局部不变域来确保模型更新的安全性，有效避免遗忘并提供形式化安全保证。

Comments 12 pages, 9 figures. This work has been accepted for publication at SaTML 2026. The final version will be available on IEEE Xplore

Differential Harm Propensity in Personalized LLM Agents: The Curious Case of Mental Health Disclosure

个性化LLM代理中的差异性伤害倾向：心理健康披露的奇特案例

Caglar Yildirim

机构 * Khoury College of Computer Sciences（科里学院计算机科学学院） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究探讨了心理健康披露对代理有害行为的影响，发现个性化设置可降低伤害，但易受对抗性压力影响，需加强个性化评估与安全措施。

From Refusal Tokens to Refusal Control: Discovering and Steering Category-Specific Refusal Directions

从拒绝标记到拒绝控制：发现并引导类别特定的拒绝方向

Rishab Alagharu, Ishneet Sukhvinder Singh, Shaibi Shamsudeen, Zhen Wu, Ashwinee Panda

机构 * Algoverse AI Research（Algoverse AI研究院） ； School of Computer Science, University of Maryland, College Park, United States（美国马里兰大学计算机科学学院） ； School of Computer Science, Carnegie Mellon University, Pittsburgh, United States（美国卡内基梅隆大学计算机科学学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文通过训练模型生成类别化拒绝标记，实现推理时对细粒度拒绝行为的控制，提升安全性和可靠性，通过提取残差流方向构建类别引导向量，并引入低秩组合实现多类拒绝控制。

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

OffTopicEval: 当大语言模型进入错误的聊天时，几乎总是！

Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

机构 * Nanyang Technological University（南洋理工大学） ； Walled AI Labs（Walled AI实验室） ； Infocomm Media Development Authority, Singapore（新加坡信息通信媒体发展局） ； Lambda Labs（Lambda实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出OffTopicEval评估套件，用于衡量大语言模型在特定任务中的操作安全性，发现所有模型在操作安全方面均表现不佳，通过提示基于的引导方法显著提升模型对无关查询的拒绝能力。

When Thinking Backfires: Mechanistic Insights Into Reasoning-Induced Misalignment

当思考反噬：对推理引发的不一致的机理洞察

Hanqi Yan, Hainiu Xu, Siya Qi, Shu Yang, Yulan He

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文揭示了推理能力增强导致的不一致现象，通过神经元层面的分析，解释了推理与安全之间的纠缠如何引发灾难性遗忘。

Comments ICLR 2026

PolicyPad: Collaborative Prototyping of LLM Policies

PolicyPad: LLM策略协同原型设计

K. J. Kevin Feng, Tzu-Sheng Kuo, Quan Ze Chen, Inyoung Cheong, Kenneth Holstein, Amy X. Zhang

机构 * University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 PolicyPad通过结合用户体验原型设计方法，为LLM策略协作设计提供交互式支持，提升政策制定的协作效率与反馈质量。

Comments CHI 2026 paper. Supplementary materials: https://docs.google.com/document/d/1jBmKXusoWmCHfwpmNhSTJtbwZ5fwVWLNppKeqqd_-pY/edit?usp=sharing

Toward Safe and Human-Aligned Game Conversational Recommendation via Multi-Agent Decomposition

迈向安全且人本对齐的游戏对话推荐的多智能体分解

Zheng Hui, Xiaokai Wei, Yexi Jiang, Kevin Gao, Chen Wang, Frank Ong, Se-eun Yoon, Rachit Pareek, Michelle Gong

机构 * Roblox Corporation（Roblox公司） ； University of Cambridge（剑桥大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 MATCHA通过多智能体框架提升游戏对话推荐的安全性与人本对齐，实现更精细的个性化和更强的对抗防御能力。

Comments ICML 2025 MAS, EACL 2026

LLM-enabled Applications Require System-Level Threat Monitoring

依赖大语言模型的应用需要系统级威胁监控

Yedi Zhang, Haoyu Wang, Xianglin Yang, Jin Song Dong, Jun Sun

机构 * Department of Computer Science, National University of Singapore, Singapore（新加坡国立大学计算机科学系） ； School of Computing and Information Systems, Singapore Management University, Singapore（新加坡管理学院计算机与信息系统学院） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文主张对依赖大语言模型的应用进行系统级威胁监控，以应对由此带来的安全挑战和确保可靠操作。

Comments 26 pages

Tutoring Large Language Models to be Domain-adaptive, Precise, and Safe

指导大语言模型成为领域自适应、精确和安全的

Somnath Banerjee

机构 * Indian Institute of Technology Kharagpur（印度理工学院克哈格浦分校） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本研究通过领域适应、伦理严谨性和文化对齐，指导大语言模型实现精确性、安全性和全球包容性。

Comments Accepted to the PhD Symposium at Web Conference 2026

A Behavioral Fingerprint for Large Language Models: Provenance Tracking via Refusal Vectors

大型语言模型的行为指纹：通过拒绝向量进行溯源追踪

Zhenyu Xu, Victor S. Sheng

机构 * Department of Computer Science, Texas Tech University（计算机科学系，塔尔萨大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出通过拒绝向量进行大型语言模型溯源追踪的方法，开发了稳健的行为指纹系统，并验证其在知识产权保护中的有效性。