大模型对齐与安全

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性

Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。

Comments Accepted by ECCV 2026

Training Therapeutic Judges and Multi-Agent Systems for Human-Aligned Mental Health Support

训练治疗性评判者与多智能体系统以实现人类对齐的心理健康支持

Mizanur Rahman, Abeer Badawi, Elahe Rahimi, Laleh Seyyed-Kalantari, Frank Rudzicz, Enamul Hoque, Elham Dolatabadi

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds ； Dalhousie University（达尔豪斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个框架，通过两阶段训练（TheraJudge评判者与TheraAgent多智能体系统）将治疗性响应生成转化为决策优化问题，显著提升心理健康LLM的治疗质量。

Test-Time Verification for Text-to-SQL via Outcome Reward Models

基于结果奖励模型的文本到SQL测试时验证

Mattia Tritto, Giuseppe Farano, Dario Di Palma, Gaetano Rossiello, Fedelucio Narducci, Dharmashankar Subramanian, Tommaso Di Noia

机构 * Polytechnic University of Bari（巴里理工大学） ； IBM T.J. Watson Research Center（IBM T.J.沃森研究中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出结果奖励模型(ORM)作为学习型语义评分函数，用于Text-to-SQL的测试时验证，通过自动化候选生成和执行标签训练ORM，在BIRD和Spider基准上优于执行优先和多数投票方法。

Comments Accepted to the SURGeLLM Workshop at ACL 2026, San Diego, US

Evo-PI: Aligning Medical Reasoning via Evolving Principle-Guided Supervision

Evo-PI：通过演化原则引导的对齐医学推理

Xianda Zheng, Huan Gao, Meng-Fen Chiang, Michael Witbrock, Kaiqi Zhao, Shangyang Li

机构 * School of Computer Science, University of Auckland（奥克兰大学计算机科学学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Renyixun Health Technology Co., Ltd.（仁医讯健康科技有限公司） ； National Yang Ming Chiao Tung University（国立阳明交通大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出Evo-PI框架，将推理原则作为可演化的语言监督信号，通过协同进化循环动态调整模型推理，在医学视觉问答中提升准确率最高达24.6%。

The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs

拒绝的几何：安全对齐大语言模型中的线性不稳定性

Shivam Ratnakar, Kartikeya Vats

机构 * University of Southern California（南加州大学） ； Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG；trustworthy(comments)

AI总结 研究通过对比安全与不安全系统提示的隐藏状态，提出对比逻辑操控（CLS）框架，揭示安全对齐的线性脆弱性，并证明逻辑级干预比隐藏状态方法更有效，同时可实现双向控制。

Comments Accepted at TrustNLP 2026 (Sixth Workshop on Trustworthy Natural Language Processing, ACL 2026)

Signed-Permutation Coordinate Transport for RMSNorm Transformers

RMSNorm Transformer的有符号排列坐标传输

John Sweeney

机构 * Sideplane AI 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对RMSNorm模型，提出有符号排列坐标传输方法，解决排列对齐不完整问题，在跨运行坐标恢复、工具迁移和训练状态保持上显著优于纯排列方法。

Comments 31 pages, 2 figures, 26 tables

Revocable Learned State via Process Sidecars

通过过程侧边栏实现可撤销的学习记忆

John Sweeney

机构 * Sideplane AI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出过程侧边栏方法，通过两系数编辑族修正安全训练后的记忆方向，实现记忆撤销，理论证明其二阶精度优于任务算术编辑。

Comments 23 pages, 2 figures, 6 tables

RoPoLL: Robust Panel of LLM Judges

RoPoLL: 鲁棒的LLM评审团

Anish Acharya, Kris W Pan, Brian Verkhovsky

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM评审团在污染数据下偏差无界的问题，提出RoPoLL，用几何中位数聚合替代均值，实现最优鲁棒性，在多种偏差攻击下显著优于传统方法。

Addressing Over-Refusal in LLMs with Competing Rewards

用竞争奖励解决大语言模型中的过度拒绝问题

Taeyoun Kim, Aviral Kumar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； SynthLabs 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出SEAR方法，通过对抗优化和过程奖励，让模型在推理中探索有害思路但最终输出安全答案，从而缓解安全训练导致的过度拒绝问题。

A Tutorial on Autonomous Fault-Tolerant Control Using Knowledge-Grounded LLM Agents

基于知识接地LLM代理的自主容错控制教程

Javal Vyas, Milapji Singh Gill, Artan Markaj, Felix Gehlhoff, Mehmet Mercangöz

机构 * Autonomous Industrial Systems Laboratory, Imperial College London（帝国理工学院自主工业系统实验室） ； Institute of Automation Technology, Helmut Schmidt University（赫尔穆特·施密特大学自动化技术研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出利用LLM代理作为约束监督规划器，通过外部验证器确保安全，辅助过程工厂故障恢复决策，并提供了可执行的Python环境。

When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

当数据库失败时：提示LLM对话代理在任务导向对话中安全恢复

Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

机构 * College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院） ； Department of Marketing, University of Central Florida（中佛罗里达大学市场营销系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题，提出基于提示的轻量级恢复策略，无需重训练即可将幻觉率降低42-50%。

Comments Accepted at SIGDIAL 2026

Certified Speculative Execution for Untrusted AI Agents

不可信AI代理的认证推测执行

Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou

机构 * School of Engineering, Institute of Science Tokyo, Japan（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University, China（浙江大学控制科学与工程学院） ； Department of Electrical and Computer Engineering, National University of Singapore, Singapore（新加坡国立大学电气与计算机工程系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出证书门控前缀接受（CGPA）方法，通过可信验证器、保形校准值边界和求解器延迟机制，实现安全、遗憾和速度的解耦，将不可信AI代理的违规率降至零。

Comments 15 pages, 2 figures, 24 tables. Includes a technical appendix (full proofs and all supplementary tables)

From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue

从命题不对称到感知不对称：将摩擦策略优化扩展到非对称部分信息对话

Yifan Zhu, Kyeongmin Rim, James Pustejovsky

机构 * Brandeis University（布兰迪斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 将摩擦策略优化从共享感知场景扩展到感知不对称场景，通过跨语料库分析和LLM探测验证，发现摩擦函数仅在参与者信息视野内有效，并提出标注改进。

Comments 11 pages. To appear in Proceedings of SIGDIAL 2026

A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control

基于先进调节控制理论的多智能体AI系统化方法：用于过程控制的安全且可审计的LLM操作员智能体

Idelfonso B. R. Nogueira, Sigurd Skogestad

机构 * Norwegian University of Science and Technology (NTNU)（挪威科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出将先进调节控制理论映射为多智能体系统，每个反馈回路对应一个专业LLM操作员智能体，通过确定性或LLM编排器解决约束冲突，在奶牛场通风案例中实现可审计轨迹。

UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成

Yaozhi Zheng, Yilei Jiang, Manyuan Zhang, Yuxuan Wan, Kaituo Feng, Tianshuo Peng, Bo Zhang, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。

FormIDEAble: Safe and Socially-aware Autonomous Systems

FormIDEAble：安全且具有社会感知能力的自主系统

Livia Lestingi, Amel Bennaceur, Marcello M. Bersani, Carlos Gavidia-Calderon, Anastasia Kordoni, Mark Levine, Bashar Nuseibeh, Matteo Rossi

专题命中 安全训练 ：safety(abstract)

AI总结 提出FormIDEAble方法，通过带代价的马尔可夫决策过程建模人机协作，将决策形式化为代价有界可达性问题，在保证安全的同时实现社会感知策略合成。

A Simplex-Inspired Architecture for Integrating Quantum Capabilities into Cyber-Physical Systems

一种受单纯形启发的架构，用于将量子能力集成到信息物理系统中

Tamim Ahmed, Dacheng Shen, Mengyu Liu, Monowar Hasan

专题命中 安全训练 ：safety(abstract)

AI总结 提出基于单纯形架构的混合经典-量子系统辨识框架，结合量子辅助希尔伯特空间高斯过程回归与经典高斯过程回归，通过运行时监控实现性能与安全性的可控权衡。

Comments Poster presented at the 2nd Workshop on HPC/AI Integration with Quantum Computing/Networking 2026

Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming

保护AI代理：多层代理红队测试的统一框架

Yong Yang, Xing Zheng, Huiyu Wu, Huangsheng Cheng, Xiaorong Shi, Jing Guo, Bo Yang, Yi Zhou, Xiangfan Wu, Zonghao Ying

专题命中 红队测试 ：red teaming(title,abstract)；jailbreak(abstract)

AI总结 提出AI-Infra-Guard框架，通过分层攻击面（基础设施、协议/工具、代理行为、模型）匹配不同检测范式，覆盖75+组件和1400+漏洞规则，实现代理安全红队测试。

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

大语言模型漏洞的生命周期与应用栈调查：攻击、风险、防御与开放问题

Seyed Bagher Hashemi Natanzi, Bo Tang

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 红队测试 ：alignment(abstract)；safety(abstract)；red teaming(abstract)；分类 cs.AI

AI总结 本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞，涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段，分析攻击、风险与防御，并提出安全研究议程。

Toward AI-Resilient Assessment in Computer Science Courses in an AI-Native World

面向AI原生世界的计算机科学课程中的AI韧性评估

Anshumali Shrivastava

机构 * Rice University（莱斯大学） 纠错

专题命中 红队测试 ：red teaming(abstract)；分类 cs.AI、cs.CY

AI总结 提出基于帕累托盈余的AI韧性评估框架，通过可执行评估器衡量学生超越AI基线的能力，并应用于Bloom过滤器作业实例。

Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense

安全--保真度权衡：提示注入防御的隐藏成本

Mitchell Hermon, Rahul Gupta, Weitong Ruan, Ekraam Sabir, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文发现防御间接提示注入会损害需要保留未信任文本的任务（如翻译），引入SecFid基准衡量保真度，揭示安全与保真度之间存在权衡，且无固定防御可同时最优。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 34 pages, 4 figures

Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens

通过计算机系统视角理解与评估爪类智能体安全性

Peizhi Niu, Wenjie Qu, Shangding Gu, Tianneng Shi, Yuankai Li, Ahmad Tawaha, Hend Alzahrani, Vincent Siu, Boyi Li, Chenguang Wang, Jiaheng Zhang, Basel Alomair, Ming Jin, Muhao Chen, Chi Wang, Costas Spanos, Dawn Song

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； NUS（新加坡国立大学） ； UC Berkeley（加州大学伯克利分校） ； UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； KACST（阿卜杜勒阿齐兹国王科技城） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； NVIDIA（英伟达） ； Google DeepMind（谷歌DeepMind） ； UW Seattle（华盛顿大学西雅图分校） ； HUMAIN（胡迈因研究所） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对爪类AI智能体安全漏洞，提出计算机系统类比，构建SafeClawArena基准测试，评估406个对抗任务，发现最高攻击成功率70%，恶意插件100%成功。

Beyond Wireless Security: Covert Communications in Large Language Model-enabled Edge Networks

超越无线安全：大语言模型赋能边缘网络中的隐蔽通信

Yuanai Xie, Jiaxin Chen, Zhaozhi Liu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对大语言模型赋能边缘网络面临的安全威胁，提出一种隐蔽通信与计算方法，在严格安全约束下最小化总延迟，兼顾隐私保护与任务执行效率。

Comments Accepted for publication in IEEE Communications Magazine

Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action

超越对话的心智理论与说服：通过规划与行动评估LLMs诱导信念状态的能力

Ben Slater, Matteo G. Mecattaf, Lucy G. Cheke, John Burden, Winnie Street

机构 * Leverhulme Centre for the Future of Intelligence（勒沃霍姆未来智能中心） ； Prolific ； Google, Paradigms of Intelligence Team（谷歌智能范式团队） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 提出非对话式规划心智理论（NCP-ToM）框架，评估LLMs通过行动而非对话诱导他人信念状态的能力，发现GPT-5在80%任务中优于人类，但鲁棒性不足。

Comments 29 pages, 12 figures

Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs

基于元认知反馈的强化学习引发LLM忠实的不确定性表达

Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona, Idan Szpektor, Arman Cohan

机构 * Yale University（耶鲁大学） ； Google Research（谷歌研究院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出强化学习与元认知反馈（RLMF）和元认知数据选择方法，通过模型自我判断质量优化偏好学习，实现忠实校准（FC），在保持准确性的同时显著提升LLM不确定性表达的忠实度。

Comments Code: https://github.com/yale-nlp/RLMF

Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础

Nan Li, Albert Gatt, Massimo Poesio

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉-语言模型在对话中是否混淆潜在共享与已共享信息，发现模型过度依赖地图内容预测对齐，忽视对话历史中的基础建立过程。

Comments 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026

Relational and Sequential Conformal Inference for Energy Time Series over Graphs via Foundation Models

基于基础模型的图结构能源时间序列的关系与序列共形推断

Keivan Faghih Niresi, Alice Cicirello, Olga Fink

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 提出STOIC框架，结合图神经网络与表格基础模型，通过零样本校准实现图结构能源时间序列的共形预测，提供可靠的不确定性估计。

Comments Under-review

Delegation Rights: Property, Agency, and Investment Incentives in the Age of AI Agents

委托权：AI代理时代中的财产、代理与投资激励

Yukun Zhang, Kemu Xu

专题命中 隐私与版权 ：safety(abstract)

AI总结 本文定义委托权为账户持有人授权代理执行的可撤销、身份保留、范围受限且模式特定的权限，通过三方不完全契约模型分析平台控制、用户控制与认证委托三种机制对投资激励和风险分配的影响。

From Failure to Alignment: A Requirements Engineering Framework for Machine Learning Systems

从失败到对齐：机器学习系统的需求工程框架

Amel Bennaceur, Gopi Krishnan Rajbahadur, Prince Mercy, Bashar Nuseibeh, Faeq Alrimawi

机构 * The Open University, United Kingdom（英国开放大学） ； University of Limerick, Ireland（爱尔兰利默里克大学） 纠错

专题命中 安全评测 ：alignment(title)；trustworthy(abstract)；分类 cs.LG

AI总结 提出REAL框架，通过需求工程方法，结合数据、模型和系统需求，利用失败驱动探索替代需求，实现迭代可追溯的MLS需求细化，以对齐利益相关者需求。

Comments 12 pages

Journal ref RE 2026 - the 34th IEEE International Requirements Engineering Conference

FLARE-AI: Flaw Reporting for AI

FLARE-AI：AI缺陷报告

Shayne Longpre, Elaine Zhu, Carson Ezell, Avijit Ghosh, Sean McGregor, Kevin Paeth, Kevin Klyman, Sayash Kapoor, Rishi Bommasani, Ruth Appel, Gregory Strom, Lauren McIlvenny, Mark M. Jaycox, Peter Slattery, Nathan Butters, Arvind Narayanan, Percy Liang, Alex Pentland

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 针对AI系统缺陷报告生态碎片化问题，提出开源系统FLARE-AI，通过条件逻辑和早期分类简化报告创建，支持标准化机器可读报告分发，降低报告门槛并提升互操作性。

Comments Accepted to ICML 2026