大模型对齐与安全

CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning

CSPO: 面向安全强化学习的约束敏感策略优化

Ayoub Belouadah, Sylvain Kubler, Yves Le Traon

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出约束敏感策略优化（CSPO），通过引入局部约束敏感性修正原目标，加速安全恢复并减少振荡，在导航与运动基准上取得更高约束回报。

Comments Accepted as a Spotlight paper at the 43rd International Conference on Machine Learning (ICML 2026)

Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

信任但验证：通过事后对抗审计和多智能体反馈循环减轻医学幻觉

Muhammad Osama, Maheera Amjad, Zartasha Mustansar, Arslan Shaukat, Muhammad U. S. Khan

机构 * Data Science and Machine Learning Lab, SINES, NUST（NUST SINES数据科学与机器学习实验室） ； SINES, NUST（NUST SINES） ； CEME, NUST（NUST CEME） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本研究提出一种五智能体“信任但验证”系统，通过事后对抗审计和多智能体反馈循环，将大型语言模型在临床问题中推荐禁用药品的幻觉错误率降低约53%。

Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning

个体控制障碍函数引导的扩散模型用于安全离线多智能体强化学习

Qingyun Guo, Junyi Shi, Jianuo Huang, Tianyu Shi

机构 * Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系） ； School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。

Comments Accepted to the 23rd IFAC World Congress, 2026

Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

学习对你的VLA说什么：基本无害的视觉语言动作模型引导

Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 安全训练 ：harmlessness(abstract)；分类 cs.LG

AI总结 提出一个框架，通过交互式搜索语言序列改进闭环VLA任务性能，并学习一个改进头预测何时语言引导能提升性能，同时通过共形化防止有害干预。

Comments 22 pages, 14 tables, 14 figures

External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

生产级LLM系统中的外部经验服务：面向部署的质量-成本权衡研究

Lin Sun, Heming Zhang, Xiangzheng Zhang

机构 * Qiyuan Tech（奇元科技） 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.CL

AI总结 研究生产级LLM系统中注入外部经验的质量-成本权衡，发现选择性检索优于全局注入，且检索质量比增加Top-K更重要，成本效益因任务输出长度而异。

HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation

HERO: 基于环境观察的后见增强反思的智能体自蒸馏

Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Independent Researcher（独立研究员） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出HERO框架，利用环境观察作为局部对齐反馈进行自蒸馏，解决多轮设置中特权反馈与当前决策上下文不对齐导致的性能下降问题，在TauBench和WebShop上提升任务成功率并减少冗余轮次。

Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning

零空间约束的低秩自适应用于指定响应的大型语言模型遗忘

Bocheng Ju, Jianhua Wang, Chengliang Liu, Xiaolin Chang

机构 * Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University（北京交通大学智能交通信息安全与隐私保护北京市重点实验室） ； College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院） ； Institute of Computing Technologies, China Academy of Railway Sciences Corporation Limited（中国铁道科学研究院集团有限公司计算技术研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出零空间约束响应指定遗忘框架，通过正交投影低秩参数化将LoRA更新限制在保留子空间的零空间内，在抑制遗忘知识的同时保持模型效用。

Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts

通过视觉反馈的自蒸馏策略优化：连接代码与视觉工件

Haoyu Dong

机构 * Microsoft（微软） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出Visual-SDPO框架，利用渲染视觉反馈作为特权上下文，通过自蒸馏和视觉引导的代码信用加权优化代码生成视觉工件的质量，在图表、UI和幻灯片生成任务上显著提升性能。

Capability-Aligned Hierarchical Learning for Tool-Augmented LLMs

面向工具增强型大语言模型的能力对齐分层学习

Haotong Yang, Ting Long, Yi Chang

机构 * Jilin University（吉林大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出CAHL方法，利用RLVR联合优化高层规划器与低层执行器，解决分层工具学习中的规划-执行对齐问题，在多个基准上验证有效性。

Comments 14 pages, 5 figures, 6 tables. Preprint

Can the Environment Speak for Itself? $T^{2}$-GRPO: A Turn-Trajectory Group Relative Policy Optimization for Caregiver Agents

环境能否为自己发声？$T^{2}$-GRPO：一种面向护理智能体的转向-轨迹组相对策略优化

Yutong Song, Jiang Wu, Pengfei Zhang, Wenjun Huang, Honghui Xu, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； Independent Researcher（独立研究员） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出T²-GRPO框架，通过解耦护理强化学习为两个归一化奖励视界，并利用二元硬否决确保安全，从环境状态转换中提取密集转向级奖励，结合轨迹级评估，有效处理即时患者反馈、长期护理结果和安全约束。

Bridging Expert Knowledge and Automated Feature Engineering via Self-Evolution

通过自进化桥接专家知识与自动化特征工程

Varun Khurana, Vijval Ekbote, Vashu Chauhan, Yaman Kumar Singla, Rajiv Ratn Shah, Balaji Krishnamurthy

机构 * Adobe Media and Data Science Research（Adobe媒体与数据科学研究） ； IIIT-Delhi（德里印度理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出FEST方法，结合双流特征生成、语义去重和树引导迭代进化，从原始文本和图像中发现可审计特征，在品牌分类等任务中平均提升4.2个百分点，并实现60-80%的专家特征覆盖。

Distilling LLM Reasoning into an Interpretable Policy Tree for Human-AI Collaboration

将LLM推理蒸馏为可解释的策略树用于人机协作

Beiwen Zhang, Yongheng Liang, Guowei Zou, Haitao Wang, Hejun Wu

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出Co-pi-tree方法，通过将大语言模型推理蒸馏为可执行策略树，在Overcooked-AI中平均奖励提升35.4%，同时减少77.7%的LLM查询和97.1%的测试延迟。

Resilient Write: A Six-Layer Durable Write Surface for LLM Coding Agents

抗挫写入：一种六层耐用写入表面用于大语言模型编码代理

Justice Owusu Agyemang, Jerry John Kponyo, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperixlabs, Ghana（塞普里克斯实验室，加纳） ； Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（库马西技术大学，加纳） ； VIA Cybersecurity Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana（VIA网络安全实验室，库马西技术大学，加纳） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Resilient Write，通过六层耐用写入表面提升编码代理在文件写入时的容错能力，减少恢复时间并提高自我纠正率。

Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization

教方法而非答案：用于多模态策略优化的特权辅导蒸馏

Shizhe Xiang, Ke An, Wenlong Yu, Yue Liu, Jian Luan, Pei Fu, Qilong Wang

机构 * Tianjin University（天津大学） ； Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaomi Inc（小米公司） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。

From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents

从风险分类到行动方案修复：一种基于护栏反馈驱动的LLM代理框架

Yuhao Sun, Jiacheng Zhang, Shaanan Cohney, Zhexin Zhang, Feng Liu, Xingliang Yuan

机构 * The University of Melbourne（墨尔本大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出TRIAD框架，通过护栏生成的言语反馈引导代理在规划步骤中保持良性目标，实现安全与效用的最佳平衡。

Comments 32 pages

Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation

面向长时域任务的安全具身AI：机器人操作跨层分析

Dabin Kim, Daemin Park, Sangyub Lee, Jinsik Kim, Yeongtak Oh, Jongho Shin, Sungroh Yoon

机构 * UNIST InnoCORE AI-Space Solar Initiative（UNIST创新核心人工智能空间太阳能计划） ； Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院） ； Automation and Systems Research Institute（自动化与系统研究所） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目） ； LG Electronics（LG电子） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文从具身AI视角，系统综述长时域机器人操作中的安全问题，按干预时机（规划时、策略时、执行时）组织文献，分析证据强度，并指出当前安全保证的不足与未来方向。

Comments 63 pages, 6 figures

Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

有意但无力：通过消融分离代码大语言模型中的拒绝与能力

Cristina Carleo, Pietro Liguori, Naghmeh Ivaki, Domenico Cotroneo

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； University of Coimbra（科英布拉大学） ； University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文通过消融技术（abliteration）对代码LLM进行低秩权重编辑，以消除其对安全注入提示的拒绝行为，从而分离拒绝意愿与代码生成能力，实验表明消融后拒绝率降至零而语法有效性保持93%以上，但注入率仍受模型容量限制。

(Mis)generalization of Helpful-only Fine-tuning

仅帮助性微调的（错误）泛化

Mohammad Omar Khursheed, Baram Sosis, Fabien Roger

机构 * Anthropic Fellows Program（Anthropic 合作者计划） ； Anthropic 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 研究仅帮助性训练（不拒绝用户意图）的模型在泛化中的缺陷，发现其存在涌现错位、残余拒绝行为、低可操控性、谄媚和不连贯角色等问题，并提出合成文档微调和添加角色相关问题来缓解。

Comments 77 pages, 50 figures

Anatomy-Anchored Self-Supervision: Distilling Vision Foundation Models for Invariant Ultrasound Representation

解剖锚定的自监督：蒸馏视觉基础模型用于不变超声表示

Chunzheng Zhu, Yijun Wang, Jianxin Lin, Feng Wang, Hongwei Wang, Lei Zhao, Shengli Li, Kenli Li

机构 * Hunan University（湖南大学） ； Shenzhen Maternity and Child Healthcare Hospital（深圳妇幼保健医院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出解剖锚定的超声自监督框架ANAUS，通过可学习潜在提示引擎和领域自适应实现无标注解剖分割，并设计双策略自监督学习（语义感知解剖分离对齐和上下文核心区域预测）来增强表示学习，在六个公开数据集上超越现有方法。

Comments MICCAI 2026 Accepted Paper; Anatomy-Anchored Ultrasound Self-Supervision

Barrier-Certified Adaptive Reinforcement Learning with Applications to Brushbot Navigation

具有应用的障碍证书自适应强化学习：Brushbot导航

Motoya Ohnishi, Li Wang, Gennaro Notomista, Magnus Egerstedt

机构 * School of Electrical Engineering, Royal Institute of Technology（皇家理工学院电气工程学院） ； Georgia Institute of Technology（佐治亚理工学院） ； RIKEN Center for Advanced Intelligence Project（日本理化学研究所高级智能研究中心） ； School of Mechanical Engineering（机械工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种安全学习框架，结合自适应模型学习算法和障碍证书，用于具有可能非平稳智能体动态的系统。通过稀疏优化技术提取模型的动态结构，并利用学习的模型结合控制障碍证书来约束策略（反馈控制器），以保持安全性，即避免特定的不利状态空间区域。在某些条件下，保证了在安全被非平稳性破坏后，以李雅普诺夫稳定性的方式恢复安全。此外，将动作-价值函数近似重新公式化，使任何基于内核的非线性函数估计方法都能应用于我们的自适应学习框架。最后，保证了障碍证书策略优化的解是全局最优的，确保在温和条件下进行贪心策略改进。所得到的框架通过四旋翼无人机的模拟进行验证，该无人机此前在安全学习文献中被假设为平稳性，然后在动态未知、高度复杂且非平稳的Brushbot机器人上进行测试。

Comments ©2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Journal ref Published in IEEE Transactions on Robotics, 2019

Autonomous Highway Driving using Deep Reinforcement Learning

使用深度强化学习实现自动驾驶高速公路驾驶

Subramanya Nageshrao, Eric Tseng, Dimitar Filev

机构 * Ford Greenfield Labs（福特绿谷实验室） ； Ford Research and Innovation Center（福特研究与创新中心） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于强化学习的方法，通过与模拟交通直接交互，使自动驾驶车辆在复杂和多变的环境中做出决策，解决了传统规则和预设成本函数在实时优化中的不足，提高了学习效率和安全性。

Designing a Safe Autonomous Artificial Intelligence Agent based on Human Self-Regulation

基于人类自我调节设计安全的自主人工智能代理

Mark Muraven

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出通过研究人类自我调节机制，设计安全的人工智能代理，以避免复杂系统中因目标不明确导致的有害后果。

Comments 17 pages

Safe Control under Uncertainty

在不确定性下的安全控制

Dorsa Sadigh, Ashish Kapoor

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Probabilistic Signal Temporal Logic（PrSTL）用于定义随机属性并确保概率保证，通过该逻辑合成安全控制器，应用于四旋翼和自动驾驶车辆等案例。

Comments 10 pages, 6 figures, Submitted to HSCC 2016

From Moderation to Mediation: Can LLMs Serve as Mediators in Online Flame Wars?

从审核到调解：LLMs能否充当在线论战中的调解员？

Dawei Li, Abdullah Alnaibari, Arslan Bisharat, Manuel Sandoval, Deborah Hall, Yasin Silva, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本研究探索大型语言模型（LLMs）能否超越内容审核，作为调解员通过判断对话公平性和情感动态并生成共情缓和信息来化解在线冲突，实验表明API模型在推理和干预一致性上优于开源模型。

Comments Accepted by PAKDD 2026 special session on Data Science: Foundations and Applications

HarnessForge: Joint Harness and Policy Evolution for Adaptive Agent Systems

HarnessForge：面向自适应智能体系统的协同框架与策略进化

Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出HarnessForge元自适应框架，通过框架-策略协同进化实现LLM智能体系统的全系统自适应，在多个基准上显著提升性能。

Comments 25 pages, 13 figures

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning

GRPO-TTA：基于GRPO驱动的强化学习进行视觉语言模型的测试时视觉调优

Yujun Li, Hongyuan Zhang, Yuan Yuan

机构 * School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（人工智能、光学与电子学院（iOPEN），西北工业大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 提出GRPO-TTA方法，将GRPO应用于测试时适应，通过将类特定提示预测重构为组策略优化问题，并设计对齐奖励和分散奖励，在多种基准上优于现有方法。

Prompts for Public-Sector LLMs Should Be Governed as Commons

公共部门LLM的提示应作为公共资源进行治理

Rashid Mushkani

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出公共部门部署大型语言模型时使用的提示应作为受治理的制品，而非私有临时输入，并设计了带版本控制、社区维护的提示模板仓库及协商集成方法。

Comments To appear in the Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight

弱批评者造就强学习者：用于可扩展监督的在策略批评蒸馏

Can Jin, Jiakang Li, Rui Wu, Eddy Zhang, Dimitris N. Metaxas

机构 * University of Cambridge（剑桥大学） ； University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley AI Lab（加州大学伯克利分校人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出在策略批评蒸馏（OPCD）方法，利用弱模型作为批评者提供修订方向，通过自适应自教师信号蒸馏批评引导的行为，提升强模型在推理和对齐基准上的表现。

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

物理AI中的静默故障：自主系统运行时动作授权的文献综述

Barak Or

机构 * STATE16 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题，提出了运行时防护栏的分类和评估要求。

Comments 23 pages

To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs

看见还是取悦：揭示视觉语言模型中的视觉谄媚与分裂信念

Rui Hong, Shuxue Quan

机构 * George Mason University（乔治·玛斯纳大学） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出三层诊断框架，通过反事实干预实验发现视觉语言模型中普遍存在视觉谄媚（内部证据保留但输出幻觉答案）现象，并证明扩展模型规模无法解决该问题。

Comments 14 pages, 1 figures