大模型对齐与安全

On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment

通过失败轨迹实现的在线自我进化以实现代理安全对齐

Bo Yin, Qi Li, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本文提出FATE框架，通过将验证者评分的失败轨迹转化为修复监督，结合Pareto-Front Policy Optimization方法，提升代理安全性同时保持有用行为，实验显示在不同模型和规模上均有效。

SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models

SafeSteer: 多模态大语言模型中的解码级防御机制

Xinyi Zeng, Xue Yang, Jingyuan Zhang, Huanqian Yan, Xiang Chen, Kaiwen Wei, Hankun Kang, Yu Tian

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Kuaishou Technology（快手科技） ； School of Computer Science and Technology, Beihang University（北航计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Chongqing University（重庆大学） ； Wuhan University（武汉大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；harmlessness(abstract)

AI总结 本文提出SafeSteer，通过解码阶段的轻量探针和模态语义对齐向量，提升多模态大语言模型的安全性，实验表明其能提升33.40%的安全性而不需微调。

Robust Policy Optimization to Prevent Catastrophic Forgetting

鲁棒策略优化以防止灾难性遗忘

Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.LG

AI总结 本文提出FRPO框架，通过优化当前策略及下游适应可达的KL限制邻域内策略，提升鲁棒性，减少安全性能退化，同时保持下游任务表现。

One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue

一念之差：多轮对话中针对隐藏恶意意图的响应感知防御

Xinjie Shen, Rongzhe Wei, Peizhi Niu, Haoyu Wang, Ruihan Wu, Eli Chien, Bo Li, Pin-Yu Chen, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； UCSD（加州大学圣地亚哥分校） ； National Taiwan University（台湾大学） ； IBM Research（IBM研究院） ； Virtue AI 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TurnGate，通过检测最早使交互达到有害行为阈值的轮次，提升多轮对话中恶意意图检测效果，同时保持低拒绝率。

Comments Project Website: https://turn-gate.github.io/

Sequential Behavioral Watermarking for LLM Agents

序列行为水印用于LLM代理

Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出SeqWM，通过在历史条件下的转移模式中嵌入信号，实现对代理轨迹的无位置验证，提升水印鲁棒性与检测可靠性。

Comments 17 pages, 3 figures, preprint

Project-Level C-to-Rust Translation via Pointer Knowledge Graphs

基于指针知识图谱的项目级C到Rust翻译

Zhiqiang Yuan, Wenjun Mao, Zhuo Chen, Xiyue Shang, Chong Wang, Yiling Lou, Xin Peng

机构 * Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出基于指针知识图谱的项目级C到Rust翻译方法PtrTrans，通过增强代码依赖图的指针语义，提升生成Rust代码的安全性和正确性，实验表明其在安全性与功能性上均优于现有方法。

Comments Accepted by FSE'26

Social Welfare under Heterogeneous Time Preferences

社会福利在异质时间偏好下的研究

Sarvin Bahmani, Soumyajit Paul, Sven Schewe, Shadi Tasdighi Kalat, Ashutosh Trivedi

专题命中 安全训练 ：alignment(abstract)

AI总结 本文研究了在异质时间偏好下，如何通过社会福利最大化来制定最优策略，展示了即使所有主体获得相同奖励，最优策略也不再是位置性的，但策略结构仍保持简单。

Comments 14 pages including appendices, Accepted to IJCAI 2026

Interpreting Context-Aware Human Preferences for Multi-Objective Robot Navigation

解释情境感知的人类偏好以实现多目标机器人导航

Tharun Sethuraman, Subham Agrawal, Nils Dengler, Jorge de Heuvel, Teena Hassan, Maren Bennewitz

机构 * Hochschule Bonn-Rhein-Sieg, Germany（波恩-莱茵-锡格应用科学大学，德国） ； University of Bonn, Germany（波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出一种结合基础模型与多目标强化学习政策的框架，使机器人能理解并应用情境依赖的导航偏好，提升在共享人类环境中的适应性、透明性和可用性。