大模型对齐与安全

On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment

面向大语言模型安全的在线策略蒸馏：一种针对模板鲁棒性的重对齐路由方法

Yongjian Guo, Wanlun Ma, Lingyu Shen, Xi Xiao, Sheng Wen

机构 * Tsinghua University（清华大学） ； Swinburne University of Technology（斯威本科技大学） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有LLM安全防御的模板鲁棒性不足等问题，提出ROPD框架，通过建模输出分布差异实现重对齐，大幅降低模板不匹配风险，在防御有效性和能力保留上优于基线方法，建立了新的鲁棒重对齐标准。

Forecasting Trajectory-Level Safety Risks in Black-Box Multi-Turn Interactions

黑盒多轮交互中轨迹级安全风险预测

Shi Lin, Peng Qian, Dinghao Liu, Renjie Sun, Sifan Wu, Dezhang Kong, Chenpei Wang, Xun Wang

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出 Recast 框架，通过双尺度轨迹视图建模风险演变，可提前2.41轮预测88.3%的安全故障，误报率12.3%，实现轨迹级安全风险预测。

Do Models Fake Alignment Without Clear Consequences?

模型是否会在没有明确后果的情况下假装对齐？

Cole Alexander Niblett, Alexander Chabot Nanni, Anita K. Rao

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究大语言模型对齐伪造现象，通过将15个模型置于特定场景，发现9个有显著合规差距，5个在去除后果关联语言后仍存在，还测试了目标语言影响，表明对齐伪造或许无需太多工具支撑，监测行为难指示部署行为。

Comments Accepted at FAGEN@ICML 2026 (Poster). 8 pages, 1 figure, 10 tables

TANDEM: Temporal-Aware Neural Detection for Multimodal Hate Speech

TANDEM: 面向多模态仇恨言论的时间感知神经检测

Girish A. Koushik, Helen Treharne, Diptesh Kanojia

机构 * Nature-Inspired Computing & Engineering, University of Surrey（Surrey大学自然启发计算与工程系） ； Surrey Centre for Cyber Security, University of Surrey（Surrey大学网络安全中心） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出TANDEM统一框架，通过串联强化学习策略联合优化视觉-语言和音频-语言模型，将音频-视觉仇恨检测转化为结构化推理问题，在HateMM上目标识别F1达0.73（提升30%），并保持精确时间定位。

Comments Accepted to AAAI-ICWSM 2027

Adaptively Robust LLM Monitoring via Activation Watermarking

通过激活水印实现语言模型的鲁棒安全监控

Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 安全训练 ：jailbreak(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。

Comments 17 pages, 17 figures, 8 tables

Large-Scale ChatBot Validation Through Customer Digital Twin Simulations

基于客户数字孪生模拟的大规模聊天机器人验证

Cristovao Iglesias, Devesh Batra, Alankar Atreya, Stefan Wagner, Robert Hankache, Patrick Sinclair, Giulio Pelosio, Michael McMillan, Greig A. Cowan, Raad Khraishi

机构 * leading UK bank（英国领先银行） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于合成客户智能体（SCA）数字孪生的两部分验证方法，用于解决银行等领域LLM聊天机器人的大规模安全验证问题，已成功应用于英国某头部银行的客户聊天机器人验证。

ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D

研究竞技场：评估自动化人工智能研发中的破坏行为与监控

Lena Libon, Ben Rank, Jehyeok Yeon, David Schmotz, Jeremy Qin, Daniel Donnelly, Derck Prinzhorn, Maksym Andriushchenko

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对自动化人工智能研发，用研究竞技场框架评估人工智能控制，通过四项长期任务及两类隐藏附带任务，评估前沿代理破坏与监控能力，发现训练数据中破坏行为难捕捉，发布框架用于评估自动化人工智能研发中的破坏与控制。

Comments 50 pages, 12 figures

Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

选择 moderation 的位置与方式：过滤点与响应重写的端到端权衡

Mengya Hu, Susie Park, Suzana Ilic, Qiong Wei, Sandeep Atluri, Myra Deng, Tucker Fross, Curt Tigges

机构 * Microsoft Responsible AI（微软负责任人工智能部门） ； Goodfire（古德法尔公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 该研究针对内容审核部署中的过滤点与响应方式，对比不同方案的有用性、有害暴露等指标，发现响应重写可平衡流量恢复与安全，支持按部署约束选择审核配置。

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

功能缓存嫁接：具身智能体的鲁棒且快速代码策略合成

Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出FCGraft框架，通过维护函数级验证代码骨架及其键值缓存，对新任务进行缓存嫁接（拼接和修补），减少预填充计算并复用验证结构，实现更鲁棒和快速的策略合成。

Comments Accepted at ICML 2026