大模型对齐与安全

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO：从专家轨迹上的模仿到智能体策略优化

Yixiong Chen, Alan Yuille

机构 * Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；分类 cs.AI

AI总结 研究针对大语言模型智能体基于专家轨迹训练只学动作序列、难应对错误的问题，提出Agentic-DPO方法，通过转化专家轨迹为状态条件偏好监督，结合策略保持增强，实现低成本智能体策略优化，实验验证其有效性。

DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs

深度偏差：对大型视觉语言模型中社会偏差的自适应深度探测

Anqi Li, Jie Zhang, Zhongqi Wang, Songkai Xue, Jiahao Wang, Shiguang Shan, Xilin Chen

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究大型视觉语言模型中社会偏差问题，提出DeepBias自适应框架，通过“生成-演化-探测”循环及智能体深度探测偏差，构建DeepBiasBench基准，实验证明其有效性，为LVLM安全评估建立进化范式。

Gauge dependence and structured-output corruption in sign-branched repetition penalties: measurements across models, inference stacks, and alternative repetition controls

符号分支重复惩罚中的规范依赖性和结构化输出损坏：跨模型、推理堆栈和替代重复控制的测量

Peter Hollows

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 研究符号分支重复惩罚中规范依赖性和结构化输出损坏问题，发现其惩罚定义不明确且损坏输出，将惩罚应用于归一化对数概率可消除这些问题，给出了相关机制、测量及归一化变体。

Comments 8 pages, 2 figures, 4 tables. Code, data, per-stack survey and git genealogy: https://github.com/captainpete/repetition-penalty-gauge

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

隐式个性化与显式风格冲突吗？PsPLUG：用于在定制大语言模型中平衡个性化与风格的轻量级插件

Yutong Song, Jiang Wu, Shaofan Yuan, Chengze Shen, Jian Wang, Yu Wang, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学伊文斯顿分校） ； TikTok Inc.（TikTok公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究个性化大语言模型中显式风格指令与隐式用户偏好冲突问题，提出轻量级插件PsPLUG，它能在考虑风格后学习用户特定残差并可调整个性化强度，实验证明其能更好平衡个性化与风格遵循，保留用户偏好。

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

读回：预训练的多模态语言模型是文本到图像生成的零样本奖励模型

Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； ByteDance Seed（字节跳动Seed） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 研究提出SpectraReward将预训练多模态语言模型转为图像生成强化学习奖励模型，用图像条件提示对数似然作奖励，还引入Self-SpectraReward形成闭环框架。经广泛实验验证，二者能提升生成性能，表明奖励-策略对齐是关键。

HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models

HyperSafe：微调语言模型推理时的安全恢复

Aznaur Aliev, Carlos Hinojosa, Abdelrahman Eldesokey, Bang An, Bernard Ghanem, Yibo Yang

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对微调语言模型推理时安全对齐脆弱的问题，提出HyperSafe框架，通过生成特定模型的安全侧网络，利用层激活指纹和超网络映射参数，实现提示级安全分类，有效降低有害响应率，保持任务准确率。

ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm

ANCHOR：针对现实世界危害的CLI代理自动对齐审计

Kefan Song, Yanjun Qi

机构 * Anthropic（Anthropic公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究自主CLI代理在现实世界危害中的风险，提出ANCHOR自动审计框架，通过基于黑暗人格数据微调的审计代理模拟恶意用户，测试CLI代理，发现当前对齐技术不足，强调针对此类恶意用户进行安全评估的必要。

Comments Accepted at ICML 2026. 19 pages, 14 figures, 5 tables

Journal ref International Conference on Machine Learning, 2026

The Injection Paradox: Brand-Level Suppression in Safety-Trained LLM Recommendations via RAG Context Injection

注入悖论：通过RAG上下文注入在安全训练的LLM推荐中实现品牌级压制

Hyunseok Paeng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现在基于RAG的LLM推荐中，安全训练会导致注入提示反而压制目标品牌推荐率，揭示了安全机制可能被逆向利用的风险。

Comments 18 pages, 1 figure, 15 tables. Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN), a non-archival venue

Tool-MCoT: Tool Augmented Multimodal Chain-of-Thought for Content Safety Moderation

Tool-MCoT：用于内容安全审核的工具增强多模态链式思维

Shutong Zhang, Dylan Zhou, Yinxiao Liu, Yang Yang, Huiwen Luo, Wenfei Zou

机构 * Stanford University（斯坦福大学） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Tool-MCoT，一种基于工具增强的多模态链式思维模型，用于提升内容安全审核的效率与准确性，通过训练小语言模型以有效利用外部工具进行推理和决策。

Runtime Safety Filtering for Learned Small UAS Separation Policies under GNSS Degradation

全球导航卫星系统（GNSS）退化情况下学习到的小型无人机分离策略的运行时安全过滤

Alex Zongo, Peng Wei

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究在GNSS退化时小型无人机分离策略的运行时安全过滤问题，对比动作过滤和观测过滤两种方法，发现动作过滤安全改进小，观测过滤能减少近90%的空中碰撞且更稳健，表明保留策略决策权限更优。

Comments Accepted for publication at the 2026 IEEE/AIAA Digital Avionics Systems Conference (DASC). 9 pages, 8 figures

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

安全响应很重要：输出感知安全护栏减轻多模态大语言模型中的过度拒绝

Jiayi Li, Kun Zhan

机构 * Lanzhou University（兰州大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 研究多模态大语言模型安全机制权衡问题，提出输出感知安全护栏范式，通过在模型隐藏状态空间预测及多实例对比学习训练分类器，减少过度拒绝，匹配安全性能，保留模型效用与安全能力。

Comments Accepted to ECCV 2026!

Selective Safety Steering via Value-Filtered Decoding

基于价值过滤解码的选择性安全引导

Bat-Sheva Einbinder, Hen Davidov, Yee Whye Teh, Yarin Gal, Yaniv Romano

机构 * Department of Electrical and Computer Engineering, Technion IIT（技术学院电气与计算机工程系） ； Department of Statistics, University of Oxford（牛津大学统计系） ； OATML, Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Computer Science, Technion IIT（技术学院计算机科学系） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出一种测试时引导方法，通过价值基的安全标准过滤token，减少不必要的干预，提升不安全响应的安全性，同时在多个数据集上验证了其在安全与帮助性之间的更好平衡。

The Paternalistic Filter: Epistemic Injustice and Differential Refusal in LLM-Mediated History Education for Marginalized Romanian Students

家长式过滤器：大语言模型介导的罗马尼亚边缘化学生历史教育中的认知不公正与差异拒绝

Alexis Popovici, Andrei Ionascu, Adrian-Marius Dumitran

机构 * Universitatea din București（布加勒斯特大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究大语言模型用于罗马尼亚边缘化学生历史教育时的问题，通过API审计四个模型的1800条回复，发现认知家长式作风的四种模式，指出当前安全对齐成家长式过滤器，致叙事隔离，需教学审计。

Comments 8th International Workshop on Culturally-Aware Tutoring Systems (HAL precedings)

Stable On-Policy Distillation through Adaptive Target Reformulation

通过自适应目标重述实现稳定的在线策略蒸馏

Ijun Jang, Jewon Yeom, Juan Yeo, Hyunggyu Lim, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Veto方法，通过在logit空间构建几何桥梁，解决传统在线策略蒸馏中的分布不匹配问题，提升训练稳定性与输出多样性。

Comments 10 pages, 5 figures, Accepted to Findings of ACL 2026

Heterogeneous Agent Cohorts for Safe Open-Ended Exploration with Runtime Constraint Memory

用于安全开放式探索的异构智能体群组及运行时约束记忆

Tengjiao Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对语言模型智能体安全与探索困境，提出将关注点分离到专门角色，通过蒙特卡洛树搜索编译失败为‘伤疤’约束补丁，在空间语义沙盒实验中，该方法能到达远程目标、防止违规、减少令牌消耗，还能在资源约束下降低成本。

Comments 12 pages, 1 figure, 12 tables

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

EasyOPD：一种易于使用的大语言模型在线策略蒸馏框架

Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Gengsheng Li, Zhepei Hong, Chang Wu, Pengfei Liu, Junfeng Fang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent（腾讯） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对传统语言模型蒸馏问题，提出基于verl构建的EasyOPD框架，分离用户配置等，为三种OPD设置实例化方法，经多基准测试，其实现可通过同一后端执行，还发布了相关配置、文档及演示包。

Comments 10 pages, 2 figures

Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

扩展视野而非参数：以35B智能体达到万亿参数性能

Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, Yue Fan, Shiyang Feng, Zijie Guo, Haonan He, Liang He, Xiaohan He, Shuyue Hu, Yusong Hu, Songtao Huang, Yichen Jiang, Hao Li, Xin Li, Dahua Lin, Weihao Lin, Fenghua Ling, Dongrui Liu, Zhuo Liu, Wenjie Lou, Runmin Ma, Chunjiang Mu, Haoyang Peng, Tianshuo Peng, Jinxin Shi, Luohe Shi, Boyuan Sun, Zelin Tan, Shengji Tang, Yan Teng, Qianyi Wang, Xiaosong Wang, Yiming Wu, Yi Xie, Xiangchao Yan, Jingqi Ye, Peng Ye, Fangchen Yu, Jiakang Yuan, Bihao Zhan, Bo Zhang, Chen Zhang, Shufei Zhang, Shuaiyu Zhang, Wenlong Zhang, Yiqun Zhang, Junpeng Zhao, Zhijie Zhong, Bowen Zhou, Yuhao Zhou

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 提出35B混合专家智能体模型Agents-A1，通过扩展智能体视野（长程轨迹与异构能力）达到万亿参数级别性能，采用三阶段训练（全领域微调、领域教师模型、多教师领域路由策略蒸馏）在多个长程基准上取得领先或竞争力结果。

Comments The model checkpoints and evaluation codebase are available at https://huggingface.co/collections/InternScience/agents-a1 and https://github.com/InternScience/Agents-A1

VehAnchor: Metadata-Free Metric Scale Recovery from Vehicle Cues in Aerial Imagery

VANGUARD：用于GPS受限环境下的无人机车辆锚定地面采样距离估计

Yifei Chen, Chenqian Le, Jiayi Cheng, Xupeng Chen

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所） ； Tandon School of Engineering, New York University（纽约大学工学院） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 VANGUARD通过利用车辆锚点和核密度估计，为无人机在GPS受限环境中提供可靠地面采样距离估计，降低空间推理中的误差和失败率。

Which Neurons Detect Malicious Code? A Probing Study of LLM Security Knowledge

哪些神经元能检测恶意代码？对大语言模型安全知识的探索性研究

Lam D. Dao, Vang T. Nguyen, Anh M. T. Bui, Phuong T. Nguyen

专题命中 安全训练 ：alignment(abstract)

AI总结 研究探索大语言模型中检测恶意代码的神经元，应用机械可解释性方法定位相关神经元，通过对恶意和良性PyPI包实验发现放大促进神经元、抑制抑制神经元可提升准确率，有助于了解模型编码恶意概念方式，为可靠防御机制提供思路。

Comments The paper has been peer reviewed and accepted for publication in the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026)

VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

VGGRPO：迈向世界一致的视频生成的4D潜在奖励

Zhaochong An, Orest Kupyn, Théo Uscidda, Andrea Colaco, Karan Ahuja, Serge Belongie, Mar Gonzalez-Franco, Marta Tintore Gazulla

机构 * Google（谷歌） ； University of Oxford（牛津大学） ； CREST-ENSAE, Institut Polytechnique de Paris（巴黎综合理工学院CREST-ENSAE） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 VGGRPO通过引入4D潜在几何模型和组相对策略优化，提升视频生成的几何一致性与稳定性，避免VAE解码的高计算开销。

Comments Accepted at ECCV 2026. Project Page: https://zhaochongan.github.io/projects/VGGRPO

SanDRA: Safe Large-Language-Model-Based Decision Making for Automated Vehicles Using Reachability Analysis

SanDRA：基于可达性分析的自动驾驶车辆安全大语言模型决策

Yuanfei Lin, Sebastian Illing, Matthias Althoff

机构 * Department of Computer Engineering, Technical University of Munich（计算机工程系，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 针对大语言模型用于自动驾驶决策时安全性无法保证的问题，提出SanDRA框架，先描述驾驶场景促使模型生成排序动作，转化为时序逻辑公式并结合可达性分析消除不安全动作，经实验验证能提供安全合规驾驶动作，代码和实验设置公开。

Comments @2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Journal ref T-ITS, 2026

Self-navigation in crowds: An invariant set-based approach

人群中的自主导航：基于不变集的方法

Veejay Karthik J, Leena Vachhani

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出了一种基于不变集的自主导航方法，通过输入受限反馈控制器和规划策略，实现非协调拥挤环境中安全快速的多智能体导航。

HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human-LLM Collaborative Writing

HarDBench: 面向安全人机协作写作的基于草稿的合著越狱攻击基准

Euntae Kim, Soomin Han, Buru Chang

机构 * Korea University（韩国大学） ； Sogang University（ソガン大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 提出HarDBench基准，评估大语言模型在协作写作中面对恶意草稿填充的越狱攻击的鲁棒性，并通过偏好优化实现安全-效用平衡的对齐方法。

Comments ACL 2026 Main

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 40785-40831 July 2-7, 2026

Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

木马提示：通过伪造助手消息来破解对话式多模态模型

Wei Duan, Li Qian

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 研究针对对话式多模态模型的安全漏洞，提出木马提示越狱技术，通过伪造对话历史绕过安全机制，在谷歌Gemini-2.0上实验显示其攻击成功率高于现有方法，揭示对话AI安全缺陷，呼吁转变验证范式。

Comments We stopped working on this idea because we realized that there was a paper submitted before it that took almost identical approach

MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment

MJ：通过分解信用分配实现多轮语言模型越狱

Junyoung Park, Namgyu Park, Sechan Lee, Yoon-Chan Jhi, Jihoon Cho, Sangdon Park

机构 * POSTECH GSAI（浦项科技大学全球人工智能学院） ； Samsung SDS（三星 SDS） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；red teaming(abstract)；分类 cs.CL

AI总结 研究针对多轮语言模型越狱的信用分配难题，提出DC-GRPO框架，通过结合即时和未来信用为各轮次分配学习信号，经静态和动态加权规则实例化，在多模型和基准测试中显著优于现有方法，核心优势在于轮次级组相对信用分配。

Comments 29 pages. Warning: This paper contains examples of harmful content

Adversarially Guided Diffusion for LiDAR Range Image Synthesis

用于激光雷达距离图像合成的对抗引导扩散

Stavros Bouras, Antonios Makris, Alexandros Gkillas, Aris S. Lalos, Konstantinos Tserpes

机构 * School of Electrical and Computer Engineering, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院） ； Industrial Systems Institute, Athena Research Center（雅典娜研究中心工业系统研究所） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG；trustworthy(comments)

AI总结 研究针对二维距离图像分割的无限制对抗攻击，提出基于扩散并利用分割损失对抗引导的方法，在SemanticKITTI数据集实验，能跨架构转移，相比基线在有效性与现实性间有独特权衡，实现可控退化。

Comments Accepted at the 1st Workshop on Secure and Trustworthy AI (STAI 2026), co-located with the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2026)

When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems

当局部监测器遗漏组合性危害时：诊断多智能体系统中的分布式后门

Yibo Hu, Ren Wang

专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG

AI总结 研究多智能体系统中分布式后门问题及局部监测器漏洞，提出可观测性边界概念，通过实验证明局部监测器在局部无害时会失效，还展示了特定监测器和门的效果，指出找到能暴露负载的表示形式是未解决问题。

World Models as Adversaries: Multi-Agent Self-Play Fine-Tuning for Robust Motion Planning

作为对手的世界模型：用于鲁棒运动规划的多智能体自我博弈微调

Tong Nie, Yuewen Mei, Junlin He, Yihong Tang, Jian Sun, Wei Ma

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Tongji University（同济大学） ； McGill University（麦吉尔大学） ； Mila-Quebec AI Institute（米拉-魁北克人工智能研究所） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 研究在密集交通中自动驾驶车辆鲁棒运动规划问题，提出对抗世界建模（AWM）框架，通过多智能体自我博弈微调，引入解耦求解器，经实验验证该方法能生成可转移对抗交互，使规划器在多种场景有竞争力。

Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming

智能体攻击智能体：用于生产智能体红队测试的自动研究

Xutao Mao, Xiang Zheng, Cong Wang

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 研究生产型语言模型智能体的自动化红队测试，提出AHA可证伪发现循环，通过该循环构建漏洞概念图。在Claude Code和Codex上测试，发现跨模型和智能体的可重复使用漏洞核心，生成的VCG为安全团队提供可审计工件，提升测试性能。

NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations

NetInjectBench：用于网络操作的工具使用大型语言模型代理中间接提示注入的基准测试

Ruksat Khan Shayoni, Muhammad Faraz Shoaib, S M Asif Hossain, M. F. Mridha

机构 * School of Computing, Wichita State University（威斯康星州立大学计算机学院） ； Department of Computer Science, American International University-Bangladesh（孟加拉国国际大学计算机科学系） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 研究网络操作中工具使用大型语言模型代理的间接提示注入问题，提出NetInjectBench基准测试。通过多种方法评估，发现单纯执行不安全率高，不同方法可降低该率，元数据感知策略门效果好，表明网络操作代理需执行时授权边界。