大模型对齐与安全

Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases

对齐篡改：人类反馈强化学习如何被利用以优化错位偏见

Dongyoon Hahm, Dylan Hadfield-Menell, Kimin Lee

机构 * MIT（麻省理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出对齐篡改漏洞，即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为，并通过实验展示多种偏见的放大，指出现有缓解方法难以在不牺牲质量的情况下解决该问题。

Comments Accepted at ICML 2026, Source code: https://alignment-tampering.github.io/

Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences

联邦变分偏好对齐与Gumbel-Softmax先验用于个性化用户偏好

Jabin Koo, Hoyoung Kim, Minwoo Jang, Jungseul Ok

机构 * Graduate School of AI, POSTECH, Pohang, Republic of Korea（POSTECH人工智能研究生院） ； Department of CSE, POSTECH, Pohang, Republic of Korea（POSTECH计算机科学与工程系） ； National AI Research Lab, Seoul, Republic of Korea（首尔国家人工智能研究实验室） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(title,abstract)；harmlessness(abstract)；分类 cs.AI、cs.LG

AI总结 提出FedVPA-GP框架，通过联邦混合先验和正交损失解决联邦学习中用户偏好冲突和个性化问题，在HH-RLHF数据集上优于单一模型。

Comments 21 pages, 4 figures. Accepted to ICML 2026

Configurable Reward Model for Balanced Safety Alignment

可配置奖励模型用于平衡安全对齐

Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出可配置安全奖励模型（CSRM），通过配置目标数据增强和联合优化，实现对细粒度安全配置和对话细微差别的敏感性，在可配置安全基准上达到最优性能，并改善有用性与安全性的权衡。

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

RLHF的另一面：用于奖励模型自监督改进的在线策略反馈

Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(abstract)；分类 cs.CL

AI总结 提出SAVE框架，利用价值函数生成在线策略反馈，通过对比学习更新奖励模型，在六个基准上超越现有方法。

Spurious Correlation Learning in Preference Optimization: Mechanisms, Consequences, and Mitigation via Tie Training

偏好优化中的虚假相关学习：机制、后果及通过平局训练的缓解方法

Christian Moya, Alex Semendinger, Guang Lin, Elliott Thornley

机构 * Department of Mathematics, Purdue University, West Lafayette IN, USA（普渡大学数学系） ； School of Mechanical Engineering, Purdue University, West Lafayette IN, USA（普渡大学机械工程学院） ； Massachusetts Institute of Technology, Cambridge MA, USA（麻省理工学院） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过统一理论分析揭示了偏好优化（如DPO）中虚假相关学习的机制（均值虚假偏差和因果-虚假相关泄漏），证明其导致分布偏移下的不可逆脆弱性，并提出平局训练数据增强策略以选择性减少虚假学习。

Comments Proceedings of the 43rd International Conference on Machine Learning, 2026, Seoul, South Korea

Journal ref Proceedings of the 43rd International Conference on Machine Learning, 2026, Seoul, South Korea

Differentially Private Preference Data Synthesis for Large Language Model Alignment

面向大语言模型对齐的差分隐私偏好数据合成

Fengyu Gao, Jing Yang

机构 * Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学计算机科学系） ； Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA（弗吉尼亚大学电气与计算机工程系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DPPrefSyn算法，基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据，实现隐私保护的偏好对齐。

Comments Accepted to ICML 2026

Self-Reflective Generation at Test Time

测试时的自反生成

Jian Mu, Qixin Zhang, Zhiyong Wang, Menglin Yang, Shuang Qiu, Chengwei Qin, Zhongxiang Dai, Yao Shu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； University of Edinburgh（爱丁堡大学） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；trustworthy(abstract)；分类 cs.CL

AI总结 提出SRGen框架，通过动态熵阈值识别高不确定性token并训练校正向量，在测试时进行自反生成以纠正概率分布，提升大模型推理的可靠性。

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。

Comments ICML 2026

Reliable Self-Improvement Training by Verifying Reasoning, Not Just Answers

可靠的自改进训练：验证推理过程，而不仅仅是答案

Xinyu Zhang

机构 * Anyscale 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 针对自改进训练中因依赖最终答案正确性导致推理错误累积的问题，提出VSI框架，通过步骤级结构验证（如符号计算检查算术步骤）筛选训练数据，在GSM8K上实现持续准确率提升（80.5%→91.0%）。

Comments Accepted at ICLR 2026 Workshop LLM Reasoning. 10 pages, 3 figures, 5 tables

Preference-Aware Rubric Learning for Personalized Evaluation

偏好感知的评分标准学习用于个性化评估

Yilun Qiu, Xiaoyan Zhao, Yang Zhang, Yuxin Chen, Cilin Yan, Jiayin Cai, Xiaolong Jiang, Yao Hu, Yoko Yamakata, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Xiaohongshu Inc.（小红书公司） ； The University of Tokyo（东京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出PARL框架，通过从用户历史中学习偏好感知的评估标准并采用自验证机制，实现个性化评估。

Representation Collapse in Sequential Post-Training of Large Language Models

大型语言模型顺序后训练中的表示坍缩

Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang Gongshang University（浙江工商大学） ； Ningbo University（宁波大学） ； Shanghai University（上海大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.LG

AI总结 研究大型语言模型在顺序后训练阶段中内部表示逐渐压缩为低秩、各向异性且同质的特征空间，并提出轻量级干预措施以保持未来可学习性。

Comments work in progress

Mixture-of-Experts Knowledge Graph Retrieval-Augmented Generation for Multi-Agent LLM-based Recommendation

基于混合专家知识图谱检索增强生成的多智能体LLM推荐系统

Shijie Wang, Chengyi Liu, Yujuan Ding, Shanru Lin, See-Kiong Ng, Xu Xin, Wenqi Fan

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出MixRAGRec框架，通过混合专家检索、知识偏好对齐和对比学习增强推荐，解决KG-RAG中检索粒度单一、结构信息丢失和端到端学习困难问题。

Comments Accepted by KDD 2026 Research Track

ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails

ConsisGuard：在LLM护栏中对齐安全审议与策略执行

Yan Wang, Zhixuan Chu, Zihao Xue, Zhen Bi, Bingyu Zhu, YueFeng Chen, Zeyu Yang, Jungang Lou, Longtao Huang, Ningyu Zhang, Kui Ren, Hui Xue

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； Huzhou Normal University（湖州师范学院） ； Zhejiang Key Laboratory of Intelligent Education Technology and Application（浙江省智能教育技术与应用重点实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 提出ConsisGuard框架，通过策略到决策轨迹蒸馏和功能耦合对齐，解决基于推理的LLM护栏中审议与执行之间的不一致问题，提升安全检测性能并减少策略执行失败。

Comments 18 pages, 9 figures

COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents

COMPASS: 认知MCTS引导的过程对齐用于安全搜索代理

Wenkai Shen, Pengyang Zhou, Jiahe Xu, Jiaming Qian, Haozhe He, Zhihao Huang, Chaochao Chen, Xiaolin Zheng

机构 * Zhejiang University（浙江大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出COMPASS框架，通过认知树探索和自省步骤对齐，在保持通用效用的同时实现搜索代理工作流中的鲁棒安全对齐。

DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs

DOA：面向语音大语言模型的长形式同声传译的无训练解码器仅注意力策略

Sara Papi, Luisa Bentivogli

机构 * Fondazione Bruno Kessler（布鲁诺·克塞塞基金会） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出DOA策略，利用解码器自注意力导出代理对齐，无需训练即可实现语音大语言模型在长形式同声传译中的流式决策。

Probing Collision Grounding in Vision-Language Models for Safe Human-Robot Collaboration

探索视觉-语言模型中的碰撞接地以实现安全的人机协作

Jun Wang, Xiaohao Xu, Xiaonan Huang

机构 * University of Michigan, Ann Arbor（密歇根大学，安娜堡） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对安全人机协作，提出碰撞接地概念及物理基准TouchSafeBench，评估视觉-语言模型在分类当前安全状态和预警即将碰撞任务中的表现，发现现有模型不可靠，视觉流畅性不等于物理责任性。

Comments 31 pages, 9 figures

CSULoRA: Closest Safe Update Low-Rank Adaptation

CSULoRA：最近安全更新低秩适应

Oleksandr Marchenko Breneur, Adelaide Danilov, Aria Nourbakhsh, Salima Lamsiyah

机构 * Department of Computer Science, University of Luxembourg（卢森堡大学计算机科学系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出CSULoRA方法，通过后处理校正LoRA适配器，在保留任务相关性的同时抑制不安全更新方向，降低攻击成功率。

Comments 10 pages, 3 figure

AI Loss of Control Incident Management: Response & Resilience

AI失控事件管理：响应与韧性

Ross Gruetzemacher

机构 * Wichita State University（威斯康星州立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 针对AI失控事件管理的研究空白，本文提出一个基础框架和分类法，将失控场景分为“极其昂贵”和“不可能”两类，并分别给出韧性投资和主动事件管理（包含遏制与威胁中和）的应对策略。

Comments 25 pages, 4 figures

SafeRx-Agent: A Knowledge-Grounded Multi-Agent Framework for Safe and Explainable Medication Recommendation

SafeRx-Agent: 基于知识的多智能体框架用于安全且可解释的药物推荐

Xinyu Wang, Hanwei Wu, Zhenghan Tai, Sicheng Lyu, Qincheng Lu, Ziyu Zhao, Jijun Chi, Jingrui Tian, Xiao-Wen Chang, Ziyang Song

机构 * McGill University（麦吉尔大学） ； McMaster University（麦马斯特大学） ； University of Toronto（多伦多大学） ； Ohio University（俄亥俄大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出SafeRx-Agent，一种基于知识的多智能体框架，通过患者上下文、外部临床知识和安全验证来推荐可追溯的药物集合，在MIMIC-III和MIMIC-IV数据集上提高了细粒度药物预测准确性，同时控制了药物相互作用、禁忌症和药物集合大小。

Reinforcement Learning Amplifies Emergent Misalignment from Harmless Rewards

强化学习放大了来自无害奖励的涌现性失调

Magnus Jørgenvåg, David Kaczér, Lasse Ruttert, Marvin Gülhan, Lucie Flek, Florian Mai

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn, Germany（波恩-亚琛信息科技国际中心，波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本文研究强化学习如何从看似无害的奖励信号中引发语言模型的涌现性失调，发现其比监督微调更严重，并验证了在训练中插入安全数据可缓解此问题。

Safe Equilibrium Policy Optimization for Strategic Agent Policies

面向策略型智能体的安全均衡策略优化

Karthika Arumugam, Kiran Kumar Manku, Amit Dhanda

机构 * Amazon, USA（亚马逊公司） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出Safe Equilibrium Policy Optimization (SEPO)方法，通过惩罚可剥削性、共谋风险和外部性成本，优化语言模型在多智能体博弈中的策略安全性。

Comments Submitted to EMNLP 2026

ARIADNE: AI-RAN Informed Link Adaptation in Digital Twin Network Environments

ARIADNE：数字孪生网络环境中基于AI-RAN的链路自适应

Maria Tsampazi, Neagin Neasamoni Santhi, Nicole Perrotta, Falko Dressler, Tommaso Melodia

专题命中 安全训练 ：safety(abstract)

AI总结 提出在线强化学习模块ARIADNE，集成于SIONNA框架实现链路自适应，在频谱效率上比行业标准和最先进方法分别提升11%和20%，并揭示RL学习的MCS选择策略与OLLA不同。

Comments 6 pages, 9 fugures

TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking

TRACE: 任务感知的自适应自我进化代理越狱

Churui Zeng, Weiwei Qi, Kedong Xiu, Tianhang Zheng, Chaochao Lu, Liang He, Zhan Qin, Kui Ren

专题命中 越狱攻击 ：safety(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 提出TRACE框架，通过任务分解、场景伪装和Q学习进化，实现LLM代理的高效越狱，在AgentHarm和AdvCUA上达到最高100%绕过率。

Comments 16 pages, 7 figures

Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation

超越支持域：无监督越狱激活模拟的对抗训练

Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

机构 * University of Technology Sydney, Sydney, Australia（技术悉尼大学） ； School of Cyber Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院） ； Xi'an Jiaotong University, Xi'an, China（西安交通大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 针对现有安全引导方法对未见越狱攻击泛化失败的问题，提出基于无监督潜在方向发现的双层对抗训练框架，通过外推拒绝态有害请求激活模拟多样越狱激活，并训练势诱导引导场实现零样本越狱防御。

Comments accepted by ICML 2026

Dual Mechanisms of Value Expression: Intrinsic vs. Prompted Values in Large Language Models

价值表达的双重机制：大型语言模型中的内在价值与提示价值

Jongwook Han, Jongwon Lim, Injin Kong, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过价值向量和价值神经元分析，揭示大型语言模型中内在价值表达与提示价值表达在机制上部分共享核心组件，但各自拥有独特功能，内在机制促进多样性，提示机制增强指令遵从。

Comments Accepted at ICML 2026. Project page: https://holi-lab.github.io/ValueMechanism/

Stateful Online Monitoring Catches Distributed Agent Attacks

有状态在线监控捕获分布式智能体攻击

Davis Brown, Samarth Bhargav, Arav Santhanam, Kasper Hong, Ivan Zhang, Matan Shtepel, Steffi Chern, Alexander Robey, Eric Wong, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 针对分布式智能体攻击中跨账户聚合的恶意行为难以被单上下文监控检测的问题，提出一种基于实时聚类的有状态在线监控方法，能够更早、更有效地捕获分布式攻击，同时保持低延迟。

Automatically Attacking Software Reverse Engineering AI Agents

自动攻击软件逆向工程AI代理

Brian Crawford, Justin Phillips, Patrick McClure

机构 * Naval Postgraduate School（海军学院） 纠错

专题命中 越狱攻击 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出基于遗传算法的对抗性提示生成技术（AutoDAN变体），通过注入无关字符串变量欺骗LLM驱动的反汇编与反编译系统，导致其错误分析二进制可执行文件。

$PC^2$: Politically Controversial Content Generation via Jailbreaking Attacks on GPT-based Text-to-Image Models

$PC^2$：通过基于GPT的文本到图像模型的越狱攻击生成政治争议内容

Wonwoo Choi, Minjae Seo, Minkyoo Song, Hwanjo Heo, Seungwon Shin, Myoungsung You

专题命中 越狱攻击 ：safety(abstract)

AI总结 提出首个黑盒政治越狱框架$PC^2$，利用身份保留描述映射和地缘政治远距离翻译绕过安全过滤器，在GPT系列模型上实现高达86%的攻击成功率。

Comments To appear in the 33rd ACM Conference on Computer and Communications Security (CCS 2026)

From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors

从提示注入到持久控制：防御智能体框架中的木马后门

Jiejun Tan, Zhicheng Dou, Xinyu Yang, Yuyang Hu, Yiruo Cheng, Xiaoxi Li, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ClawTrojan基准测试揭示本地智能体框架中的多步木马攻击，并设计DASGuard防御方法，通过扫描控制文本、追溯来源并清除不可信控制内容，实现动态防御。

Comments Code and data are available at https://github.com/RUC-NLPIR/ClawTrojan

Depth-Dependent Indirect Prompt Injection in Tool-Calling ReAct Agents: Injection Depth, Payload Framing, and Turn-Budget Sensitivity

工具调用ReAct代理中深度相关的间接提示注入：注入深度、载荷框架和轮次预算敏感性

Mohammadreza Rashidi

机构 * Department of Computer Science（计算机科学系） ； AI and Media Analysis Lab（人工智能与媒体分析实验室） ； Berlin, Germany（柏林，德国） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过四个对照实验（共460次试验），研究在工具调用ReAct代理中，注入深度、载荷框架和轮次预算对间接提示注入攻击成功率的影响，发现注入深度是主导变量，且仅清理第一个工具观察可捕获67%的注入成功。

Comments 17 pages, 16 figures