大模型对齐与安全

HP-Edit: A Human-Preference Post-Training Framework for Image Editing

HP-Edit：一种用于图像编辑的人类偏好后训练框架

Fan Li, Chonghuinan Wang, Lina Lei, Yuping Qiu, Jiaqi Xu, Jiaxiu Jiang, Xinran Qin, Zhikai Chen, Fenglong Song, Zhixin Wang, Renjing Pei, Wangmeng Zuo

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Nankai University（南开大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出HP-Edit框架和RealPref-50K数据集，通过少量人类偏好评分数据和预训练视觉大语言模型开发自动评估器，提升图像编辑模型对人类偏好的契合度。

Comments Accepted by CVPR2026

Chain-of-Thought as a Lens: Evaluating Structured Reasoning Alignment between Human Preferences and Large Language Models

思维链作为镜像：评估大语言模型与人类偏好之间结构化推理的对齐

Boxuan Wang, Zhuoyun Li, Xinmiao Huang, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, United Kingdom（利物浦大学计算机科学与信息学学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文提出一种量化评估大语言模型多步结构化推理与人类偏好对齐的方法，引入对齐分数指标，通过构建基于语义熵的矩阵比较模型生成的思维链与人类偏好参考，发现对齐分数在2步推理时达到峰值，支持其作为诊断信号。

Comments Accepted to ACL 2026 (Main Conference)

DT2IT-MRM: Debiased Preference Construction and Iterative Training for Multimodal Reward Modeling

DT2IT-MRM：去偏偏好构建与迭代训练用于多模态奖励建模

Zhihong Zhang, Jie Zhao, Xiaojian Huang, Jin Xu, Zhuodong Luo, Xin Liu, Jiansheng Wei, Xuejin Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出DT2IT-MRM方法，通过去偏偏好构建、文本到图像偏好数据重构和迭代训练框架，解决多模态奖励建模中偏好数据的偏差、噪声和不一致问题，并在三个基准测试中取得新突破。

Comments code will be uploaded to https://github.com/zhang123434/DT2IT-MRM

CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis

CentaurTA Studio：一个自我改进的人机协作系统用于主题分析

Lei Wang, Min Huang, Eduard Dragut

机构 * Temple University（Temple大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CentaurTA Studio，通过人机协作提升主题分析效率，实现高准确率和可靠评估，验证了反馈循环和持续优化的重要性。

The Alignment Waltz: Jointly Training Agents to Collaborate for Safety

对齐之舞：联合训练代理以安全协作

Jingyu Zhang, Haozhu Wang, Eric Michael Smith, Sid Wang, Amr Sharaf, Mahesh Pasupuleti, Benjamin Van Durme, Daniel Khashabi, Jason Weston, Hongyuan Zhan

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；harmlessness(abstract)；分类 cs.CL

AI总结 本文提出WaltzRL框架，通过联合训练对话代理和反馈代理，解决LLM在安全与帮助性间的平衡问题，实验表明其有效降低不安全响应和过度拒绝率。

Comments ICLR 2026

Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback

基于人类反馈的安全强化学习策略梯度对偶方法

Qiang Liu, Adrienne Kline, Ermin Wei

专题命中 安全训练 ：RLHF(summary_cn,abstract)；harmlessness(abstract)；分类 cs.LG

AI总结 本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。

TROJail: Trajectory-Level Optimization for Multi-Turn Large Language Model Jailbreaks with Process Rewards

TROJail: 多轮对话中针对大语言模型的多轮攻击优化

Xiqiao Xiong, Ouxiang Li, Zhuo Liu, Moxin Li, Wentao Shi, Fengbin Zhu, Qifan Wang, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Meta AI 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TROJail，通过多轮强化学习优化攻击策略，引入过程奖励提升攻击成功率，实验显示在多个模型和基准上效果显著。

Comments Accepted to ACL 2026 Main Conference

Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control

大模型的局部线性性使基于模型的线性最优控制能够实现激活引导

Julian Skifstad, Xinyue Annie Yang, Glen Chou

机构 * Georgia Institute of Technology, Atlanta, GA, USA. Schools of Electrical and Computer Engineering（佐治亚理工学院，亚特兰大，GA，美国。电气与计算机工程学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 通过利用大模型层间动力学的局部线性特性，本文将LLM推理建模为线性时变动态系统，采用线性二次调节器计算反馈控制器，实现激活的闭环控制，具有低计算开销和无离线训练的优势，同时提供理论误差界保证控制性能。

Comments Under review

RepIt: Steering Language Models with Concept-Specific Refusal Vectors

RepIt：通过概念特定拒绝向量引导语言模型

Vincent Siu, Nathan W. Henry, Nicholas Crispino, Yang Liu, Dawn Song, Chenguang Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 RepIt通过隔离语言模型激活中的概念特定表示，揭示当前安全评估的漏洞，展示如何利用少量资源实现针对特定概念的拒绝抑制。

Comments ICLR 2026

UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling

UniT：迈向人类到人形机器人政策学习和世界建模的统一物理语言

Boyu Chen, Yi Chen, Lu Qiu, Jerry Bai, Yuying Ge, Yixiao Ge

机构 * XPENG Robotics（小鹏机器人） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 UniT通过三分支交叉重建机制建立统一物理语言，实现人类到人形机器人的跨身体迁移，提升政策学习和世界建模的效率与鲁棒性。

Comments Project page: https://xpeng-robotics.github.io/unit/

IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language

IYKYK (但AI不): 自动内容审查未能捕捉社区对重新获得语言的异质态度

Christina Chance, Rebecca Pattichis, Arjun Subramonian, James He, Shruti Narayanan, Saadia Gabriel, Kai-Wei Chang

机构 * University of California Los Angeles（加州大学洛杉矶分校） ； Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 研究通过定量和定性方法分析LGBTQIA+、黑人和女性社区对重新获得污辱词的态度，发现注释者之间一致性低，且自动审查工具与人工判断不一致，揭示了重新获得污辱词的主观性和语境依赖性。

OLLM: Options-based Large Language Models

OLLM：基于选项的大型语言模型

Shashank Sharma, Janina Hoffmann, Vinay Namboodiri

机构 * Department of Computer Science（计算机科学系） ； University of Bath（巴斯大学） ； Department of Psychology（心理学系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 OLLM通过引入学习选项提升语言模型的生成可控性与鲁棒性，利用低维选项空间实现更高效的奖励优化，减少常见对齐问题。

SEAT: Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention

SEAT：稀疏实体感知调谐以实现知识适应同时保持认知回避

William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Meta 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 SEAT通过稀疏调谐和实体扰动KL正则化，在保持认知回避能力的同时提升知识获取，无需对齐数据或后续重对齐，有效提升未知查询的人工评估回避率。

An Empirical Study of Multi-Generation Sampling for Jailbreak Detection in Large Language Models

多代采样在大型语言模型 jailbreak 检测中的实证研究

Hanrui Luo, Shreyank N Gowda

机构 * University of Nottingham（诺丁汉大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,title_cn)；alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过JailbreakBench数据集和多种生成模型，评估了基于输出的jailbreak检测方法，发现单输出评估低估了模型漏洞，多代采样能更准确检测有害行为。

Beyond Linear Probes: Dynamic Safety Monitoring for Language Models

超越线性探测：语言模型的动态安全监控

James Oldfield, Philip Torr, Ioannis Patras, Adel Bibi, Fazl Barez

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； University of Oxford（牛津大学） ； WhiteBox ； Martian 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.LG

AI总结 本文提出Truncated Polynomial Classifiers (TPCs)，通过动态激活监控提升安全性能，实现灵活的成本控制，在有害提示分类中表现优异且更具可解释性。

Comments ICLR 2026; Minor revisions and clarifications

Semantic Intent Fragmentation: A Single-Shot Compositional Attack on Multi-Agent AI Pipelines

语义意图碎片化：一种针对多智能体AI流水线的单次组合攻击

Tanzim Ahad, Ismail Hossain, Md Jahangir Alam, Sai Puppala, Yoonpyo Lee, Syed Bahauddin Alam, Sajedul Talukder

机构 * Department of Computer Science, University of Texas at El Paso（德克萨斯理工大学计算机科学系） ； School of Computing, Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校计算机学院） ； Hanyang University（翰阳大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出语义意图碎片化攻击，通过单个合法请求导致任务分解为看似无害但联合违反安全策略的子任务，利用OWASP LLM06:2025框架实现无注入内容、无系统修改的攻击，验证了组合安全漏洞的可修复性。

Comments This paper got accepted for AAAI 2026 Summer Symposium

Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

监视权重：无监督的细调大语言模型监控与控制

Ziqian Zhong, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过监控权重而非激活值来理解、监控和控制细调的大语言模型，能高精度检测细调引入的新行为，并在防回火攻击和模型去学习中表现出色。

Comments Published as a conference paper at ICLR 2026

Breaking the Illusion: Consensus-Based Generative Mitigation of Adversarial Illusions in Multi-Modal Embeddings

打破幻觉：基于共识的生成对抗多模态嵌入中对抗性幻觉的缓解

Fatemeh Akbarian, Anahita Baninajjar, Yingyi Zhang, Ananth Balashankar, Amir Aminifar

机构 * Lund University（隆德大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出一种任务无关的缓解机制，利用生成模型恢复多模态嵌入的自然对齐，通过生成采样策略和共识聚合方案提升防御效果，实验显示其显著降低对抗性幻觉攻击成功率。

Beyond Explicit Refusals: Soft-Failure Attacks on Retrieval-Augmented Generation

超越显式拒绝：针对检索增强生成的软故障攻击

Wentao Zhang, Yan Zhuang, ZhuHang Zheng, Mingfei Zhang, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen Institute for Advanced Study（深圳先进研究所） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出DEJA攻击框架，通过进化优化生成对抗文档，诱导系统产生非信息性但流畅的响应，降低回答确定性，实验显示其在多个RAG配置中有效，SASR超过79%。

Comments 22 pages, Accepted to the ACL 2026 Main Conference

Benchmarking Misuse Mitigation Against Covert Adversaries

对抗隐蔽攻击的误用缓解基准测试

Davis Brown, Mahdi Sabbaghi, Luze Sun, Alexander Robey, George J. Pappas, Eric Wong, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出BSD基准测试，用于评估对抗隐蔽攻击的防御策略，通过生成两个拒绝前沿模型的难数据集，揭示分解攻击的有效性及状态化防御的潜力。

Visual Adversarial Attack on Vision-Language Models for Autonomous Driving

面向自动驾驶的视觉对抗攻击研究

Tianyuan Zhang, Lu Wang, Xinwei Zhang, Yitong Zhang, Boyi Jia, Siyuan Liang, Shengshan Hu, Qiang Fu, Aishan Liu, Xianglong Liu

机构 * Beihang University（北航） ； National University of Singapore（国立新加坡大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文提出ADvLM框架，针对自动驾驶中视觉语言模型的特殊需求，解决文本指令变异性和视觉场景时间序列性问题，实现高效对抗攻击。

Comments Accepted by Machine Intelligence Research

Owner-Harm: A Missing Threat Model for AI Agent Safety

所有权危害：AI代理安全的缺失威胁模型

Dongcheng Zhang, Yiqing Jiang

机构 * BlueFocus Communication Group（蓝ocus通信集团） ； Tongji University（同济大学） 纠错

专题命中 红队测试 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Owner-Harm威胁模型，旨在解决AI代理对部署者造成伤害的问题，通过实验验证了现有防御体系的不足，并引入SSDG框架提升检测效果。

Comments 15 pages. Companion manuscript on per-decision proof-obligation synthesis (LSVJ-S) in preparation

STAR-Teaming: A Strategy-Response Multiplex Network Approach to Automated LLM Red Teaming

STAR-Teaming：一种基于策略-响应多plex网络的自动化LLM红队方法

MinJae Jung, YongTaek Lim, Chaeyun Kim, Junghwan Kim, Kihyun Kim, Minwoo Kim

机构 * DATUMO INC（DATUMO公司） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文提出STAR-Teaming，一种基于多plex网络的自动化红队方法，通过网络驱动优化生成有效攻击策略，提升LLM策略漏洞的可解释性并降低计算成本。

Comments Accepted at ACL 2026 Findings

ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System

ARES: 自适应红队测试与端到端策略-奖励系统修复

Jiacheng Liang, Yao Ma, Tharindu Kumarage, Satyapriya Krishna, Rahul Gupta, Kai-Wei Chang, Aram Galstyan, Charith Peris

机构 * Amazon Nova Responsible AI（亚马逊Nova责任AI） 纠错

专题命中 红队测试 ：RLHF(abstract,abstract_cn)；alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 ARES通过自适应红队测试和端到端修复方法，系统发现并缓解策略-奖励系统双重漏洞，提升安全鲁棒性。

Comments 9 pages, ACL 2026 Main

Diversifying Toxicity Search in Large Language Models Through Speciation

通过种群化扩大大型语言模型毒性搜索

Onkar Shelar, Travis Desell

专题命中 红队测试 ：red teaming(abstract)

AI总结 本文提出ToxSearch-S，通过种群化方法在大型语言模型中扩展毒性搜索，提高毒性峰值并扩大语义覆盖范围，同时在嵌入空间中形成行为差异化的niche。

Comments Preprint. 4 pages, Accepted at GECCO as short paper

An AI Agent Execution Environment to Safeguard User Data

一个保障用户数据安全的AI代理执行环境

Robert Stanley, Avi Verma, Lillian Tsai, Konstantinos Kallas, Sam Kumar

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 GAAP通过动态用户提示收集权限规范，确保AI代理在共享用户隐私数据时符合规定，无需信任代理或模型，有效阻止数据泄露攻击。

Whispers in the Machine: Confidentiality in Agentic Systems

机器中的低语：代理系统中的保密性

Jonathan Evertz, Merlin Chlosta, Lea Schönherr, Thorsten Eisenhofer

机构 * CISPA Helmholtz Center for Information Security（信息安全勒内希特中心） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.LG

AI总结 研究探讨了基于大语言模型的代理系统中的保密性问题，通过抽象敏感数据为秘密字符串，评估了十种代理在20种工具场景和14种攻击策略下的安全性，发现所有代理均存在至少一种漏洞，现有防御措施无法有效防止数据泄露。

Comments Accepted at Conference on Detection of Intrusions and Malware & Vulnerability Assessment (DIMVA) 2026

Multiclass Local Calibration with the Jensen-Shannon Distance

多类局部校准与 Jensen-Shannon 距离

Cesare Barbera, Lorenzo Perini, Giovanni De Toni, Andrea Passerini, Andrea Pugnana

机构 * University of Trento（特伦托大学） ； University of Pisa（比萨大学） ； Meta ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多类局部校准概念，通过 Jensen-Shannon 距离改进神经网络的局部校准能力，解决现有方法在稀疏区域的校准偏差问题。

Comments Accepted at AISTATS 2026

Distillation Traps and Guards: A Calibration Knob for LLM Distillability

知识蒸馏陷阱与守护：一种用于LLM可蒸馏性的校准调节器

Weixiao Zhan, Yongcheng Jing, Leszek Rutkowski, Dacheng Tao

机构 * Generative AI Lab, College of Computing and Data Science（生成人工智能实验室，计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； Systems Research Institute of the Polish Academy of Sciences（波兰科学院系统研究所） ； AGH University of Krakow（克拉科夫AGH大学） ； SAN University（SAN大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文分析了知识蒸馏中的陷阱，提出了一种后处理校准方法，通过强化学习微调控制教师模型的可蒸馏性，提升蒸馏效果和模型安全性。

Rethinking Scale: Deployment Trade-offs of Small Language Models under Agent Paradigms

重新思考规模：在代理范式下小型语言模型的部署权衡

Xinlin Wang, Mats Brorsson

机构 * Proximus Luxembourg S.A.（普罗米修斯卢森堡股份有限公司） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 隐私与版权 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了在代理范式下小型语言模型的部署权衡，通过对比基础模型、单代理工具系统和多代理协作系统，发现单代理系统在性能与成本间达到最佳平衡。