大模型对齐与安全

Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data

增强释义类型生成：基于人工排序数据的DPO和RLHF评估影响

Christopher Lee Lübbers

机构 * University of Göttingen（哥廷根大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；RLHF(title,title_cn)；分类 cs.CL

AI总结 本研究利用人工排序的释义类型数据集，结合直接偏好优化（DPO）使模型输出与人类判断对齐，将释义类型生成准确率提升3个百分点，人类偏好评分提升7个百分点，并创建了新的标注数据集以支持更严格的评估。

Comments 21 pages, 11 figures. Master's thesis, University of Goettingen, December 2024. Code: https://github.com/cluebbers/dpo-rlhf-paraphrase-types. Models: https://huggingface.co/collections/cluebbers/enhancing-paraphrase-type-generation-673ca8d75dfe2ce962a48ac0

TextAlign: Preference Alignment for Text Rendering with Hierarchical Rewards

TextAlign: 基于层次化奖励的文本渲染偏好对齐

Mingxuan Cui, Jingpu Yang, Fengxian Ji, Qian Jiang, Zhecheng Shi, Jiaming Wang, Zirui Song, Fajri Koto, Xiuying Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·穆萨大学人工智能学院） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） ； Northeastern University（东北大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)

AI总结 提出TextAlign框架，通过层次化视觉语言模型奖励将文本渲染错误分解为全局、单词和字形级别，并转化为标量偏好信号，利用GRPO或DPO进行后训练对齐，在不改变生成器架构下提升文本渲染准确性。

Alignment-Aware Decoding

对齐感知解码

Frédéric Berdoz, Luca A. Lanzendörfer, René Caky, Roger Wattenhofer

机构 * EPFL, Switzerland（瑞士联邦理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种推理时增强模型对齐的方法——对齐感知解码（AAD），可解释为隐式奖励优化，无需额外训练，在多种基准和模型规模上优于强基线，并能生成合成数据改善数据受限场景下的对齐。

Comments Accepted at ICML 2026

Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains

无排序RAG：用选择替代重排序以应用于敏感领域

Yash Saxena, Ankur Padia, Mandar S Chaudhary, Kalpa Gunaratna, Srinivasan Parthasarathy, Manas Gaur

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 提出METEORA框架，通过DPO微调LLM生成检索理由、统计肘部检测自适应截断和验证器过滤，在敏感领域实现可解释、高效且鲁棒的证据选择，无需重排序。

Comments ICML 2026

Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models

大型语言模型中词汇对齐和偏好阶段转变的完全自动识别

Thomas Stephan Juzek, Xiaoyang Ming, Jose A. Hernandez

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出两种无需人工干预的评估指标——词汇对齐分数和三角化偏好转变，用于自动识别大型语言模型中的词汇过度使用及其与人类偏好学习的关联。

Comments 16 pages, 2 figures, 10 tables

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 6116-6131

The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment

LLM作为评判者的几何学：为什么LLM间共识不等于人类对齐

Sourabrata Mukherjee, Hamna Hamna, Kalika Bali, Sunayana Sitaram

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 通过几何量测量，发现LLM评判者之间高度一致但与人类对齐差，其评分子空间与人类子空间几乎正交，共识源于子空间坍缩而非人类对齐。

Follow-Your-Preference++: Rethinking Preference Alignment for Image Inpainting

Follow-Your-Preference++：重新思考图像修复中的偏好对齐

Junkun Yuan, Yutao Shen, Toru Aonishi, Hideki Nakayama, Yue Ma

机构 * Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)

AI总结 本文从基本原理出发，通过直接偏好优化框架和公开奖励模型构建偏好数据，系统研究了图像修复中的偏好对齐问题，发现奖励模型存在偏差但可通过集成缓解，并在标准指标、大视觉语言模型评估和人类评估上显著超越先前最先进模型。

Comments 23 pages, 14 figures. arXiv admin note: substantial text overlap with arXiv:2509.23082

Quantifying and Mitigating Self-Preference Bias of LLM Judges

量化与缓解LLM评判者的自我偏好偏差

Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao, Tao Zhou

机构 * CompleX Lab, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China（复杂实验室、计算机科学与工程学院、电子科技大学、成都、中国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自动化框架量化LLM自我偏好偏差，并通过认知负荷分解的多维评估策略平均降低31.5%的偏差。

HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models

HARVE：面向鲁棒奖励模型的感知黑客奖励头向量编辑

Shuang Liu, Yuxuan Bo, Qiuyang Zhao, Caiyue Huang, Xiaorong Chen, Yanguang Liu, Mengnan Du

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Virginia（弗吉尼亚大学） ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 针对奖励模型易受奖励黑客攻击的问题，提出无需训练的奖励头编辑方法HARVE，通过移除与黑客相关子空间对齐的奖励头向量分量，提升鲁棒性并保持通用能力。

ArrowFlow: Hierarchical Machine Learning in the Space of Permutations

ArrowFlow：排列空间中的层次化机器学习

Ozgur Yilmaz

机构 * Department of Artificial Intelligence（人工智能系） ； Adana Science and Technology University（阿达纳科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 提出ArrowFlow架构，在排列空间中通过排序滤波器和置换矩阵累积实现无浮点参数的层次化排序表示学习，并利用社会选择公理违反作为归纳偏置，实验表明在多个基准上具有竞争力且具备噪声鲁棒性、隐私保护等特性。

Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

让导师角色为LLMs发声：通过偏好优化从对话中学习引导向量

Jaewook Lee, Alexander Scarlatos, Simon Woodhead, Andrew Lan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Eedi 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出使用偏好优化训练引导向量，从人类导师-学生对话中提取导师角色信息，以控制大语言模型的行为，实现多样化的教学风格。

Comments Accepted to ACL 2026 BEA Workshop

CREward: A Type-Specific Creativity Reward Model

CREward：一种类型特定的创造力奖励模型

Jiyeon Han, Ali Mahdavi-Amiri, Hao Zhang, Haedong Jeong

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Sogang University（首尔大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出首个类型特定的创造力奖励模型CREward，通过几何、材质和纹理三个轴评估创造力，并应用于创造力评估、可解释创造力及创意样本获取。

Comments Accepted to CVPR 2026

VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring

VLESA: 用于人类活动监测的视觉语言具身安全智能体

Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； Harvard University（哈佛大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 提出VLESA框架，通过自我中心视频监测人类活动，利用GRPO训练的目标条件安全Q过滤器进行实时安全干预，在ASIMOV-2.0基准上实现更高干预精度。

Comments 18 pages, 5 tables, 5 figures

EvoDrive: Pareto Evolution for Safety-Critical Autonomous Driving via Self-Improving LLM Agents

EvoDrive: 通过自我改进的LLM智能体实现安全关键自动驾驶的帕累托进化

Tong Nie, Yuewen Mei, Yihong Tang, Junlin He, Jie Deng, Jian Sun, Wei Ma

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 提出EvoDrive，首个基于LLM的自动化智能体进化框架，通过模拟器接地演员-评论家架构和帕累托存档，在安全关键场景生成中实现对抗性与真实性的多目标优化。

Glass Box at Orbit: A Constitutional AI Verification Framework for Trustworthy Autonomous CubeSat Intelligence

轨道上的玻璃盒：面向可信自主立方星智能的宪法AI验证框架

Karthik Barma, Anil Sanneboyina, V C Premchand Yadav

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：trustworthy(title)；safety(abstract)；分类 cs.AI

AI总结 提出玻璃盒框架，通过运行时宪法AI验证层拦截自主航天器决策，利用六项物理约束和七项线性时序逻辑安全不变式确保安全，并证明其验证开销与模型规模无关。

Comments 12 pages, 2 figures, 2 tables, 32 references. Paper 1 of the Project October series on autonomous orbital intelligence

DDOR: Delta Debugging for Explainable Overrefusal Testing and Repair

DDOR: 用于可解释过度拒绝测试与修复的Delta调试方法

Qinyan Zhou, Peixin Zhang, Jun Sun, Haonan Zhang, Dongxia Wang

机构 * Southeast University（东南大学） ； Singapore Management University（新加坡管理学院） ； Zhejiang University（浙江大学） ； Huzhou Institute of Industrial Control Technology（湖州工业控制技术研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出DDOR框架，通过delta调试定位最小拒绝触发片段（mRTF），实现黑盒环境下大语言模型过度拒绝行为的自动化测试与修复。

Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling

Plan-R1：安全且可行的轨迹规划作为语言建模

Xiaolong Tang, Meina Kan, Shiguang Shan, Xilin Chen

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 提出Plan-R1两阶段轨迹规划框架，通过原则对齐与行为学习解耦，结合规则奖励和方差解耦GRPO，显著提升自动驾驶规划的安全性和可行性。

Comments Accepted by ICLR2026

AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

AlignAtt4LLM：面向仅解码器LLM的快速AlignAtt方法在IWSLT 2026同声传译任务中的应用

Quentin Fuxa, Dominik Macháček

机构 * Charles University, MFF, ÚFAL（查理大学，人文学院，ÚFAL） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出AlignAtt4LLM系统，通过显式源文本跨度、离线选择翻译对齐头、选择性qk快速重放和运行时查询/键捕获，首次将AlignAtt策略应用于仅解码器LLM，在英德、英意同声传译中优于基线。

Comments Accepted to IWSLT 2026

Taiji: Pareto Optimal Policy Optimization with Semantics-IDs Trade-off for Industrial LLM-Enhanced Recommendation

Taiji: 面向工业LLM增强推荐的帕累托最优策略优化与语义ID权衡

Yuecheng Li, Zeyu Song, Jing Yao, Chi Lu, Peng Jiang, Kun Gai

机构 * Kuaishou Technology（快手科技） ； Unaffiliated（无隶属） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出Taiji框架，通过逆向工程推理和开放拒绝采样生成高质量CoT数据，并采用帕累托最优策略优化（POPO）自适应调整跨域奖励权重，实现LLM语义知识与推荐ID特征的帕累托最优权衡，在快手广告平台部署后服务超4亿日活用户。

Comments 8 pages, 2 figures

From Moderation to Mediation: Can LLMs Serve as Mediators in Online Flame Wars?

从审核到调解：LLMs能否充当在线论战中的调解员？

Dawei Li, Abdullah Alnaibari, Arslan Bisharat, Manuel Sandoval, Deborah Hall, Yasin Silva, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本研究探索大型语言模型（LLMs）能否超越内容审核，作为调解员通过判断对话公平性和情感动态并生成共情缓和信息来化解在线冲突，实验表明API模型在推理和干预一致性上优于开源模型。

Comments Accepted by PAKDD 2026 special session on Data Science: Foundations and Applications

Unified Video-Action Joint Denoising for Dexterous Action and Data Generation

统一视频-动作联合去噪用于灵巧动作与数据生成

Dingrui Wang, YuAn Wang, Jinkun Liu, Yue Zhang, Mattia Piccinini, Yu Sun, Johannes Betz

机构 * Technical University of Munich（慕尼黑技术大学） ； ByteDance（字节跳动） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出Donk模型，通过联合建模交互视频与手部轨迹的分布，实现灵巧手的动作生成与数据增强。

Comments 9 pages, 5 figures

Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation

Video-OPD：通过在线策略蒸馏实现多模态大语言模型在时序视频定位中的高效后训练

Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 提出Video-OPD框架，利用在线策略蒸馏和教师验证分歧聚焦课程，以高效后训练多模态大语言模型进行时序视频定位，克服稀疏奖励和高计算开销问题。

Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation

潜在激活编辑：基于推理时策略精炼的安全多机器人导航

Satyajeet Das, Darren Chiu, Zhehui Huang, Lars Lindemann, Gaurav S. Sukhatme

机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Automatic Control Laboratory, ETH Zürich（苏黎世联邦理工学院自动控制实验室） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出潜在激活编辑（LAE）框架，通过在推理时在线检测并编辑中间激活，在不修改权重或架构的情况下降低预训练策略的碰撞率，在四旋翼导航中实现近90%的碰撞减少。

MultiTurnPSB: Evaluating Multi-Turn Jailbreak Attacks an dClassifier-Based Defenses for Medical AI Safety

MultiTurnPSB：评估多轮越狱攻击与基于分类器的防御在医疗AI安全中的应用

Anushka Sheoran, Yiduo Hao

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(title)；AI safety(title)；分类 cs.AI

AI总结 提出多轮对抗基准MultiTurnPSB，通过四轮对话评估医疗聊天机器人的安全漏洞，发现多轮攻击下不安全响应率从35%升至近80%，并验证了轻量级输入分类器可降低52个百分点的不安全响应但存在高误报率。

Jailbreak Attack Initializations as Extractors of Compliance Directions

越狱攻击初始化作为合规方向的提取器

Amit Levi, Rom Himelstein, Yaniv Nemcovsky, Avi Mendelson, Chaim Baskin

机构 * Department of Computer Science, Technion - Israel Institute of Technology（技术学院计算机科学系） ； Department of Data and Decision Science, Technion - Israel Institute of Technology（技术学院数据与决策科学系） ； School of Electrical and Computer Engineering Engineering, Ben-Gurion University of the Negev（内盖夫本· Gurion大学电气与计算机工程学院） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文发现基于梯度的越狱攻击初始化会收敛到抑制拒绝的单一合规方向，并据此提出CRI框架，通过沿合规方向投影未见提示来提高攻击成功率并降低计算开销。

Comments Accepted to Findings of the Association for Computational Linguistics 2025 (EMNLP 2025)

NeuroArmor: Safe-Variant-Guided Representation Consistency for Selective Re-Anchoring in Jailbreak Defense

NeuroArmor：基于安全变体引导的表示一致性实现越狱防御中的选择性重新锚定

Zhongyang Lin, Ziran Zhao, Feifei Zhai, Pengyuan Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 提出NeuroArmor白盒运行时防御方法，通过为每个提示构建安全变体作为局部安全参考，在隐藏状态空间进行一致性检查并路由异常，有效降低恶意攻击成功率同时保持低误报率。

Comments 16 pages, 4 figures, 17 tables. Submitted to ACL ARR

Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing

哪种防御措施应对哪种威胁？归因OWASP-LLM-Top-10覆盖及其在释义下的脆弱性

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 越狱攻击 ：alignment(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文通过归因分析，测量了不同防御家族（拒绝过滤、预算控制等）对OWASP-LLM-Top-10威胁的覆盖情况，并揭示了拒绝防御在释义攻击下的脆弱性。

Comments 17 pages, 4 figures, 7 tables

D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

D-Judge: 使用语义保持输出重写破坏多轮越狱攻击

Huanli Gong, Zhipeng Wei, Yu Fu, Haz Sameen Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson

机构 * University of California, Berkeley（加州大学伯克利分校） ； International Computer Science Institute（国际计算机科学研究所） ； University of California, Riverside（加州大学河滨分校） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 提出D-Judge防御方法，通过语义保持的输出重写干扰攻击者的评判模型反馈循环，从而降低多轮越狱攻击的成功率。

Comments Proceedings of the 43rd International Conference on Machine Learning

AI Agents Enable Adaptive Computer Worms

AI代理实现自适应计算机蠕虫

Jonas Guan, Tom Blanchard, Hanna Foerster, Hengrui Jia, Gabriel Huang, Nicolas Papernot

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； University of Cambridge（剑桥大学） ； ServiceNow 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本研究展示了AI代理能够生成针对每个目标的定制攻击策略，利用被感染机器上的大语言模型自我维持并传播，形成自持的AI驱动网络威胁。

Don't Forget Your Embeddings: Robust Knowledge Erasure via Precise Editing of Embeddings

不要忘记你的嵌入：通过精确编辑嵌入实现鲁棒的知识擦除

Clara Haya Suslik, Or Shafran, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（巴尔-艾赫伦计算机科学与人工智能学院，特拉维夫大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL

AI总结 提出 EMBER 模块，利用稀疏矩阵分解精确擦除词嵌入中的概念相关特征，增强现有知识擦除方法的鲁棒性和特异性。