大模型对齐与安全

Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data

增强释义类型生成：基于人工排序数据的DPO和RLHF评估影响

Christopher Lee Lübbers

机构 * University of Göttingen（哥廷根大学） 纠错

专题命中 偏好对齐 ：DPO(title,title_cn)；RLHF(title,title_cn)；分类 cs.CL

AI总结 本研究利用人工排序的释义类型数据集，结合直接偏好优化（DPO）使模型输出与人类判断对齐，将释义类型生成准确率提升3个百分点，人类偏好评分提升7个百分点，并创建了新的标注数据集以支持更严格的评估。

Comments 21 pages, 11 figures. Master's thesis, University of Goettingen, December 2024. Code: https://github.com/cluebbers/dpo-rlhf-paraphrase-types. Models: https://huggingface.co/collections/cluebbers/enhancing-paraphrase-type-generation-673ca8d75dfe2ce962a48ac0

TextAlign: Preference Alignment for Text Rendering with Hierarchical Rewards

TextAlign: 基于层次化奖励的文本渲染偏好对齐

Mingxuan Cui, Jingpu Yang, Fengxian Ji, Qian Jiang, Zhecheng Shi, Jiaming Wang, Zirui Song, Fajri Koto, Xiuying Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·穆萨大学人工智能学院） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） ； Northeastern University（东北大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)

AI总结 提出TextAlign框架，通过层次化视觉语言模型奖励将文本渲染错误分解为全局、单词和字形级别，并转化为标量偏好信号，利用GRPO或DPO进行后训练对齐，在不改变生成器架构下提升文本渲染准确性。

Alignment-Aware Decoding

对齐感知解码

Frédéric Berdoz, Luca A. Lanzendörfer, René Caky, Roger Wattenhofer

机构 * EPFL, Switzerland（瑞士联邦理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种推理时增强模型对齐的方法——对齐感知解码（AAD），可解释为隐式奖励优化，无需额外训练，在多种基准和模型规模上优于强基线，并能生成合成数据改善数据受限场景下的对齐。

Comments Accepted at ICML 2026

Ranking Free RAG: Replacing Re-ranking with Selection in RAG for Sensitive Domains

无排序RAG：用选择替代重排序以应用于敏感领域

Yash Saxena, Ankur Padia, Mandar S Chaudhary, Kalpa Gunaratna, Srinivasan Parthasarathy, Manas Gaur

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 提出METEORA框架，通过DPO微调LLM生成检索理由、统计肘部检测自适应截断和验证器过滤，在敏感领域实现可解释、高效且鲁棒的证据选择，无需重排序。

Comments ICML 2026

Fully Automated Identification of Lexical Alignment and Preference-Stage Shifts in Large Language Models

大型语言模型中词汇对齐和偏好阶段转变的完全自动识别

Thomas Stephan Juzek, Xiaoyang Ming, Jose A. Hernandez

机构 * University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出两种无需人工干预的评估指标——词汇对齐分数和三角化偏好转变，用于自动识别大型语言模型中的词汇过度使用及其与人类偏好学习的关联。

Comments 16 pages, 2 figures, 10 tables

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pages 6116-6131

The Geometry of LLM-as-Judge: Why Inter-LLM Consensus Is Not Human Alignment

LLM作为评判者的几何学：为什么LLM间共识不等于人类对齐

Sourabrata Mukherjee, Hamna Hamna, Kalika Bali, Sunayana Sitaram

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 通过几何量测量，发现LLM评判者之间高度一致但与人类对齐差，其评分子空间与人类子空间几乎正交，共识源于子空间坍缩而非人类对齐。

Follow-Your-Preference++: Rethinking Preference Alignment for Image Inpainting

Follow-Your-Preference++：重新思考图像修复中的偏好对齐

Junkun Yuan, Yutao Shen, Toru Aonishi, Hideki Nakayama, Yue Ma

机构 * Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)

AI总结 本文从基本原理出发，通过直接偏好优化框架和公开奖励模型构建偏好数据，系统研究了图像修复中的偏好对齐问题，发现奖励模型存在偏差但可通过集成缓解，并在标准指标、大视觉语言模型评估和人类评估上显著超越先前最先进模型。

Comments 23 pages, 14 figures. arXiv admin note: substantial text overlap with arXiv:2509.23082

Quantifying and Mitigating Self-Preference Bias of LLM Judges

量化与缓解LLM评判者的自我偏好偏差

Jinming Yang, Zheng Hu, Chuxian Qiu, Zhenyu Deng, Xinshan Jiao, Tao Zhou

机构 * CompleX Lab, School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu, China（复杂实验室、计算机科学与工程学院、电子科技大学、成都、中国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自动化框架量化LLM自我偏好偏差，并通过认知负荷分解的多维评估策略平均降低31.5%的偏差。

HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models

HARVE：面向鲁棒奖励模型的感知黑客奖励头向量编辑

Shuang Liu, Yuxuan Bo, Qiuyang Zhao, Caiyue Huang, Xiaorong Chen, Yanguang Liu, Mengnan Du

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Virginia（弗吉尼亚大学） ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 针对奖励模型易受奖励黑客攻击的问题，提出无需训练的奖励头编辑方法HARVE，通过移除与黑客相关子空间对齐的奖励头向量分量，提升鲁棒性并保持通用能力。

ArrowFlow: Hierarchical Machine Learning in the Space of Permutations

ArrowFlow：排列空间中的层次化机器学习

Ozgur Yilmaz

机构 * Department of Artificial Intelligence（人工智能系） ； Adana Science and Technology University（阿达纳科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 提出ArrowFlow架构，在排列空间中通过排序滤波器和置换矩阵累积实现无浮点参数的层次化排序表示学习，并利用社会选择公理违反作为归纳偏置，实验表明在多个基准上具有竞争力且具备噪声鲁棒性、隐私保护等特性。

Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

让导师角色为LLMs发声：通过偏好优化从对话中学习引导向量

Jaewook Lee, Alexander Scarlatos, Simon Woodhead, Andrew Lan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Eedi 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出使用偏好优化训练引导向量，从人类导师-学生对话中提取导师角色信息，以控制大语言模型的行为，实现多样化的教学风格。

Comments Accepted to ACL 2026 BEA Workshop

CREward: A Type-Specific Creativity Reward Model

CREward：一种类型特定的创造力奖励模型

Jiyeon Han, Ali Mahdavi-Amiri, Hao Zhang, Haedong Jeong

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Sogang University（首尔大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出首个类型特定的创造力奖励模型CREward，通过几何、材质和纹理三个轴评估创造力，并应用于创造力评估、可解释创造力及创意样本获取。

Comments Accepted to CVPR 2026