大模型对齐与安全

BiasGRPO: Stabilizing Bias Mitigation in High-Variance Reward Landscapes via Group-Relative Policy Optimization

BiasGRPO：通过组相对策略优化在高方差奖励景观中稳定偏差缓解

Saket Reddy, Ke Yang, ChengXiang Zhai

机构 * University of Illinois - Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出BiasGRPO框架，利用组相对策略优化（GRPO）通过归一化组内奖励来稳定大语言模型的社会偏差缓解，优于DPO和PPO。

Comments Accepted to Findings of the ACL

Implicit Safety Alignment from Crowd Preferences

从大众偏好中隐式安全对齐

Qian Lin, Daniel S. Brown

机构 * Kahlert School of Computing, University of Utah（犹他大学计算学校） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；alignment(title)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 本文研究如何从大众偏好数据中提取共享的安全标准，并将其转移到下游强化学习任务中以规范智能体行为并确保安全。提出了一种基于大众偏好的安全强化学习框架，通过高级策略将安全对齐的技能组合起来，以安全地解决下游任务。

Comments Accepted to ICML 2026. Conference paper

PRISM: Robust VLM Alignment with Principled Reasoning for Integrated Safety in Multimodality

PRISM：面向多模态集成安全的原理化推理对齐

Nanxi Li, Zhengyue Zhao, G. Edward Suh, Marco Pavone, Chaowei Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） ； Stanford University（斯坦福大学） ； NVIDIA（英伟达） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract)；分类 cs.AI

AI总结 PRISM通过结构化四阶段推理过程，有效应对多模态安全违规，提升VLM的鲁棒性与安全性，同时保持模型实用性。

Multilingual Safety Alignment Via Sparse Weight Editing

多语言安全对齐 via 稀疏权重编辑

Jiaming Liang, Zhaoxin Wang, Handing Wang

机构 * School of Artificial Intelligence, Xidian University（人工智能学院，西安电子科技大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出基于稀疏权重编辑的多语言安全对齐方法，通过稀疏神经元映射降低低资源语言攻击成功率，同时保持通用推理能力。

Provably Convergent Primal-Dual DPO for Constrained LLM Alignment

可证明收敛的约束语言模型对齐的对偶直接偏好优化

Yihan Du, Seo Taek Kong, R. Srikant

机构 * SUTD ESD（新加坡科技设计大学电子与计算机工程系） ； UIUC ECE（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出了一种可证明收敛的约束LLM对齐方法，通过改进的DPO技术减少训练模型数量和内存消耗，同时保证约束条件和优化性能。

AM$^3$Safety: Towards Data Efficient Alignment of Multi-modal Multi-turn Safety for MLLMs

AM$^3$Safety: 向多模态多轮安全对齐的数据高效方法

Han Zhu, Jiale Chen, Chengkun Cai, Shengjie Sun, Haoran Li, Yujin Zhou, Chi-Min Chan, Pengcheng Wen, Lei Li, Sirui Han, Yike Guo

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhongshan School of Medicine, SUN YAT-SEN UNIVERSITY（中山医学院，孙中山大学） ； University of Edinburgh（爱丁堡大学） ； University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 AM$^3$Safety通过结合冷启动拒绝阶段和组相对策略优化，有效提升多模态多轮对话的安全性，降低攻击成功率并增强模型的无害与帮助维度。

Operationalizing Pluralistic Values in Large Language Model Alignment Reveals Trade-offs in Safety, Inclusivity, and Model Behavior

在大型语言模型对齐中操作多元价值观揭示了安全、包容性和模型行为之间的权衡

Dalia Ali, Dora Zhao, Allison Koenecke, Orestis Papakyriakopoulos

机构 * Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） ； Cornell University（康奈尔大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract)；分类 cs.AI

AI总结 本研究探讨了在大型语言模型对齐中融入多元价值观的影响，发现不同群体偏好和设计选择对模型行为和安全性有显著影响。

Layer-wise Alignment: Examining Safety Alignment Across Image Encoder Layers in Vision Language Models

Saketh Bachu, Erfan Shayegani, Rohit Lal, Trishna Chakraborty, Arindam Dutta, Chengyu Song, Yue Dong, Nael Abu-Ghazaleh, Amit K. Roy-Chowdhury

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract)；分类 cs.CL

Comments Accepted by ICML 2025 as a spotlight poster

Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling

Qiyuan Deng, Xuefeng Bai, Kehai Chen, Yaowei Wang, Liqiang Nie, Min Zhang

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；DPO(abstract)；分类 cs.CL

An alignment safety case sketch based on debate

Marie Davidsen Buhl, Jacob Pfau, Benjamin Hilton, Geoffrey Irving

机构 * UK AI Security Institute, Centre for the Governance of AI（英国人工智能安全研究所，人工智能治理中心） ； UK AI Security Institute, New York University（英国人工智能安全研究所，纽约大学） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；AI safety(abstract)；分类 cs.AI

Aligning to What? Limits to RLHF Based Alignment

Logan Barnhart, Reza Akbarian Bafghi, Stephen Becker, Maziar Raissi

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；DPO(abstract)；分类 cs.CL

Equilibrate RLHF: Towards Balancing Helpfulness-Safety Trade-off in Large Language Models

Yingshui Tan, Yilei Jiang, Yanshi Li, Jiaheng Liu, Xingyuan Bu, Wenbo Su, Xiangyu Yue, Xiaoyong Zhu, Bo Zheng

专题命中 偏好对齐 ：RLHF(title,abstract)；safety(title,abstract)；alignment(abstract)；分类 cs.AI

Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study

Shusheng Xu, Wei Fu, Jiaxuan Gao, Wenjie Ye, Weilin Liu, Zhiyu Mei, Guangju Wang, Chao Yu, Yi Wu

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；RLHF(abstract)；分类 cs.CL

Comments 16 pages, 2 figures, 14 tables

Journal ref ICML 2024

Balancing Enhancement, Harmlessness, and General Capabilities: Enhancing Conversational LLMs with Direct RLHF

Chen Zheng, Ke Sun, Hang Wu, Chenguang Xi, Xun Zhou

专题命中 偏好对齐 ：RLHF(title,abstract)；harmlessness(title)；alignment(abstract)；safety(abstract)

A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications

直接偏好优化综述：数据集、理论、变体及应用

Wenyi Xiao, Zechuan Wang, Leilei Gan, Shuai Zhao, Zongrui Li, Ruirui Lei, Wanggui He, Luu Anh Tuan, Long Chen, Hao Jiang, Zhou Zhao, Fei Wu

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 综述直接偏好优化（DPO）在理论、变体、数据集和应用方面的进展，指出其作为RL-free替代方案的潜力与局限，并提出未来研究方向。

Comments Accepted by TPAMI 2026. Project page: https://github.com/Mr-Loevan/DPO-Survey

Tail-Aware Information-Theoretic Bounds for LLM Alignment under Heavy-Tailed Rewards

尾感知信息论泛化用于RLHF和SGLD

Huiming Zhang, Binghan Li, Wan Tian, Qiang Sun

机构 * Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心） ； Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； Computer and Mathematical Sciences, Computer Science, and Statistics, University of Toronto（多伦多大学计算机与数学科学、计算机科学和统计学系） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 偏好对齐 ：RLHF(title_cn,abstract)；alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种尾依赖信息论框架，用于处理亚韦尔bull数据，通过移位对数f_θ-分歧来界定制换测度期望，从而在重尾数据下获得更精确的泛化界限。

Comments 47 pages, 6 figures

Guardians and Offenders: A Survey on Harmful Content Generation and Safety Mitigation of LLM

守护者与违规者：大语言模型有害内容生成与安全缓解研究综述

Chi Zhang, Changjia Zhu, Junjie Xiong, Xiaoran Xu, Lingyao Li, Yao Liu, Zhuo Lu

机构 * University of South Florida（佛罗里达州立大学） ； Missouri University of Science and Technology（密苏里科技大学） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；RLHF(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 综述大语言模型在内容创作中带来的风险与挑战，系统回顾相关研究，提出危害与防御统一分类法，分析越狱策略，评估缓解措施，指出评估局限，明确未来研究方向以推动语言技术稳健且符合伦理发展。

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性

Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。

Comments Accepted by ECCV 2026

Uncertainty-Aware Reward Modeling for Stable RLHF

不确定性感知的奖励建模用于稳定的RLHF

Licheng Pan, Haocheng Yang, Haoxuan Li, Yichen Sun, Yunsheng Lu, Shijian Wang, Lei Shen, Yuan Lu, Zhixuan Chu, Hao Wang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。

UNA: A Unified Supervised Framework for Efficient LLM Alignment Across Feedback Types

UNA: 一种统一的监督框架，用于高效对齐跨反馈类型的大型语言模型

Zhichao Wang, Bin Bi, Can Huang, Shiva Kumar Pentyala, Zixu James Zhu, Sitaram Asur, Na Claire Cheng, Cheng Wan, Dong Nie, Lingzi Hong

机构 * Salesforce ； RadixArk ； ChatAlpha AI ； University of North Texas（北得克萨斯大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 UNA框架通过通用隐式奖励函数统一处理二元、成对和评分反馈，理论证明其最优性，实验验证其在经典基准上的优势。

Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing

引导冻结的大型语言模型：通过在线提示路由实现适应性社会对齐

Zeyu Zhang, Xiangxiang Dai, Ziyi Han, Xutong Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 本文提出CCLUB框架，通过系统提示路由实现适应性社会对齐，解决部署时静态策略无法应对动态安全规范的问题，实验显示其在累积奖励和子最优差距上优于基线方法。

Alignment Quality Index (AQI) : Beyond Refusals: AQI as an Intrinsic Alignment Diagnostic via Latent Geometry, Cluster Divergence, and Layer wise Pooled Representations

Abhilekh Borah, Chhavi Sharma, Danush Khanna, Utkarsh Bhatt, Gurpreet Singh, Hasnat Md Abdullah, Raghav Kaushik Ravi, Vinija Jain, Jyoti Patel, Shubham Singh, Vasu Sharma, Arpita Vats, Rahul Raja, Aman Chadha, Amitava Das

机构 * Manipal University Jaipur（Manipal大学贾ipur分校） ； LinkedIn ； IIT Kharagpur（印度理工学院Kharagpur分校） ； IIIT Guwahati（印度冈瓦提理工学院） ； Texas A&M University（德克萨斯A&M大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Meta AI ； Evalueserve ； New York University（纽约大学） ； Amazon AI ； BITS Goa（果阿理工学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

NeurIPS应要求对前沿AI安全声明实施可重复性标准

Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） 纠错

专题命中 偏好对齐 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出要求NeurIPS对涉及前沿AI安全声明的论文实施可重复性标准，通过三级披露框架和强制性声明清单等措施，确保高影响声明的可重复性，以提升AI安全测试的可靠性。

Comments Preprint

Picky LLMs and Unreliable RMs: An Empirical Study on Safety Alignment after Instruction Tuning

Guanlin Li, Kangjie Chen, Shangwei Guo, Jie Zhang, Han Qiu, Chao Zhang, Guoyin Wang, Tianwei Zhang, Jiwei Li

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG

MaxMin-RLHF: Alignment with Diverse Human Preferences

Souradip Chakraborty, Jiahao Qiu, Hui Yuan, Alec Koppel, Furong Huang, Dinesh Manocha, Amrit Singh Bedi, Mengdi Wang

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Curry-DPO: Enhancing Alignment using Curriculum Learning & Ranked Preferences

Pulkit Pattnaik, Rishabh Maheshwary, Kelechi Ogueji, Vikas Yadav, Sathwik Tejaswi Madhusudhan

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published at EMNLP 2024 as long (findings) conference paper

Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy

Yu Zhu, Chuxiong Sun, Wenfei Yang, Wenqiang Wei, Bo Tang, Tianzhu Zhang, Zhiyu Li, Shifeng Zhang, Feiyu Xiong, Jie Hu, Mingchuan yang

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Robust Multi-Objective Preference Alignment with Online DPO

Raghav Gupta, Ryan Sullivan, Yunxuan Li, Samrat Phatale, Abhinav Rastogi

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(title,abstract)；分类 cs.CL、cs.LG

Comments AAAI 2025 - AI Alignment Track

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

从不一致的人类反馈中实现可靠性感知的大语言模型对齐

Jingyi Huang, Ruohan Zong, Yujun Feng, Liran Ma, Lanyu Shang, Yang Zhang

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract,abstract_cn)；DPO(abstract,abstract_cn)；分类 cs.AI

AI总结 研究如何解决人类反馈强化学习中人类注释不一致问题，提出可靠性引导的偏好优化框架RGPO，通过估计注释者可靠性、推断潜在真实标签及动态调整训练目标，有效减少训练数据不一致性和噪声，性能优于现有基线。

Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation

从预训练或微调的大语言模型进行无奖励代码对齐：揭示代码生成中的权衡

Sanjeepan Sivapiran, Gias Uddin

机构 * York University Canada（加拿大约克大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；alignment(title,abstract)；分类 cs.AI

AI总结 本研究通过实证分析，探讨了在代码生成任务中，对预训练或微调后的大语言模型进行无奖励对齐（DPO和BoNBoN）的效果，发现预训练到对齐的路径提升更大，但微调版本基线更高。

Journal ref The ACM International Conference on the Foundations of Software Engineering (FSE) 2026