大模型对齐与安全

IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking

IR$^3$：基于可解释性强化学习的对抗性检测与缓解方法

Mohammad Beigi, Ming Jin, Junshan Zhang, Jiaxin Zhang, Qifan Wang, Lifu Huang

机构 * UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； Salesforce（Salesforce公司） ； Meta AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。

Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

评分标准作为攻击面：LLM裁判中的隐蔽偏好漂移

Ruomeng Ding, Yifei Pang, He Sun, Yizhong Wang, Zhiwei Steven Wu, Zhun Deng

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Yale University（耶鲁大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示了基于评分标准的LLM裁判中隐蔽的偏好漂移问题，通过评分标准攻击可系统性降低目标领域准确性，影响模型对齐流程。

Mitigating Mismatch within Reference-based Preference Optimization

缓解基于参考的偏好优化中的不匹配

Suqin Yuan, Xingrui Yu, Jiyang Zheng, Lei Feng, Dadong Wang, Ivor Tsang, Tongliang Liu

机构 * Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学） ； CFAR, A*STAR（CFAR，A*STAR） ； CSIRO, Data61（CSIRO，Data61） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 HyPO通过有条件地去偏参考信号缓解基于参考的偏好优化中的不匹配问题，提升推理对齐性能。

Comments Accepted by ICLR 2026

StatLLaMA: Multi-Stage training for domain-optimized statistical large language models

StatLLaMA：面向统计领域优化的多阶段训练方法

Jing-Yi Zeng, Guan-Hua Huang

机构 * Institute of Statistics, National Yang Ming Chiao Tung University（统计研究所，国立阳明交通大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 StatLLaMA通过多阶段训练方法优化统计领域，实现高效且平衡的模型性能。

Comments 31 pages, 3 figures

InSPO: Unlocking Intrinsic Self-Reflection for LLM Preference Optimization

InSPO：解锁LLM偏好优化的内在自反思

Yu Li, Tian Lan, Zhengling Qi

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 InSPO通过解锁LLM的内在自反思能力，提升偏好优化的鲁棒性和人类对齐性。

Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model

通过在线强化学习与漏洞奖励模型实现安全代码生成

Tianyi Wu, Mingzhe Du, Yue Liu, Chengran Yang, Terry Yue Zhuo, Jiaheng Zhang, See-Kiong Ng

机构 * National University of Singapore（国立新加坡大学） ； Singapore Management University（新加坡管理学院） ； Nanyang Technological University（南洋理工大学） ； Monash University（墨尔本大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 SecCoderX通过在线强化学习与漏洞奖励模型提升代码安全性，实现功能与安全性的平衡。

Learning to summarize user information for personalized reinforcement learning from human feedback

学习总结用户信息以实现基于人类反馈的个性化强化学习

Hyunji Nam, Yanming Wan, Mickel Liu, Peter Ahnn, Jianxun Lian, Natasha Jaques

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； DoorDash ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 PLUS通过学习用户信息摘要实现个性化强化学习，提升奖励模型准确性并实现零样本个性化。

Comments 10 pages for main text, 10 pages for appendix

Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning

基于Holdout损失的数据选择用于LLM微调的上下文学习

Ling Zhang, Xianliang Yang, Juwon Yu, Park Cheonyoung, Miran Lee, Lei Song, Jiang Bian

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于上下文近似（ICA）的方法，通过估计holdout损失来高效选择高价值训练数据，提升LLM微调的对齐性能。

Text2Grad: Reinforcement Learning from Natural Language Feedback

Text2Grad：从自然语言反馈中强化学习

Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 Text2Grad通过将自然语言反馈转化为跨度级梯度，提升语言模型的细粒度对齐和可解释性。

Comments The code for our method is available at https://github.com/microsoft/Text2Grad

Journal ref ICLR 2026

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

通过最大边际似然估计实现离线偏好优化

Saeed Najafi, Alona Fyshe

机构 * Department of Computing Science, University of Alberta, Canada（计算科学系，阿尔伯塔大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于最大边际似然估计的MMPO方法，通过隐式偏好优化提升模型稳定性与对齐性能。

Comments EACL 2026, camera ready

Stackelberg Learning from Human Feedback: Preference Optimization as a Sequential Game

基于人类反馈的Stackelberg学习：偏好优化作为连续博弈

Barna Pásztor, Thomas Kleine Buening, Andreas Krause

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 SLHF通过连续博弈框架实现偏好优化，优于RLHF和NLHF，在一致性、数据敏感性和鲁棒性方面具有优势，并在大规模语言模型中展示出强对齐能力。

Comments 10 pages, 5 tables, 1 figures

Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences

让它们轻松一些！LLM护栏对用户感知和偏好的情境影响

Mingqian Zheng, Wenjia Hu, Patrick Zhao, Motahhare Eslami, Jena D. Hwang, Faeze Brahman, Carolyn Rose, Maarten Sap

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 偏好对齐 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了LLM护栏对用户感知和偏好的影响，发现部分合规策略能显著降低负面感知，强调应通过创造性的拒绝策略而非意图检测来提升安全性和用户体验。

Comments Accepted to Findings of EMNLP 2025

VALUE: Value-Aware Large Language Model for Query Rewriting via Weighted Trie in Sponsored Search

VALUE: 用于通过加权前缀树进行查询重写的值感知大语言模型

Xiao Zhang, Guanyu Chen, Boyang Zuo, Feng Li, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 VALUE通过加权前缀树整合价值感知，提升搜索引擎广告中查询重写的语义相关性和商业价值

Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data

Uni-MoE-2.0-Omni: 通过先进MoE、训练和数据扩展语言导向的多模态大模型

Yunxin Li, Xinyu Chen, Shenyuan Jiang, Haoyuan Shi, Zhenyu Liu, Xuanyu Zhang, Nanhao Deng, Zhenran Xu, Yicheng Ma, Meishan Zhang, Baotian Hu, Min Zhang

机构 * Research Institute of Computing and Intelligence（计算与智能研究 institute） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

AI总结 Uni-MoE-2.0-Omni通过先进MoE、训练和数据技术，实现了语言导向的多模态大模型，展现出在多模态理解、推理和生成任务中的卓越性能。

Comments 47 pages,10 Figures, Project Website: https://idealistxy.github.io/Uni-MoE-v2.github.io/ Codes: https://github.com/HITsz-TMG/Uni-MoE

CAPO: Confidence Aware Preference Optimization Learning for Multilingual Preferences

Rhitabrat Pokharel, Yufei Tao, Ameeta Agrawal

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

Comments Accepted at IJCNLP-AACL 2025 Findings

PLLuM: A Family of Polish Large Language Models

Jan Kocoń, Maciej Piasecki, Arkadiusz Janz, Teddy Ferdinan, Łukasz Radliński, Bartłomiej Koptyra, Marcin Oleksy, Stanisław Woźniak, Paweł Walkowiak, Konrad Wojtasik, Julia Moska, Tomasz Naskręt, Bartosz Walkowiak, Mateusz Gniewkowski, Kamil Szyc, Dawid Motyka, Dawid Banach, Jonatan Dalasiński, Ewa Rudnicka, Bartłomiej Alberski, Tomasz Walkowiak, Aleksander Szczęsny, Maciej Markiewicz, Tomasz Bernaś, Hubert Mazur, Kamil Żyta, Mateusz Tykierko, Grzegorz Chodak, Tomasz Kajdanowicz, Przemysław Kazienko, Agnieszka Karlińska, Karolina Seweryn, Anna Kołos, Maciej Chrabąszcz, Katarzyna Lorenc, Aleksandra Krasnodębska, Artur Wilczek, Katarzyna Dziewulska, Paula Betscher, Zofia Cieślińska, Katarzyna Kowol, Daria Mikoś, Maciej Trzciński, Dawid Krutul, Marek Kozłowski, Sławomir Dadas, Rafał Poświata, Michał Perełkiewicz, Małgorzata Grębowiec, Maciej Kazuła, Marcin Białas, Roman Roszko, Danuta Roszko, Jurgita Vaičenonienė, Andrius Utka, Paweł Levchuk, Paweł Kowalski, Irena Prawdzic-Jankowska, Maciej Ogrodniczuk, Monika Borys, Anna Bulińska, Wiktoria Gumienna, Witold Kieraś, Dorota Komosińska, Katarzyna Krasnowska-Kieraś, Łukasz Kobyliński, Martyna Lewandowska, Marek Łaziński, Mikołaj Łątkowski, Dawid Mastalerz, Beata Milewicz, Agnieszka Anna Mykowiecka, Angelika Peljak-Łapińska, Sandra Penno, Zuzanna Przybysz, Michał Rudolf, Piotr Rybak, Karolina Saputa, Aleksandra Tomaszewska, Aleksander Wawer, Marcin Woliński, Joanna Wołoszyn, Alina Wróblewska, Bartosz Żuk, Filip Żarnecki, Konrad Kaczyński, Anna Cichosz, Zuzanna Deckert, Monika Garnys, Izabela Grabarczyk, Wojciech Janowski, Sylwia Karasińska, Aleksandra Kujawiak, Piotr Misztela, Maria Szymańska, Karolina Walkusz, Igor Siek, Jakub Kwiatkowski, Piotr Pęzik

机构 * Department of Artificial Intelligence, Wrocław University of Science and Technology（沃斯克拉大学人工智能系） ； NASK National Research Institute（国家研究 institute） ； National Information Processing Institute（国家信息处理研究所） ； Institute of Slavic Studies, Polish Academy of Sciences（波兰科学院斯拉夫研究学院） ； Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所） ； University of Łódź（卢布林大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Comments 83 pages, 19 figures

Reinforcement Learning Foundations for Deep Research Systems: A Survey

Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

Comments 39 pages, second version

When Personalization Meets Reality: A Multi-Faceted Analysis of Personalized Preference Learning

Yijiang River Dong, Tiancheng Hu, Yinhong Liu, Ahmet Üstün, Nigel Collier

机构 * University of Cambridge（剑桥大学） ； Cohere For AI 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI

RePO: Understanding Preference Learning Through ReLU-Based Optimization

Junkang Wu, Kexin Huang, Xue Wang, Jinyang Gao, Bolin Ding, Jiancan Wu, Xiangnan He, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； Institute of Dataspace, Hefei Comprehensive National Science Center（数据空间研究所，合肥综合性国家科学中心） ； MoE Key Lab of BIPC, University of Science and Technology of China（BIPC联合实验室，中国科学技术大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

KL Penalty Control via Perturbation for Direct Preference Optimization

Sangkyu Lee, Janghoon Han, Hosung Song, Stanley Jungkyu Choi, Honglak Lee, Youngjae Yu

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

Comments Published as a main conference track paper at NeurIPS 2025

TPO: Aligning Large Language Models with Multi-branch & Multi-step Preference Trees

Weibin Liao, Xu Chu, Yasha Wang

机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Center on Frontiers of Computing Studies, Peking University（北京大学前沿计算研究中心） ； National Research and Engineering Center of Software Engineering, Peking University（北京大学软件工程研究中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ICLR 2025

Hummer: Towards Limited Competitive Preference Dataset

Li Jiang, Yusen Wu, Junwu Xiong, Jingqing Ruan, Yichuan Ding, Qingpei Guo, Zujie Wen, Jun Zhou, Xiaotie Deng

机构 * Mila, McGill University（蒙特利尔大学Mila实验室） ； Peking University（北京大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；jailbreak(abstract)；分类 cs.AI、cs.LG

Journal ref COLM 2024

VimoRAG: Video-based Retrieval-augmented 3D Motion Generation for Motion Language Models

Haidong Xu, Guangwei Xu, Zhedong Zheng, Xiatian Zhu, Wei Ji, Xiangtai Li, Ruijie Guo, Meishan Zhang, Min zhang, Hao Fei

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； University of Macau（澳门大学） ； University of Surrey（Surrey大学） ； Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025; Project Page: https://walkermitty.github.io/VimoRAG

GuardReasoner: Towards Reasoning-based LLM Safeguards

Yue Liu, Hongcheng Gao, Shengfang Zhai, Yufei He, Jun Xia, Zhengyu Hu, Yulin Chen, Xihong Yang, Jiaheng Zhang, Stan Z. Li, Hui Xiong, Bryan Hooi

机构 * NUS（新加坡国立大学） ； HKUST (Guangzhou)（香港科技大学（广州）） ； Westlake University（西湖大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；safety(abstract)；分类 cs.AI、cs.LG

Comments 22 pages, 18 figures

Learning Dynamics of VLM Finetuning

Jusheng Zhang, Kaitong Cai, Jing Yang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

Pragyaan: Designing and Curating High-Quality Cultural Post-Training Datasets for Indian Languages

Neel Prabhanjan Rachamalla, Aravind Konakalla, Gautam Rajeev, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

机构 * Krutrim AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward

Yanming Wan, Jiaxing Wu, Marwa Abdulhai, Lior Shani, Natasha Jaques

机构 * Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） ； Google Research（谷歌研究） ； University of California, Berkeley（伯克利加州大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization

Xintong Li, Chuhan Wang, Junda Wu, Rohan Surana, Tong Yu, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Adobe Research（Adobe研究） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.LG

Comments Preprint

Random Direct Preference Optimization for Radiography Report Generation

Valentin Samokhin, Boris Shirokikh, Mikhail Goncharov, Dmitriy Umerenkov, Maksim Bobrin, Ivan Oseledets, Dmitry Dylov, Mikhail Belyaev

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究院） ； Skolkovo Institute of Science and Technology（斯克罗夫学院） ； Institute for Information Transmission Problems（信息传输问题研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI

MiCRo: Mixture Modeling and Context-aware Routing for Personalized Preference Learning

Jingyan Shen, Jiarui Yao, Rui Yang, Yifan Sun, Feng Luo, Rui Pan, Tong Zhang, Han Zhao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； New York University（纽约大学） ； Rice University（稻谷大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI