语言大模型 / LLM

Autoregressive Direct Preference Optimization

自回归直接偏好优化

Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出自回归直接偏好优化（ADPO），在应用Bradley-Terry模型前显式引入自回归假设，通过将DPO目标中的求和操作移至log-sigmoid函数外部，实现更优的偏好对齐，并首次区分token长度μ和反馈长度μ'两种度量。

Comments ICML 2026

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

训练LLM通过重力加权直接偏好优化强制执行多级指令层次结构

Lena S. Bolliger, Lena A. Jäger

机构 * Department of Computational Linguistics, University of Zurich, Switzerland（计算语言学系，苏黎世大学，瑞士） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,abstract_cn)；preference optimization(title)；分类 cs.CL

AI总结 提出重力加权DPO（GW-DPO）方法，通过线性或双边调度加权冲突级别间的结构距离，结合层次分隔符和指令段嵌入，在Llama-3.1-8B-Instruct上提升多级指令优先级遵守率并降低过度拒绝率。

Controllable Molecular Generative Foundation Models

可控分子生成基础模型

Yihan Zhu, Yuhan Liu, Weijiang Li, Tengfei Luo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出CoMole，一种基于基团感知图扩散的统一框架，结合强化学习优化条件反向策略，在材料与药物设计的九个目标上均实现最优可控性，MAE最高降低48.2%，且无需规则修正。

GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning

GRPO-TTA：基于GRPO驱动的强化学习进行视觉语言模型的测试时视觉调优

Yujun Li, Hongyuan Zhang, Yuan Yuan

机构 * School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（人工智能、光学与电子学院（iOPEN），西北工业大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出GRPO-TTA方法，将GRPO应用于测试时适应，通过将类特定提示预测重构为组策略优化问题，并设计对齐奖励和分散奖励，在多种基准上优于现有方法。

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

RLHF的另一面：用于奖励模型自监督改进的在线策略反馈

Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出SAVE框架，利用价值函数生成在线策略反馈，通过对比学习更新奖励模型，在六个基准上超越现有方法。

Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs

面向音频大语言模型中英双语码转换语音识别的直接偏好优化

Trung Nguyen Quang, Cheng Yi Lewis Won, Minh Duc Pham, Yingxu He, Shuo Sun, Ai Ti Aw

机构 * Institute for Infocomm Research (I2R), A STAR, Singapore（信息通信研究所（I2R），A STAR，新加坡） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对音频大语言模型在英中码转换语音转录中的系统失败，提出使用直接偏好优化（DPO）对齐模型，通过构建偏好对（保留混合语言内容 vs 模仿失败模式）训练模型，实现词错误率降低最高89.6%（分布内）和20.0%（分布外）。

SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training

SCOPE-RL: 稳定和定量控制强化学习后训练中的策略熵

Chen Wang, Zhaochun Li, Jionghao Bai, Hexuan Deng, Ge Lan, Yue Wang

机构 * College of Software, Nankai University（南开大学软件学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出SCOPE-RL框架，通过温度自适应的正样本构造正则化项，稳定并定量控制强化学习后训练中的策略熵，实验表明其在Pass@1和Pass@$k$任务上优于现有基线方法。

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE

多语言大语言模型的高效路径：通过后训练PARAM$Δ$整合到再利用MoE进行语言扩展

Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种高效的方法，通过将密集模型转换为MoE架构，并将不同语言分配给不同专家，从而在不进行复杂对齐阶段的情况下提升多语言大语言模型的性能，同时保留原始能力。

What Is Preference Optimization Doing, and Why?

偏好优化在做什么，为什么这样做？

Yue Wang, Qizhou Wang, Zizhuo Zhang, Gang Niu, Bo Han, Masashi Sugiyama

机构 * TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组） ； RIKEN AIP（理化学研究所 AIP 分室） ； The University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文分析了偏好优化中DPO和PPO的优化动态，揭示了其算法行为差异及根本原因，探讨了正学习、负学习和损失再加权的作用，并通过消融研究验证了这些动态对优化效率和性能的影响。

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

What should post-training optimize? A test-time scaling law perspective

在测试时间视角下，后训练应优化什么？

Muheng Li, Jian Qian, Wenlong Mou

机构 * Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系） ； Department of AI and Data Science, The University of Hong Kong（香港大学人工智能与数据科学系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了测试时间预算不匹配场景下，基于奖励尾部统计的后训练优化方法，提出TEA和Prefix-TEA估计器提升最佳N性能。

Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training

Transformer树推理后训练中课程的可证明益处

Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Hau-San Wong, Qingfu Zhang, Taiji Suzuki

机构 * cuhk（城市大学） ； riken（理化学研究所先进智能项目中心） ； ism（统计数学研究所） ； usyd（悉尼大学） ； astar（科技研究局） ； ntu（南洋理工大学） ； utokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 本文提出一个理论框架，证明课程后训练在提升推理性能方面具有指数级改进，通过分析发现课程策略能显著降低样本复杂度。

Comments Accepted as a conference paper at 43rd International Conference on Machine Learning (ICML 2026)

VERTIGO: Visual Preference Optimization for Cinematic Camera Trajectory Generation

VERTIGO：用于电影摄像机轨迹生成的视觉偏好优化

Mengtian Li, Yuwei Lu, Feifei Li, Chenqi Gan, Zhifeng Xie, Xi Wang

机构 * Shanghai University Shanghai Engineering Research Center of Motion Picture Special Effects LIX, \'Ecole Polytechnique, CNRS, IPP magenta http://vertigo.magic-lab.tech/ 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出VERTIGO，通过视觉偏好优化提升摄像机轨迹生成的质量，通过实时渲染和视觉语言模型优化，提高画面构图和视觉效果。

Comments 28 pages, 10 figures

GroupDPO: Memory efficient Group-wise Direct Preference Optimization

GroupDPO：内存高效的组级直接偏好优化

Jixuan Leng, Si Si, Hsiang-Fu Yu, Vinod Raman, Inderjit S. Dhillon

机构 * CMU（卡内基梅隆大学） ； Google Deepmind（谷歌DeepMind） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出GroupDPO，通过解耦样本和保留梯度实现高效的组级偏好优化，减少内存使用，提升大规模训练效果，且在离线和在线对齐中均优于单对训练。

Relax: An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale

Relax：一种用于大规模多模态后训练的异步强化学习引擎

Liujie Zhang, Benzhe Ning, Rui Yang, Xiaoyan Yu, Jiaxing Li, Lumeng Wu, Jia Liu, Minghao Li, Weihang Chen, Weiqi Hu, Lei Zhang

机构 * AI Platform, Xiaohongshu Inc（小红书AI平台） ； The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Relax通过三个协同设计的架构层解决多模态数据流、大规模鲁棒性和延迟-吞吐量平衡问题，实现比veRL快1.20倍的端到端加速，并在多模态强化学习中表现出稳定收敛性。

Comments 17 pages, 22 figures

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

基于轨迹诱导的偏好优化的移动GUI代理隐私个性化

Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； New York University（纽约大学） ； Xi'an Jiaotong University（西安交通大学） ； Australian National University（澳大利亚国立大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究移动GUI代理的隐私个性化问题，提出轨迹诱导偏好优化方法，通过偏好强度加权和填充门机制提升隐私保护与任务执行效率。

Comments 10 pages, 6 figures, 3 tables

Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks

少而精：通过混合后训练实现性能与置信度忠实的和谐统一

Haokai Ma, Lee Yan Zhen, Gang Yang, Yunshan Ma, Ee-Chien Chang, Tat-Seng Chua

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Singapore Management University, Singapore（新加坡管理大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出HyTuning框架，通过混合后训练方法在有限监督下提升模型准确性并实现置信度忠实，支持'少而精'的效果。

3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience

3DrawAgent：通过早期对比经验教LLM进行3D绘制

Hongcan Xiao, Xinyue Xiao, Yilin Wang, Yue Zhang, Yonggang Qi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Jiangnan University（江南大学） ； HaoHan Data（浩瀚数据） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 3DrawAgent通过几何反馈利用大语言模型生成3D贝塞尔曲线，引入相对经验优化策略，无需参数更新提升3D空间理解与绘制质量，实现免训练的3D草图智能发展。

Comments CVPR 2026 Highlight

PIKA: Expert-Level Synthetic Datasets for Post-Training Alignment from Scratch

PIKA：从零开始的专家级合成数据集用于训练后对齐

Shangjian Yin, Shining Liang, Wenbiao Ding, Yuli Qian, Zhouxing Shi, Hongzhi Li, Yutao Xie

机构 * University of California, Riverside（加州大学河滨分校） ； Microsoft AI（微软人工智能） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；LLM(abstract)；SFT(abstract)；preference optimization(abstract)

AI总结 PIKA通过高效的数据集提升对齐效果，仅用3万例超越大规模数据集，在AlpacaEval 2.0等基准测试中表现优异，且提供高质量偏好优化数据，降低数据需求，促进资源受限研究。

Backdoor Attacks on Decentralised Post-Training

在去中心化后训练中的后门攻击

Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

机构 * University of Neuchâtel（纳沙泰尔大学） ； Radboud University（拉德堡德大学） ； Delft University of Technology（代尔夫特理工大学） ； SecureML ； University of Zagreb（萨格勒布大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出首个针对流水线并行的后门攻击，通过控制中间阶段实现模型对齐偏差，实验显示触发词可使对齐率从80%降至6%，且在安全对齐训练下仍成功60%。

Comments Accepted to ICLR 2026 Workshop 'Principled Design for Trustworthy AI - Interpretability, Robustness, and Safety across Modalities'

ShapE-GRPO: Shapley-Enhanced Reward Allocation for Multi-Candidate LLM Training

ShapE-GRPO：基于多候选LLM训练的Shapley增强奖励分配

Rui Ai, Yu Pan, David Simchi-Levi, Chonghuan Wang

机构 * MIT（麻省理工学院） ； University of Sydney（悉尼大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对多候选LLM训练中奖励分配噪声问题，提出ShapE-GRPO方法，通过Shapley值理论分解集级奖励，提升训练效率与收敛速度。

Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language

掩码逆强化学习：从演示和语言引导的奖励消歧

Minyoung Hwang, Alexandra Forsey-Smerek, Nathaniel Dennler, Andreea Bobu

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出掩码逆强化学习框架，利用大语言模型结合演示和语言信息，提升机器人奖励学习的样本效率和泛化能力。

Comments Accepted to ICRA 2026

SynPO: Synergizing Descriptiveness and Preference Optimization for Video Detailed Captioning

SynPO：融合描述性和偏好优化的视频详细描述生成

Jisheng Dang, Yizhou Zhang, Hao Ye, Teng Wang, Siming Chen, Huicheng Zheng, Yulan Guo, Jianhuang Lai, Bin Hu

机构 * Sun Yat-Sen University（中山大学） ； Lanzhou University（兰州大学） ； The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SynPO方法，通过偏好学习提升视频描述生成性能，解决直接偏好优化的局限性，提升训练效率20%。

Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

通过元数据增强的RAG流水线和直接偏好优化增强法律LLM

Suyash Maniyar, Deepali Singh, Rohith Reddy

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出元数据增强的RAG和直接偏好优化，解决法律领域长文本检索和生成中的精度问题，提升模型的可靠性与安全性。

Comments 12 pages including Appendix

MM-Zero: Self-Evolving Multi-Model Vision Language Models From Zero Data

MM-Zero: 从零数据自我进化多模型视觉语言模型

Zongxia Li, Hongyang Du, Chengsong Huang, Xiyang Wu, Lantao Yu, Yicheng He, Jing Xie, Xiaomin Wu, Zhichao Liu, Jiarui Zhang, Fuxiao Liu

机构 * University of Maryland（马里兰大学） ； Brown University（布朗大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Adobe ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Southern California（南加州大学） ； NVIDIA 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

AI总结 MM-Zero通过多角色框架实现VLM零数据自我进化，提升多模态推理性能。

PrivMedChat: End-to-End Differentially Private RLHF for Medical Dialogue Systems

PrivMedChat: 医疗对话系统的端到端差分隐私RLHF

Sudip Bhujel

机构 * Graduate Student in the Department of Computer Science, University of Kentucky（计算机科学系研究生，肯塔基大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PrivMedChat通过端到端差分隐私RLHF方法，在医疗对话系统中实现隐私保护与对齐，采用DP-SGD和DP-aware策略优化，避免临床标注成本，提供正式隐私保证。

Comments 13 pages, 3 figures

OPPO: Accelerating PPO-based RLHF via Pipeline Overlap

OPPO: 通过管道重叠加速基于PPO的RLHF

Kaizhuo Yan, Yingjie Yu, Yifan Yu, Haizhong Zheng, Fan Lai

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 OPPO通过管道重叠技术提升基于PPO的RLHF训练效率，加速训练过程并提高GPU利用率

Revisiting Self-Play Preference Optimization: On the Role of Prompt Difficulty

重新审视自我对弈偏好优化：关于提示难度的作用

Yao Xiao, Jung-jae Kim, Roy Ka-wei Lee, Lidong Bing

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了提示难度对自我对弈偏好优化的影响，发现困难提示会降低性能，而简单提示更有效，提出通过训练少量简单提示来提升模型表现。

Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning

将过程与结果联系起来：用于大语言模型推理的条件奖励建模

Zheng Zhang, Ziwei Shan, Kaitao Song, Yexin Li, Kan Ren

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出条件奖励建模（CRM），通过将LLM推理视为时间过程，解决奖励分配模糊性和奖励黑客问题，提升推理性能。

RE-PO: Robust Enhanced Policy Optimization as a General Framework for LLM Alignment

RE-PO：一种用于大语言模型对齐的鲁棒增强策略优化通用框架

Xiaoyang Cao, Zelai Xu, Mo Guang, Kaiwen Long, Michiel A. Bakker, Yu Wang, Chao Yu

机构 * IDSS, Massachusetts Institute of Technology（IDSS，麻省理工学院） ； EE, Tsinghua University（电子工程系，清华大学） ； Li Auto Inc.（力汽车公司） ； SIGS, Tsinghua University（系统工程系，清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 RE-PO是一种用于大语言模型对齐的鲁棒增强策略优化通用框架，通过期望最大化程序推断标签正确性并自适应加权数据点以减轻噪声，提升对齐效果。