语言大模型 / LLM

Autoregressive Direct Preference Optimization

自回归直接偏好优化

Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出自回归直接偏好优化（ADPO），在应用Bradley-Terry模型前显式引入自回归假设，通过将DPO目标中的求和操作移至log-sigmoid函数外部，实现更优的偏好对齐，并首次区分token长度μ和反馈长度μ'两种度量。

Comments ICML 2026

Controllable Molecular Generative Foundation Models

可控分子生成基础模型

Yihan Zhu, Yuhan Liu, Weijiang Li, Tengfei Luo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出CoMole，一种基于基团感知图扩散的统一框架，结合强化学习优化条件反向策略，在材料与药物设计的九个目标上均实现最优可控性，MAE最高降低48.2%，且无需规则修正。

Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback

Wasserstein分布鲁棒遗憾优化用于人类反馈的强化学习

Yikai Wang, Shang Liu, Jose Blanchet

机构 * Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学） ； Imperial Business School, Imperial College London（帝国理工学院伦敦商学院） ； Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出Wasserstein分布鲁棒遗憾优化（DRRO）用于强化学习从人类反馈，通过简单分配模型研究提示问题，展示在ℓ1-地面成本Wasserstein模糊集下，内最坏遗憾有精确解，最优策略具有水填充结构，从而实现高效政策梯度算法。

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

DataClaw0: 从原始流中智能定制多模态数据

Cong Wan, Zeyu Guo, Zijian Cai, Jiangyang Li, SongLin Dong, Lin Peng, Xiangyang Luo, Zhiheng Ma, Yihong Gong

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出DataClaw0模型，通过两阶段流水线将生成语义合成锚定于确定性事实锚点，结合SFT与GRPO实现复杂数据精炼意图的对齐，首个数据精炼基准验证其高效性。

Comments add base model: Qwen3.5-27B

NormWorlds-CF: Solver-Verified Counterfactual Normative Reasoning with Metamorphic-Relation GRPO

NormWorlds-CF：使用变质关系GRPO进行求解器验证的反事实规范推理

Xinqi Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；LLM(abstract)；language model(abstract)；post-training(abstract)

AI总结 介绍NormWorlds-CF用于可执行规则世界的反事实规范推理，其求解器能产生多种结果用于监督评估。通过实验对比不同奖励机制对任务的影响，显示验证的反事实结构可影响训练后表现。

High-Rate Quantized Matrix Multiplication II

高速率量化矩阵乘法II

Or Ordentlich, Yury Polyanskiy

机构 * Hebrew University of Jerusalem（希伯来大学杰里科分校） ； MIT（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究在已知第二因子列协方差矩阵情况下高速率量化矩阵乘法，通过水填充算法改进LLM量化方法，展示WaterSIC方案在信息论极限下的性能。

Adaptive Margin RLHF via Preference over Preferences

通过偏好之上的偏好进行自适应边际基于人类反馈的强化学习

Yaswanth Chittepu, Prasann Singhal, Greg Durrett, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题，提出利用偏好之上的偏好推断自适应边际，介绍具体实例DPO-PoP，提升判别和生成性能，并给出采样策略。

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation

更清晰的视野，更少的谎言：面向多模态幻觉缓解的定向拾取偏好优化

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种证据感知的对齐目标OPPO，通过对比不同视觉证据强度下的相同忠实响应，将视觉偏好转化为有序视觉证据对齐，以缓解多模态大模型的幻觉问题。

The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models

灵活性陷阱：重新思考扩散语言模型中任意顺序的价值

Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang

机构 * LeapLab, Tsinghua University（清华大学Leap实验室） ； NLPLab, Tsinghua University（清华大学自然语言处理实验室） ； Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； BNRist, Tsinghua University（清华大学北京研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现，尽管扩散语言模型（dLLMs）允许任意生成顺序，但这种灵活性可能限制其推理能力，通过采用标准的Group Relative Policy Optimization（GRPO）方法，即JustGRPO，在保持并行解码能力的同时提升了推理性能。

Comments Code and pre-trained models: https://github.com/LeapLabTHU/JustGRPO

Evaluating Risks in Weak-to-Strong Alignment: A Bias-Variance Perspective

在弱到强对齐中评估风险：从偏差-方差视角出发

Hamid Osooli, Kareema Batool, Rick Gentry, Tiasa Singha Roy, Ashwin Gupta, Anirudha Ramesh

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软） ； InstaDeep ； New York University（纽约大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文从偏差-方差视角分析弱到强对齐的风险，通过连续置信度分数研究经验组件，发现强模型方差是欺骗的主要预测因素，表明弱强依赖性的重要性。

Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations

真实还是编造？利用因果归因减轻解释中的奖励作弊

Pedro Ferreira, Wilker Aziz, Ivan Titov

机构 * Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） ； Institute for Language, Cognition and Computation (ILCC), University of Edinburgh（语言、认知与计算研究所（ILCC），爱丁堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究大语言模型解释中因奖励模型导致的奖励作弊问题，提出用预测的因果归因丰富奖励模型输入的方法，该方法能减少大语言模型生成误导性解释的倾向，提升解释忠实度。

Comments ICLR 2026 Camera-ready

From Recovery to Drop-off: How Action Post-training Reduces a VLM's Late-Layer Depth Decodability

从恢复到骤降：动作后训练如何降低视觉语言模型的深层解码能力

Alexander Hackett, Arnaud Denis-Remillard, Axel Cassou

机构 * New York University（纽约大学） ； Reflex ； Université de Montréal（蒙特利尔大学） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究探究动作后训练对VLM空间理解的影响，发现VLA存在深层解码能力的“基底”差距与“悬崖”骤降，定位其源于深层MLP干扰，消融该模块可恢复多数解码性能。

Comments Accepted to the archival proceedings track of the Embodied Multimodal Reasoning (EMR) Workshop at ECCV 2026

A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation

A-3PO：通过意识滞后的近端策略优化加速异步大语言模型训练

Xiaocan Li, Shiliang Wu, Zheng Shen

机构 * Huawei Canada（华为加拿大） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 A-3PO通过近似近端策略优化方法，减少大语言模型异步训练中的计算开销，实现1.8倍的加速同时保持性能

RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents

RSPO：用于多轮语言模型智能体的奖励交换策略优化

Qiang Liu, Taian Guo, Ruizhi Qiao, Xing Sun

机构 * Tencent YouTu Lab（腾讯优图实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究多轮语言模型智能体训练问题，针对稀疏结果奖励训练收敛慢等问题，提出奖励交换策略优化方法，利用密集过程奖励信息，确保轨迹多样性和目标与真实奖励一致性，提升模型性能。

Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control

超越期望的安全基于人类反馈的强化学习：用于通用谱风险控制的随机占优

Yaswanth Chittepu, Ativ Joshi, Rajarshi Bhattacharjee, Scott Niekum

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究基于人类反馈的安全强化学习，提出用一阶随机占优约束取代标量期望成本约束的框架RAD，通过最优传输框架比较成本分布，引入分位数加权FSD约束，实证显示其提升无害性且增强分布外无害性评估的鲁棒性。

Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

文本到图像模型强化学习后训练的有限差分流优化

David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种在线强化学习变体，通过采样配对轨迹并将流速度拉向更优图像方向来降低模型更新方差，将整个采样过程视为单一动作，实现更快的收敛和更高的输出质量与提示对齐。

Comments Code available at https://github.com/NVlabs/finite-difference-flow-optimization

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

TokenRatio: 通过比率匹配实现原理化的token级偏好优化

Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

机构 * National University of Singapore（新加坡国立大学） ； Institute of Cybernetics and Robotics, Czech Technical University in Prague（捷克布拉格技术大学控制论与机器人研究所） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TBPO方法，通过比率匹配恢复token级偏好最优性，改进对齐质量和训练稳定性，并增加输出多样性。

DPO-F+: Aligning Code Repair Feedback with Developers' Preferences

DPO-F+：使代码修复反馈与开发者偏好对齐

Zihan Fang, Yifan Zhang, Yueke Zhang, Kevin Leach, Yu Huang

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究针对大语言模型在代码修复中开发者难解读输出的问题，提出DPO-f+框架，通过定义指标、构建数据集、微调模型及评估反馈质量，提升反馈准确性与对齐度，增强了代码理解和人机协作。

Comments 10 pages, 2 figures

LLM Output Detectability and Task Performance Can be Jointly Optimized

大语言模型输出可检测性与任务性能可以联合优化

Koshiro Saito, Ryuto Koike, Masahiro Kaneko, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究所） ； MBZUAI ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； NII LLMC（日本信息基础设施中心LLMC） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出PUPPET框架，通过强化学习优化大语言模型，使其输出更易检测且在下游任务中表现更优，实验表明其在长文问答、摘要和作文写作中均优于传统水印方法。

Comments 15 pages, 9 figures, 20 tables. Code: https://github.com/pakapaka333/PUPPET

Backtranslation Augmented Direct Preference Optimization for Neural Machine Translation

反向翻译增强的直接偏好优化用于神经机器翻译

Mehrdad Ghassabi, Spehr Rajabi, Hamidreza Baradaran Kashani, Sadra Hakim, Mahshid Keivandarian, Amirhossein Jahani Bahnamiri

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出基于直接偏好优化的强化学习后训练框架，利用通用文本语料和专家反馈纠正神经机器翻译错误，在英德翻译任务上将COMET分数从0.703提升至0.747。

Comments 5 pages, 2 figures

RL-Index: Reinforcement Learning for Retrieval Index Reasoning

RL-Index：用于检索索引推理的强化学习

Yongjia Lei, Nedim Lipka, Zhisheng Qi, Utkarsh Sahu, Yuchen Zhuang, Wenqi Shi, Koustava Goswami, Franck Dernoncourt, Ryan A. Rossi, Yu Wang

机构 * University of Oregon（俄勒冈大学） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出RL-Index框架，将检索索引推理转化为强化学习问题，通过LLM生成理由增强文档，使用GRPO优化，提升检索和问答性能并降低在线延迟。

Cat-DPO: Category-Adaptive Safety Alignment

Cat-DPO：基于类别的安全对齐

Tiankai Yang, Yi Nian, Xinyuan Li, Ruiyao Xu, Henry Peng Zou, Kaize Ding, Xiyang Hu, Yan Liu, Yue Zhao

机构 * University of Southern California（南加州大学） ； Northwestern University（西北大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Cat-DPO通过将安全对齐转化为类别约束优化问题，为每个有害类别设置独立的适应性安全边际，提升整体帮助性和无害性，减少类别间的安全方差和最佳至最差差距。

Comments 23 pages, 6 figures

Self-Evolving Multi-Agent Systems via Textual Backpropagation

通过文本反向传播的自进化多智能体系统

Xiaowen Ma, Yunpu Ma, Chenyang Lin, Sikuan Yan, Jinhe Bi, Zixuan Cao, Yijun Tian, Volker Tresp, Hinrich Schuetze

机构 * Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出Agentic Neural Network框架，将多智能体协作建模为分层神经网络，通过前向分解任务和反向传播反馈实现智能体角色、提示和协作的自进化，在七个基准数据集上超越现有方法。

PhyGDPO: Physics-Aware Groupwise Direct Preference Optimization for Physically Consistent Text-to-Video Generation

PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成

Yuanhao Cai, Kunpeng Li, Menglin Jia, Jialiang Wang, Junzhe Sun, Feng Liang, Weifeng Chen, Felix Juefei-Xu, Chu Wang, Ali Thabet, Xiaoliang Dai, Xuan Ju, Alan Yuille, Ji Hou

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)

AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。

Comments ECCV 2026

PISCES: Annotation-free Text-to-Video Post-Training via Optimal Transport-Aligned Rewards

PISCES: 基于最优传输对齐奖励的无标注文本到视频后训练

Minh-Quan Le, Gaurav Mittal, Cheng Zhao, David Gu, Dimitris Samaras, Mei Chen

机构 * Microsoft（微软） ； Stony Brook University（石溪大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)

AI总结 提出PISCES算法，通过双重最优传输对齐奖励模块，无需人工标注即可提升文本生成视频的质量和语义对齐，在VBench上超越现有方法。

Comments Accepted to ICML 2026. Project page and code: https://roar-ai.github.io/pisces/

Bridging Network Fragmentation: A Semantic-Augmented DRL Framework for UAV-aided VANETs

弥合网络碎片化：一种语义增强的深度强化学习框架用于无人机辅助的VANETs

Gaoxiang Cao, Wenke Yuan, Huasen He, Yunpeng Hou, Xiaofeng Jiang, Shuangwu Chen, Jian Yang

机构 * Department of Automation, University of Science & Technology of China（中国科学技术大学自动化系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出语义增强深度强化学习框架，通过语义推理优化无人机在VANETs中的部署，提升网络连通性与效率。

Comments Revised version. This update includes substantial improvements to the methodology, ablation studies, temporal robustness analysis, and cross-city generalization experiments. Submitted to IEEE Transactions on Cognitive Communications and Networking. 15 pages, 14 figures

Mind the Gap: Structure-Aware Consistency in Preference Learning

注意间隙：在偏好学习中的结构感知一致性

Mehryar Mohri, Yutao Zhong

机构 * Google Research（谷歌研究） ； Courant Institute of Mathematical Sciences（数学科学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出结构感知H一致性框架，通过引入SA-DPO目标函数，改进偏好学习中的一致性问题，证明重尾 surrogate 在容量受限模型中具有更好的一致性保证。

Comments ICML 2026

On-Policy Self-Distillation without Any Supervision

无任何监督的在线策略自蒸馏

Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

机构 * UC San Diego（加州大学圣迭戈分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） ； ByteDance（字节跳动） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究提出无监督在线策略自蒸馏（U-OPSD），仅用模型自身生成结果实现在线策略自蒸馏，在多数学基准上优于基础模型，部分场景超越OPSD、GRPO等监督方法。

Comments Project page at https://williamium3000.github.io/u-opsd/ and code at https://github.com/williamium3000/u-opsd

Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning

解构离策略比率：用于异步强化学习的熵缩放信任区域

Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

机构 * Baidu（百度） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究异步强化学习中离策略数据问题，提出熵缩放信任区域（ESTR）方法，通过令牌局部熵缩放离策略偏差，无需辅助前向传递等，在多任务和基准测试中优于现有异步方法，提升训练-推理一致性与速度。

OpenSIR: Open-Ended Self-Improving Reasoner

OpenSIR: 开放式自我改进推理器

Wai-Chung Kwan, Joshua Ong Jun Leang, Pavlos Vougiouklis, Jeff Z. Pan, Marco Valentino, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OpenSIR框架，通过多样性奖励和难度校准实现开放式自我对弈，无需外部验证器或标注数据，在七个数学基准上平均提升指令模型3.6分、推理模型3.1分，且唯一能泛化到通用推理。