语言大模型 / LLM

Understanding helpfulness and harmless tension in reward models

理解奖励模型中的有用性与无害性张力

Eshaan Tanwar, Pepa Atanasova

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过激活分析和消融实验，发现奖励模型中有用性和无害性目标存在干扰，共享神经元对模型行为影响不成比例，导致对齐张力。

Comments The source code used in this study is publicly available at: https://github.com/EshaanT/RM-alignment\_tension

TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition

TD-Grokking：通过训练时分解从零奖励问题中学习

Ningyuan Xi, Hao Xu, Hongsheng Xin, Ning Miao

机构 * Ningyuan Xi 1,2（西宁元 1,2） ； Hao Xu 3（许浩 3） ； Hongsheng Xin 3（辛红生 3） ； Ning Miao 1,2, †（苗宁 1,2, †） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对强化学习在零奖励问题上无法提供优化信号的问题，提出训练时分解框架TD-Grokking，将难解问题递归分解为可验证子问题，在数学和医疗任务上优于基线方法。

SD-GRPO: Verifiable Segment Decomposition for Long-Form Vision-Language Generation

SD-GRPO：面向长格式视觉-语言生成的可验证片段分解

Hyunwoong Kim, Seongeun Lee, Hannah Yun, Junhyun Park, Jonggwon Park

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SD-GRPO方法，通过将长格式输出分解为片段并计算逐片段优势，解决GRPO在视觉-语言任务中粗粒度信用分配不足的问题，实验证明其在多种长格式生成任务中优于基线。

Claw-R1: A Step-Level Data Middleware System for Agentic Reinforcement Learning

Claw-R1：面向智能体强化学习的步骤级数据中间件系统

Daoyu Wang, Mingyue Cheng, Qingchuan Li, Shuo Yu, Jie Ouyang, Qi Liu

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出Claw-R1系统，通过网关服务器和数据池组件，将智能体交互步骤转化为结构化数据资产，支持实时检查、质量筛选和训练批次配置，解决智能体强化学习中数据生命周期管理问题。

CATPO: Critique-Augmented Tree Policy Optimization

CATPO: 批评增强的树策略优化

Ayush Singh, Umang Goyal, Ankur Dahiya

机构 * Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Vision and Language Group（视觉与语言组） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CATPO方法，通过树信息性评分和批评引导修复，解决树结构强化学习中低效树浪费计算的问题，在数学推理任务上提升准确率。

Comments 14 pages, 1 figures, 6 tables

Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training

面向不确定性引导的扩散模型后训练的样本自适应潜在奖励

Rui Li, Yuanzhi Liang, Ke Hao, Ziqiao Weng, Haibin Huang, Chi Zhang, XueLong Li

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 本文提出\textsc{SURE}框架，含\textsc{SURE-LRM}与\textsc{SURE-REFL}，通过样本自适应潜在奖励与不确定性引导反馈优化扩散模型，在偏好预测、SOTA性能及VBench指标上表现优异。

Beyond Token-Level Cross-Entropy: Fréchet Distributional Post-Training for Autoregressive Image Generation

超越 token 级交叉熵：用于自回归图像生成的 Fréchet 分布后训练

Jinhua Zhang, Yisong Lin, Wei Long, Shuhang Gu

机构 * UESTC（电子科技大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 该研究针对自回归图像生成器预训练与评估的目标及上下文不匹配问题，提出 FD-loss 后训练方法，在 ImageNet 256×256 任务上大幅降低 FID 与 FD_r6，提升生成质量且无额外参数或推理步骤。

When Physical Preferences Meet Semantic Constraints: Physical and Semantic Direct Preference Optimization for Text-to-Video Generation

当物理偏好遇到语义约束：用于文本到视频生成的物理和语义直接偏好优化

Siwei Meng, Yawei Luo, Shu Zhang, Ping Liu

机构 * University of Nevada, Reno（内华达大学雷诺分校） ； Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 文本到视频生成模型存在物理合理性与语义一致性的矛盾，提出物理和语义直接偏好优化方法（PSDPO），通过调节偏好对贡献，限制语义漂移，实现更可靠平衡，实验验证其在提高物理合理性和保持语义一致性上优于基线和现有方法。

Comments This work is accepted by ACM MM 2026

FdAudio: MeanFlow-Anchored Fréchet-Distance Post-Training for One-Step Text-to-Audio Generation

FdAudio：用于一步文本到音频生成的均值流锚定弗雷歇距离训练后处理

Kuan-Po Huang, Bo-Ru Lu, Ho-Lam Chung, Shih-Hsin Wang, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 研究针对几步采样文本到音频生成模型一步生成质量落后的问题，提出FdAudio方法，通过多表示弗雷歇距离损失优化分布，并引入均值流一致性目标防止多步退化，在几步系统中提升了一步生成质量且解决了多步退化问题。

Comments Project website: https://fdoneaudio.github.io/

TACO: TActile World Model as a Self-COrrector forScalable VLA Post-Training

TACO：作为可扩展VLA训练后自校正器的触觉世界模型

Shengbang Liu, Yueru Jia, Yuyang Yan, Jiaming Liu, Xinran Zhang, Qiuxuan Feng, Yandong Guo, Shiji Zhou, Boxin Shi, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； AI 2 Robotics（人工智能与机器人研究所） ； Sun Yat-sen University（中山大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 研究VLA模型在接触丰富任务中的问题，提出TACO框架，通过触觉感知世界模型驱动可扩展VLA训练后校正，结合多种方法提升策略，实验表明其能显著提高成功率。

VLM-AR3L: Vision-Language Models for Absolute and Relative Rewards in Reinforcement Learning

VLM-AR3L：用于强化学习中绝对和相对奖励的视觉-语言模型

Kuan-Chen Chen, Winston Chen, Wei-Fang Sun, Min-Chun Hu

机构 * National Tsing Hua University（国立清华大学） ； NVIDIA AI Technology Center (NVAITC)（英伟达AI技术中心） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)

AI总结 提出VLM-AR3L框架，利用视觉-语言模型从偏好标签中学习绝对和相对奖励，结合状态评估与比较监督，在多种基准任务中优于先前方法。

Comments Accepted at IJCAI 2026. Project website: https://vlm-ar3l.github.io/

World Engine: Towards the Era of Post-Training for Autonomous Driving

World Engine：迈向自动驾驶后训练时代

Tianyu Li, Li Chen, Caojun Wang, Haochen Liu, Kashyap Chitta, Zhenjie Yang, Yuhang Lu, Naisheng Ye, Yihang Qiu, Yufei Wang, Luoxi Zou, Jiaxin Peng, Jin Pan, Zhaoyu Su, Andrei Bursuc, Shengbo Eben Li, Andreas Geiger, Peng Su, Hongyang Li

机构 * The University of Hong Kong（香港大学） ； Huawei（华为） ； Shanghai Innovation Institute（上海创新研究院） ； Archon Robotics（Archon机器人） ； KE:SAI ； NVIDIA Research（NVIDIA研究） ； NTU（南洋理工大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 提出World Engine生成式框架，通过从真实日志重建高保真交互环境并外推安全关键变体，利用强化后训练对齐策略与安全约束，显著减少罕见安全关键场景故障，提升自动驾驶安全性。

Comments Technical Report. Project Page: https://opendrivelab.com/WorldEngine/

Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

自问式视觉语言模型：用于组合视觉推理的强化学习

Saraswathy Amjith

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)

AI总结 提出自问式框架，通过GRPO强化学习训练VLM自动分解问题并回答子问题，提升组合视觉推理能力，在CLEVR和A-OKVQA上验证有效性。

FoA-SR: Faithful or Aesthetic? Profile-Aware Preference Optimization for Real-World Image Super-Resolution

FoA-SR: 忠实还是美观？面向真实世界图像超分辨率的轮廓感知偏好优化

Amjad Mahdi Alqarni, Peizhong Ju

机构 * Department of Computer Science（计算机科学系） ； University of Kentucky（肯塔基大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 提出FoA-SR，基于偏好优化实现真实世界图像超分辨率，通过忠实和美观两种轮廓分别优化适配器，在RealSR和DIV2K上验证了可分离的恢复策略。

Comments 17 pages, 6 figures, 9 tables. Preprint

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

学习攻击与防御：通过GRPO对语言模型进行自适应红队测试

Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

机构 * Microsoft AI Red Team（微软AI红队） ； Microsoft Azure（微软Azure） 纠错

专题命中 后训练与偏好优化 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AdvGRPO框架，通过密集多通道奖励和分离优势归一化实现GRPO在攻击者-防御者联合优化中的稳定训练，产生高效可迁移攻击，防御者优于基线。

Beyond Solution-Centric Search: Adaptive Inquiry and Knowledge Revision for Autonomous ML Engineering

超越以解决方案为中心的搜索：面向自主机器学习工程的自适应查询与知识修正

Shaokang Fu, Yulong Tao, Linbo Jin, Jiarong Zhao, Qiming Shi, Tianjun Pan, Haonan Li, Chengyu Wang, Jia Wu, Chengfu Huo

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 该研究针对自主机器学习工程的长时任务，提出信息范式并实现为Iris智能体，其在MLE-Bench上12小时预算下获64.9%任意奖牌率，还具备跨领域泛化能力。

Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL

不要混合奖励，要混合策略：多奖励强化学习的策略分解与优化

Ruiming Liang, Yi Zhong, Yizhen Yuan, Yinan Zheng, Tianyi Tan, Tianyue Wang, Haiyun Guo, Jinqiao Wang, Xianyuan Zhan

机构 * Fundation Model Research Center, CASIA（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； College of Automotive and Energy Engineering (CAEE), Tongji University（同济大学汽车与能源工程学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本研究针对多奖励RL的对齐税问题，提出PRISM框架，通过策略分解优化正、负策略，在三类任务上优于基线并具备推理可控性。

Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

让我看着你：用于对话语音合成的高级面部表情建模

Yifan Hu, Shuwei He, Rui Liu, Haizhou Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题，提出基于大语言模型的FacialTalker框架，含AUTokenizer和DualDPO策略，构建VSDD-1K数据集，实验表明该框架在表情感知和语音合成质量上表现出色。

Comments 10 pages, 5 figures, 5 tables. Accepted by ACM MM 2026

Learning Sampling Parameters for Diffusion Models

学习扩散模型的采样参数

Arisrei Lim, Yossi Gandelsman

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究针对扩散模型推理时采样参数固定的问题，提出LeSAMP框架，将参数选择转化为强化学习问题，通过人类偏好模型和VLM评判优化，实验表明该方法相比基线有更高胜率，为改进扩散模型输出提供补充途径。

Comments Code will be released

PPO-HSC: An Exploratory Reinforcement Learning Framework Based on Wide-Area Policy Coverage Optimization

PPO-HSC：基于广域策略覆盖优化的探索性强化学习框架

Yujie Shen, Haowen Chen

机构 * School of Mathematics, Hunan University（湖南大学数学学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PPO-HSC是用于解决大语言模型微调中模式崩溃问题的探索性强化学习框架，通过纳入高阶采样覆盖奖励及维护动态轨迹库，提高解决方案多样性与状态空间覆盖，在数学推理和代码生成任务中表现出色。

Comments 13 pages, 3 figures

A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models

用于微调离散扩散模型的连续时间强化学习框架

Zikun Zhang, Jiayuan Sheng, David D. Yao, Wenpin Tang

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 该研究提出连续时间强化学习框架，推导策略梯度方法得到PPO和GRPO的连续时间变体。以此开发框架微调离散扩散模型，无需奖励信号可微，能纳入中间奖励或优势信号，还为MDM提供统一视角，用轨迹子采样技术降低计算成本，在相关任务中验证了方法有效性。

Comments 36 pages, 5 figures

SD-MAR: Multi-image Analytical Reasoning via Synthetic Data and Reinforcement Learning

SD-MAR：通过合成数据和强化学习进行多图像分析推理

Shiyu Yuan, Sourav Sanjukta Bhabesh, Zhe Wang, Dmitriy Bespalov, Wesley Rose, Huzefa Rangwala

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； AGI Foundations for AWS（AWS的通用人工智能基金会） ； Amazon Web Services (AWS)（亚马逊网络服务公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 研究针对视觉语言模型在多图像分析推理任务中的局限，提出SD-MAR框架，通过合成数据和强化学习训练评估模型。该框架构建场景生成任务，采用GRPO-lite与BDA训练。实验表明能提升域内准确率，保持或提高域外泛化能力，还改进了模型逻辑连贯性和解释质量。

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

近端策略优化区域：教师存在于提示中，而非梯度中

Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma

机构 * NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出ZPPO方法，通过将教师知识注入提示而非策略梯度，解决小模型知识蒸馏中教师梯度主导和强化学习策略漂移问题，在多种规模模型上超越现有方法。

Comments Project page: https://byungkwanlee.github.io/ZPPO-page/

Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models

动态展开编辑：减少RL训练推理模型中的过度思考

Zihao Wei, Wenjie Shi, Liang Pang, Jingcheng Deng, Shicheng Xu, Shasha Guo, Zenghao Duan, Jiahao Liu, Jingang Wang, Huawei Shen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 针对GRPO强化学习训练中模型在得出正确答案后继续生成不必要推理的过度思考问题，提出动态展开编辑（DRE）方法，通过编辑成功轨迹中答案出现后的思考部分，削弱对不必要思考的偏好信号，实验证明其有效性。

Comments 21 pages, 10 figures, 2 tables

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

超越欧几里得稳定性的镜像下降：初始化敏感性的指数级分离

Shira Vansover-Hager, Matan Schliserman, Ofir Schlisselberg, Tomer Koren

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） ； Google Research（谷歌研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文证明非二次正则化的镜像下降（MD）在凸光滑目标上对初始化的敏感性可呈指数级增长，与梯度下降（GD）形成鲜明对比，并提出基于锚点的Bregman正则化可缓解不稳定性。

AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning

AliyunConsoleAgent：通过蒸馏和强化学习在真实云环境中训练Web智能体

Bojie Rong, Zheyu Shen, Qiaoping Wang, Pengfei Kang, Yang Xu, Yawen Wei, Hanyu Wu, Zhi Zhao, Leihao Pei, Linquan Jiang

机构 * Alibaba Cloud China（阿里云中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract)；分类 cs.AI

AI总结 提出AliyunConsoleAgent框架，通过蒸馏前沿模型轨迹进行监督微调，再结合GRPO和双通道结果奖励模型在真实云环境中强化学习，实现文档验证自动化，以低成本达到接近前沿专有模型的成功率。

Normalized Rewards for Preference Optimization

偏好优化的归一化奖励

Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

专题命中 后训练与偏好优化 ：preference optimization(title)；分类 cs.AI、cs.LG

AI总结 研究针对直接对齐算法过度优化隐式奖励模型的问题，提出添加正则化项的方法，通过研究似然变化分布理解过度优化，应用该正则化于相关方法，实现生成质量与基准能力权衡及奖励建模改进，提升了模型性能。

Comments ICML 2026

ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning

ExTra: 面向语言模型强化学习的探索性轨迹优化

Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） ； SAP 纠错

专题命中 后训练与偏好优化 ：language model(title)；分类 cs.AI、cs.LG

AI总结 提出ExTra框架，通过新颖性奖励和熵引导前缀再生增强GRPO，在数学推理基准上提升pass@1约5%、pass@16约7%。

Comments 15 pages

Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training

平衡GRPO自回归文本到图像后训练中的性能与多样性

Yuanhao Chiang, Hongbo Duan, Chunru Yang, Jiahua Pei, Yi Liu, Xueqian Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.AI、cs.LG

AI总结 针对自回归文本到图像生成中人类偏好对齐问题，提出统一f-散度框架，理论分析不同散度对策略优化的影响，实验证明JS散度在性能与多样性间取得最佳平衡。

HarmoniDPO: Video-guided Audio Generation via Preference-Optimized Diffusion

HarmoniDPO：基于偏好优化扩散模型的视频引导音频生成

Wenshuo Peng, Kaipeng Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；preference optimization(abstract)

AI总结 本文提出HarmoniDPO框架，采用双视频表示、online-DPO微调及DDS算法，实现更精准的视频到音频生成，在音视频同步性与主观质量上优于现有最优方法。

Comments 31 pages