语言大模型 / LLM

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

近端策略优化区域：教师存在于提示中，而非梯度中

Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma

机构 * NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出ZPPO方法，通过将教师知识注入提示而非策略梯度，解决小模型知识蒸馏中教师梯度主导和强化学习策略漂移问题，在多种规模模型上超越现有方法。

Comments Project page: https://byungkwanlee.github.io/ZPPO-page/

Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models

动态展开编辑：减少RL训练推理模型中的过度思考

Zihao Wei, Wenjie Shi, Liang Pang, Jingcheng Deng, Shicheng Xu, Shasha Guo, Zenghao Duan, Jiahao Liu, Jingang Wang, Huawei Shen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 针对GRPO强化学习训练中模型在得出正确答案后继续生成不必要推理的过度思考问题，提出动态展开编辑（DRE）方法，通过编辑成功轨迹中答案出现后的思考部分，削弱对不必要思考的偏好信号，实验证明其有效性。

Comments 21 pages, 10 figures, 2 tables

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

超越欧几里得稳定性的镜像下降：初始化敏感性的指数级分离

Shira Vansover-Hager, Matan Schliserman, Ofir Schlisselberg, Tomer Koren

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） ； Google Research（谷歌研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文证明非二次正则化的镜像下降（MD）在凸光滑目标上对初始化的敏感性可呈指数级增长，与梯度下降（GD）形成鲜明对比，并提出基于锚点的Bregman正则化可缓解不稳定性。

AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning

AliyunConsoleAgent：通过蒸馏和强化学习在真实云环境中训练Web智能体

Bojie Rong, Zheyu Shen, Qiaoping Wang, Pengfei Kang, Yang Xu, Yawen Wei, Hanyu Wu, Zhi Zhao, Leihao Pei, Linquan Jiang

机构 * Alibaba Cloud China（阿里云中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract)；分类 cs.AI

AI总结 提出AliyunConsoleAgent框架，通过蒸馏前沿模型轨迹进行监督微调，再结合GRPO和双通道结果奖励模型在真实云环境中强化学习，实现文档验证自动化，以低成本达到接近前沿专有模型的成功率。

VTInstructor: Visual Trajectory Prompting for Navigation Instruction Generation in Continuous Environments

VTInstructor：面向连续环境中导航指令生成的视觉轨迹提示

Haolin Yang, Yuxing Long, Zihan Yang, Hao Dong

机构 * Peking University（北京大学） ； PrimeBot 纠错

专题命中 后训练与偏好优化 ：prompting(title)；分类 cs.CL、cs.AI

AI总结 本研究提出首个面向连续环境的VLN指令生成框架VTInstructor，通过视觉轨迹提示技术生成导航指令，在基准测试中刷新最优性能，提升跟随器成功率并为下游任务带来数据增强增益。

Comments accepted by ACM MM 2026

Normalized Rewards for Preference Optimization

偏好优化的归一化奖励

Shawn Im, Federico Danieli, Skyler Seto, Barry-John Theobald, Katherine Metcalf

专题命中 后训练与偏好优化 ：preference optimization(title)；分类 cs.AI、cs.LG

AI总结 研究针对直接对齐算法过度优化隐式奖励模型的问题，提出添加正则化项的方法，通过研究似然变化分布理解过度优化，应用该正则化于相关方法，实现生成质量与基准能力权衡及奖励建模改进，提升了模型性能。

Comments ICML 2026

ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning

ExTra: 面向语言模型强化学习的探索性轨迹优化

Wenyang Hu, Junxiang Jia, Zhen Shu, Daniel Dahlmeier, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） ； SAP 纠错

专题命中 后训练与偏好优化 ：language model(title)；分类 cs.AI、cs.LG

AI总结 提出ExTra框架，通过新颖性奖励和熵引导前缀再生增强GRPO，在数学推理基准上提升pass@1约5%、pass@16约7%。

Comments 15 pages

Balancing Performance and Diversity in GRPO Autoregressive Text-to-Image Post-Training

平衡GRPO自回归文本到图像后训练中的性能与多样性

Yuanhao Chiang, Hongbo Duan, Chunru Yang, Jiahua Pei, Yi Liu, Xueqian Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.AI、cs.LG

AI总结 针对自回归文本到图像生成中人类偏好对齐问题，提出统一f-散度框架，理论分析不同散度对策略优化的影响，实验证明JS散度在性能与多样性间取得最佳平衡。

HarmoniDPO: Video-guided Audio Generation via Preference-Optimized Diffusion

HarmoniDPO：基于偏好优化扩散模型的视频引导音频生成

Wenshuo Peng, Kaipeng Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；preference optimization(abstract)

AI总结 本文提出HarmoniDPO框架，采用双视频表示、online-DPO微调及DDS算法，实现更精准的视频到音频生成，在音视频同步性与主观质量上优于现有最优方法。

Comments 31 pages

GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

用于金融建议生成的GRPO：在CATE评估下优于商用大语言模型

Ofir Ben Shoham, Shrutendra Harsola, Vignesh Subrahmaniam, Shravan Mohan, Yakov Gazman, Oded Vainas

机构 * Intuit（英图易（金融科技公司）） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究将金融建议生成建模为强化学习问题，用GRPO微调开放权重大语言模型，经独立于评判者的CATE审计，其毛利润提升约为最强商用基线的两倍，表现优于商用大语言模型。

Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation

带有观测校准自蒸馏的智能体强化学习

Yi Yang, Cong Qin, Xiaodan Liu, Chishui Chen, Qing Dong, Yan Zhang, Cao Liu, Zhao Yang, Lu Pan, Jiaye Lin, Yi Feng

机构 * Meituan（美团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对智能体强化学习的混淆问题，提出OCSD方法，通过对比两类回放视图推导观测残差，在高不确定步骤调制GRPO更新，在三类任务和多模型规模上优于基线。

ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

ToolArtist：用于智能体图像生成的工具使用统一多模态模型

Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun, Fengwei Teng, Chengwei Qin, Xiaobin Hu, Jun Xu, Shuicheng Yan

机构 * RUC（中国人民大学） ； HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； UCD（加州大学戴维斯分校） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出ToolArtist，一种全智能体图像生成模型，通过后训练UMM实现，采用RAD-GRPO方法优化，将完整开放世界图像生成过程置于智能体控制下，性能优于部分控制方案。

PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

PixVL：通过统一掩码-文本一致性循环进行像素级多模态大语言模型的自监督训练

Yicheng Xiao, Haoxuan Ma, Caorui Li, Yucheng Wu, Weijie Wang, Haoxiao Wang, Shuang Chen, Fan Yang, Haiyun Guo, Jinqiao Wang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 PixVL作为自监督后训练框架，通过统一掩码-文本一致性循环及语义验证等策略，解决像素级MLLMs的优化干扰问题，同时提升区域理解与分割任务性能。

RefCaptioner: Multi-Reference Image-Grounded Video Captioning

RefCaptioner：多参考图像接地的视频字幕生成

Tengfei Liu, Yang Shi, Yuran Wang, Xiaohan Zhang, Yuqing Wen, Yuqi Tang, Qixun Wang, Zhuoran Zhang, Xuanyu Zhu, Weihong Lin, Xinlei Yu, Yujie Wei, Xinwei Long, Fengxiang Wang, Xinlong Chen, Yue Ding, Jialu Chen, Haotian Wang, Yuanxing Zhang

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。

Comments https://github.com/pkucs-Ltf/RefCaptioner

RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning

RESTOR：通过强化学习自动生成RESTful API的测试预言机

Xun Zhou, Zhen Dong, Mingyu Ren, Qiang Li, JunJie Li, Sifan Wang, Xiaolong Yu, Chaofeng Sha, Xin Peng

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对RESTful API测试中定义可靠测试预言机的挑战，Restor框架利用强化学习，通过数据增强管道微调大语言模型生成测试断言，在工业数据集和生产工作流程中表现出色，提升测试用例采用率并减少人工QA工作。

Comments Accepted to ISSTA 2026. 22 pages, 8 figures, 2 tables

Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning

Switch-Reasoner：通过强化学习在多任务混合中学习何时思考

Yiyang Fang, Pei Fu, Jinjie Li, Jian Liang, Wenke Huang, Ruijie Luo, Shaojie Zhang, Jian Luan, Yi R. Fung, Mang Ye

机构 * Wuhan University（武汉大学） ； Xiaomi Inc（小米公司） ； Wuhan University of Technology（武汉理工大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究针对多模态大语言模型在异构多任务中“先思考后回答”范式的低效及训练后学习何时思考不稳定的问题，提出基于GRPO的Switch-Reasoner框架，通过双层调节机制实现推理模式自适应选择，实验验证其能减少不必要推理并平衡准确率与效率。

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ：用于约束感知量子电路合成的基于规则的组相对策略优化

Ziqing Guo, Ziwen Pan

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对量子电路合成瓶颈，RubriQ框架将其作为大语言模型代码生成任务，用组相对策略优化，以程序化规则为奖励函数，集成CUDA-Q模拟，在基准任务和量子处理器上表现出色，建立高性能计算驱动管道大规模生成容错电路。

FlowTTS-GRPO: Online Reinforcement Learning with Multi-Objective Reward Optimization for Flow-Matching Based Text-to-Speech

FlowTTS-GRPO：基于流匹配的文本转语音的多目标奖励优化的在线强化学习

Haoxu Wang, Biao Tian, Weiqin Li, Xiang Lv, Han Zhao, Xiangang Li

机构 * Tongyi Lab, Alibaba Group, China（通义实验室，阿里巴巴集团，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出FlowTTS-GRPO在线强化学习框架，通过将ODE轨迹转换为SDE路径，直接微调流匹配模型，并采用加权奖励组合、省略无分类器引导等优化，在CosyVoice 3.0和F5-TTS上提升了说话人相似度和感知质量。

Comments Accepted by Interspeech 2026

Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

内省耦合：尽管监督固定，自我解释训练仍追踪行为变化

Zifan Carl Guo, Laura Ruis, Jacob Andreas, Belinda Z. Li

机构 * MIT EECS（麻省理工学院电气工程与计算机科学系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究训练语言模型生成解释时，固定反事实解释数据集如何使模型产生内省性解释，追踪自身行为变化，无需更新监督。

Comments 32 pages, 19 figures

Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

雕刻NeRF几何：基于人类偏好的3D感知人脸GAN微调

Archer Moore, Mingming Gong, Liam Hodgkinson

机构 * School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出直接对辐射场密度值进行人类偏好强化学习微调，无需网格或形状先验，显著改善3D人脸几何，在74.4%的成对比较中用户偏好微调后的几何。

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

When Unlearning Fails: Reliable Data Deletion under Post-Training in Agent Networks

当遗忘失效时：智能体网络后训练下的可靠数据删除

Zihao Ding, Jun Huang, Liang Dong

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.LG

AI总结 针对自改进联邦智能体网络后训练时数据删除易出现影响回声的问题，提出MUTE方法，经实验验证其可在保障任务效用的同时降低行为泄漏且通信开销更低。

Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization

学习剩余内容，而非已掌握内容：面向多奖励策略优化的饱和感知优势重加权方法

Yixuan Wang, Yifei Chen, Haichao Zhang, Haozheng Luo, Xander Wu, Jie Ni, Yun Fu, Nuno Vasconcelos, Yijiang Li

机构 * University of Florida（佛罗里达大学） ； UC San Diego（加州大学圣迭戈分校） ； Northeastern University（东北大学） ； Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； Universität Innsbruck（因斯布鲁克大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对多奖励策略优化中现有方法的缺陷，提出SA-MRPO方法，动态分配优化资源，在数学推理、自适应推理、编码任务中均实现性能提升。

Comments 14 pages, 2 figures

Preference Tree Optimization: Enhancing Goal-Oriented Dialogue with Look-Ahead Simulations

偏好树优化：通过前瞻模拟增强面向目标的对话

Lior Baruch, Moshe Butman, Kfir Bar, Doron Friedman

机构 * Reichman University（赖希曼大学） ； School of Computer Science（计算机科学学院） ； School of Communications（传播学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出偏好树优化（PTO）框架，结合带前瞻的偏好树与直接偏好优化（DPO），在动机访谈领域通过虚拟患者等模拟对话生成偏好数据，训练的对话智能体在关键指标上优于基线。

Comments 13 pages, 4 figures. Accepted at an ICLR 2025 workshop

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect：通过全局视角蒸馏提升搜索智能体的长程反思能力

Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LoongReflect是将反思表述为记忆控制策略的训练框架，通过双信号通道结合全局视角蒸馏与结果导向GRPO优化，在多跳检索增强生成和数学推理任务上提升了搜索智能体的长程反思能力。

Comments 15 pages, 8 figures

Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning

基于组去偏联邦学习的偏好异质性下大语言模型个性化奖励建模反思

Seongyoon Kim, Boryeong Cho, Jihwan Oh, Seokhyun Chung, Se-Young Yun

机构 * Institute of Engineering Research, Korea University（韩国大学工程研究所） ； Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院） ； Industrial Management Engineering, Korea University（韩国大学产业管理工程学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对大语言模型个性化奖励建模的偏好异质性问题，提出FedGD方法，通过组去偏的客户端采样抵消组不平衡影响，实现无需预先知晓潜在组的有效个性化。

Element-Aware Group Learning for E-Commerce Image Generation

面向电商图像生成的元素感知组学习

Jingtong Chen, Jiahui Wang, Xue Zhao, ShaoGuo Liu, Minghao Li

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对电商图像生成中GRPO仅在完整提示层面分配信用的缺陷，提出EAGLE-GRPO，通过分解奖励并推导闭式解实现元素级信用分配，提升提示质量与生成图像性能。

Stable Autoregressive Speech Generation with Low-Frame-Rate High-Dimensional Continuous Tokens

基于低帧率高维连续标记的稳定自回归语音生成

Yi Luo, Rongzhi Gu, Jixun Yao

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对自回归语音生成的序列长度、表征容量与长时稳定性平衡难题，本文提出Locodec编解码器与MP-ELD流匹配框架，实现高保真、高可预测性且稳定的长时语音合成。

FinSMART: Financial Sentiment Analysis for Algorithmic Trading through Market-Aligned Reinforcement Learning

FinSMART：基于市场对齐强化学习的算法交易金融情感分析

Giorgos Iacovides, Wuyang Zhou, Danilo Mandic

机构 * Imperial College London（帝国理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 FinSMART是首个基于市场对齐强化学习的金融情感分析框架，通过市场感知数据过滤与非对称交易奖励优化情感信号，在交易回报等指标上较基线提升220%，可自适应市场动态。

ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

ReDiPPO：用于数学推理的参考引导值校准与差异感知标记重加权

Zhenrong Zhang, Fei Wu, Jun Du, Jianshu Zhang, Si Wei

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对数学推理中PPO的标记级信用分配难题，ReDiPPO引入参考引导评判器并通过值估计差异重加权标记优势，提升值估计精度且优于PPO、DAPO等基线。