语言大模型 / LLM

Prompt Optimization for LLM Code Generation via Reinforcement Learning

通过强化学习优化LLM代码生成的提示

Ali Mohammadi Esfahani, Nafiseh Kahani, Samuel A. Ajila

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于强化学习的框架，通过将提示优化视为序列决策问题，利用PPO代理结合直接生成、遗传词法突变和语义重写动作空间，指导由单元测试反馈获得的形状奖励，从而提升LLM代码生成的准确性。

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

DynaTrain: 快速在线并行切换用于弹性大语言模型训练

Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

机构 * Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； Peking University（北京大学） ； Infinigence AI ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出DynaTrain，一种能够快速在线重新配置任意多维并行性的分布式训练系统，通过虚拟参数空间抽象统一所有分布式训练状态，实现并行配置的确定性映射，并在密集和MoE模型上展示了显著的性能提升。

Comments GitHub Repo: https://github.com/infinigence/ElasticMegatron

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

增强推理探索的变换增强GRPO

Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺特大学） ； IBM Research（IBM研究院） ； Meta AI ； Florida State University（佛罗里达州立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 本文提出变换增强GRPO（TA-GRPO）方法，通过问题重述解决大语言模型强化学习中梯度消失和多样性崩溃问题，提升模型在推理任务中的探索能力。

Fingerprinting LLMs via Prompt Injection

通过提示注入指纹化LLM

Yuepeng Hu, Zhengyuan Jiang, Mengyuan Li, Osama Ahmed, Zhicong Huang, Cheng Hong, Neil Gong

机构 * Duke University（杜克大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出LLMPrint框架，通过利用LLM对提示注入的固有脆弱性来构建指纹，以解决已发布模型的溯源问题，其核心方法是优化提示以获得唯一且抗后处理的指纹，实验显示其在高召回率下保持低误报率。

TSR: Trajectory-Search Rollouts for Multi-Turn RL of LLM Agents

TSR：用于LLM代理多轮RL的轨迹搜索

Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TSR，一种在训练时改进每轮轨迹生成的方法，通过轻量级树状搜索构造高质量轨迹，提升rollout质量和学习稳定性，适用于多轮RL任务。

Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target

不要让多臂老虎机反馈将连续LLM推荐系统更新偏离目标

Taesan Kim, Hyeongjun Yun, Jaegul Choo, Chung Park

机构 * SK Telecom（SK电信） ； KAIST（韩国科学技术院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种名为Anchored Bandit Policy Optimization (ABPO)的框架，用于持续改进基于生成式大语言模型的推荐系统，通过结合组内相对策略优化（GRPO）和显式处理曝光偏差和反馈模糊性，以减少因部署日志提供的策略形状上下文老虎机反馈导致的偏差，并提高推荐准确性。

Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance

通过信息论指导消除奖励模型中的归纳偏置

Zhuo Li, Pengyu Cheng, Zhechao Yu, Feifei Tong, Anningzhe Gao, Tsung-Hui Chang, Xiang Wan, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于信息论的奖励模型去偏方法DIR，通过最大化奖励模型评分与人类偏好对之间的互信息，同时最小化奖励模型输出与偏好输入偏置属性之间的互信息，从而有效缓解归纳偏置问题并提升RLHF性能。

Comments Published as a conference paper at The International Conference on Learning Representations (ICLR) 2026

Learning-Zone Energy: Online Data Selection for Efficient RL Post-Training

学习区能量：用于高效RL后训练的在线数据选择

Peng Cui, Boyao Yang, Jun Zhu

机构 * Dept. of Comp. Sci. & Tech.（计算机科学与技术系） ； Institute for AI（人工智能研究院） ； BNRist Center（BNRist中心） ； Tsinghua-Bosch Joint ML Center（清华大学-博世联合机器学习中心） ； THBI Lab（THBI实验室） ； Tsinghua University（清华大学） ； Dept. of Automation（自动化系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出学习区能量（LZE）方法，通过在线数据选择框架集中计算在模型的主动学习前沿，提高RL后训练的效率，实验表明在多个数据集上表现优异，且计算资源消耗减少。

TEMPO: Temporal Enforcement via Mode-Separated Policy Optimization for Trustworthy LLM Backtesting

TEMPO: 通过模式分离策略优化实现可信大语言模型回测的时序执行

Zeyu Zhang, Bradly C. Stadie

机构 * Department of Statistic and Data Science（统计与数据科学系） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出TEMPO方法，通过模式分离策略优化，解决大语言模型回测中因泄露后截止日期知识导致的评估不准确问题，核心贡献是引入双模式奖励和基于GRPO的训练流程，有效减少知识泄露并提升任务性能。

Comments 9 pages in main context

Contextualized Visual Personalization in Vision-Language Models

基于上下文的视觉个性化在视觉-语言模型中

Yeongtak Oh, Sangwon Yu, Junsung Park, Han Cheol Moon, Jisoo Mok, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea（电气电子工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, Korea（人工智能交叉学科项目，首尔国立大学，首尔，韩国） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)

AI总结 本文提出了一种基于上下文的视觉个性化方法，通过强化学习和生成增强技术改进视觉-语言模型的个性化图像描述能力，并通过诊断评估验证了模型对视觉上下文的真实利用，展示了CoViP在下游个性化任务中的全面提升。

Comments Accepted at ICML 2026

Rewarding Beliefs, Not Actions: Consistency-Guided Credit Assignment for Long-Horizon Agents

奖励信念，而非行动：一致性引导的长期智能体信用分配

Wenjie Tang, Minne Li, Sijie Huang, Liquan Xiao, Yuan Zhou

机构 * College of Computer, National University of Defense Technology（国防科技大学计算机学院） ； Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ReBel算法，通过建模结构化信念状态来指导策略学习，解决长期任务中由于部分可观测性导致的信用分配问题，实验表明其在ALFWorld和WebShop等基准测试中提升了任务成功率并提高了样本效率。

Comments 10 pages, 4 figures, 3 tables, plus appendix

VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving

VL-DPO：基于视觉语言的偏好对齐自动驾驶微调

Zhefan Xu, Ghassen Jerfel, Marina Haliem, Qi Zhao, Jeonhyung Kang, Khaled S. Refaat

机构 * Waymo 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；pretraining(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出VL-DPO，一种基于视觉语言模型的框架，通过零样本推理生成偏好对来微调自动驾驶模型，以提升与人类驾驶偏好的对齐程度，实验表明该方法在RFS和ADE指标上均优于基线模型。

Comments Published in International Conference on Robotics and Automation (ICRA), 2026 8 pages, 6 figures, 4 tables

Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients

噪声校正的GRPO：从噪声奖励到无偏梯度

Omar El Mansouri, Fathinah Asma Izzati, Mohamed El Amine Seddik, Salem Lahlou

机构 * Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE ； Technology Innovation Institute, Abu Dhabi, UAE ； Department of Robotics, Khalifa University, Abu Dhabi, UAE 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种噪声鲁棒的GRPO框架，通过校正奖励中的噪声来获得无偏梯度估计，从而提升强化学习在噪声环境中的性能。

PhyWorld: Physics-Faithful World Model for Video Generation

PhyWorld: 用于视频生成的物理忠实世界模型

Pu Zhao, Juyi Lin, Timothy Rupprecht, Arash Akbari, Chence Yang, Rahul Chowdhury, Elaheh Motamedi, Arman Akbari, Yumei He, Chen Wang, Geng Yuan, Weiwei Chen, Yanzhi Wang

机构 * Northeastern University（东北大学） ； University of Georgia（佐治亚大学） ； Tulane University（路易斯安那大学） ； EmbodyX 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。

Stitched Value Model for Diffusion Alignment

用于扩散对齐的拼接价值模型

Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

机构 * ETH Zurich（苏黎世联邦理工学院） ； Google（谷歌） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出StitchVM，一种将预训练的干净图像奖励模型转移到噪声潜在空间的拼接框架，通过高效转移和微调，提升扩散对齐的效率和效果。

Comments Project page: https://gohyojun15.github.io/StitchVM/

Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR

并非每个评分标准都等同教学：面向RLVR的政策感知评分奖励

Utkarsh Tyagi, Xingang Guo, MohammadHossein Rezaei, Daniel George, Anas Mahmoud, Jackson Lee, Bing Liu, Yunzhong He

机构 * Scale AI 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出POW3R框架，通过保留人类权重和类别平衡，改进评分奖励机制，使评分标准更符合最终答案的要求，从而在多模态和纯文本设置中提升性能。

Comments 24 pages, 7 figures, 6 tables

Text-to-SPARQL Generation with Reinforcement Learning: A GRPO-based Approach on DBLP

基于强化学习的文本到SPARQL生成：在DBLP上的GRPO方法

Jann Pfeifer, Debayan Banerjee, Ricardo Usbeck

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了在学术领域中，基于强化学习的零样本文本到SPARQL生成方法，通过GRPO算法在DBLP-QuAD上训练小型指令微调语言模型，并与监督学习的DoRA微调基线进行比较。

Comments Accepted by NeSy 2026

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL: 以能力为导向的长上下文强化学习与多任务对齐

Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

机构 * Kuaishou Technology（快手科技） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL

AI总结 本文提出GoLongRL，一种完全开源的、以能力为导向的长上下文强化学习后训练配方，通过可验证奖励（RLVR）实现。现有长上下文强化学习方法往往将数据构建视为设计越来越复杂的检索路径，导致任务覆盖同质化和奖励形式无法充分反映实际长上下文需求。本文的贡献是（1）以能力为导向的数据构建并完全开源，释放了包含23,000个RLVR样本的数据集、完整的构建流程和所有训练代码。基于长上下文能力的分类学，数据集涵盖9种任务类型，每种任务类型都配有其自然评估指标。它包含从现有语料库中精心挑选的开源样本和合成样本，其问答对是从真实源文档如书籍、学术论文和多轮对话中生成的。在相同的 vanilla GRPO 设置下，我们的数据集单独优于闭源的 QwenLong-L1.5 数据集。此外，我们的 Qwen3-30B-A3B 模型在该数据上训练后，长上下文性能与 DeepSeek-R1-0528 和 Qwen3-235B-A22B-Thinking-2507 相当，表明更广泛的覆盖和更大的奖励多样性显著有助于长上下文能力的提升。（2）TMN-Reweight 用于异构多任务优化。为了解决异构奖励带来的优化挑战，我们提出了 TMN-Reweight，它结合了任务层面的均值归一化以实现跨任务奖励尺度对齐，以及难度自适应加权以获得更可靠的优势估计。TMN-Reweight 进一步在 vanilla GRPO 上提高了平均性能，在报告的评估中，通用能力得以保持或提升。

RoVLA: Multi-Consistency Constraints for Robust Vision-Language-Action Models

RoVLA: 多一致性约束用于鲁棒的视觉-语言-动作模型

Jingzhou Luo, Yifan Wen, Yongjie Bai, Xinshuai Song, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era AI实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出RoVLA框架，通过多一致性约束提升视觉-语言-动作模型的鲁棒性，通过指令语义、轨迹演变和观察扰动三种互补变换增强模型的稳定性和泛化能力。

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

通过超组相对策略优化推动生物分子效用-多样性前沿

Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出了一种灵活的GRPO风格框架SGRPO，通过直接构造集级别多样性奖励来维持生成多样性，从而在小分子设计、口袋基小分子设计和原生蛋白设计中扩展效用-多样性帕累托前沿。