语言大模型 / LLM

SSL-R1: Self-Supervised Visual Reinforcement Post-Training for Multimodal Large Language Models

SSL-R1: 多模态大语言模型的自监督视觉强化后训练

Jiahao Xie, Alessio Tonioni, Nathalie Rauschmayr, Federico Tombari, Bernt Schiele

机构 * Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC） ； VIA Research Center（VIA研究中心） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)

AI总结 SSL-R1通过自监督学习生成可验证奖励，提升多模态大语言模型的推理能力，无需人工或外部监督，有效增强视觉理解。

MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment

MGDA-Decoupled：基于几何的多目标优化用于基于DPO的LLM对齐

Andor Vári-Kakas, Ji Won Park, Natasa Tagasovska

机构 * Prescient Design, CS CoE, Genentech | Roche（预见设计，计算机科学学院，基因泰克 | 罗氏） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出MGDA-Decoupled算法，通过几何方法在DPO框架内实现更公平的多目标优化，实验显示其在UltraFeedback数据集上表现最优。

Comments Accepted to the Algorithmic Fairness Across Alignment Procedures and Agentic Systems Workshop at ICLR 2026

From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

从噪声到信号到自我目的：在NLP后训练时代的重新框架化人类标签变异

Shanshan Xu, Santosh T. Y. S. S, Barbara Plank

机构 * Department of Computer Science, University of Copenhagen, Denmark（丹麦哥本哈根大学计算机科学系） ； Faculty of Law, University of Copenhagen, Denmark（丹麦哥本哈根大学法学院） ； Amazon（亚马逊） ； LMU Munich & Munich Center for Machine Learning (MCML)（慕尼黑大学及慕尼黑机器学习中心（MCML）） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨人类标签变异在NLP后训练时代的重要性，提出将其作为内在价值自我目的进行保护，以提升模型鲁棒性和社会技术安全。

Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning

并非所有回放都有效：在大语言模型强化学习中的回放下采样

Yixuan Even Xu, Yash Savani, Fei Fang, J. Zico Kolter

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出PODS方法，通过下采样回放来减少策略更新成本，提升学习效率。

Comments 19 pages, 10 figures, TMLR 2026

A Hessian-Free Actor-Critic Algorithm for Bi-Level Reinforcement Learning with Applications to LLM Fine-Tuning

一种用于双层强化学习的无Hessian演员-评论员算法及其在大语言模型微调中的应用

Sihan Zeng, Sujay Bhatt, Sumitra Ganesh, Alec Koppel

机构 * JPMorgan AI Research（摩根大通AI研究） ； Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一种单循环一阶演员-评论员算法，用于解决双层优化问题，通过惩罚重述法优化双层目标，引入衰减熵正则化以实现无偏上层超梯度估计，且在特殊Polyak-Lojasiewicz条件下证明了有限时间与样本收敛性。

Environmental Understanding Vision-Language Model for Embodied Agent

面向具身智能体的环境理解视觉-语言模型

Jinsik Bang, Jaeyeon Bae, Donggyu Lee, Siyeol Jung, Taehwan Kim

机构 * UNIST（全南国立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出EUEA框架，通过细调四项核心技能提升具身智能体的环境理解能力，结合恢复步骤和GRPO阶段提升任务执行效果，实验显示在ALFRED任务中性能显著优于行为克隆基线。

Comments CVPR Findings 2026, Project Page: https://eu-ea.github.io

The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?

工具过度使用错觉：为什么大语言模型更倾向于使用外部工具而非内部知识？

Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

机构 * Harbin Institute of Technology, SCIR（哈尔滨理工大学SCIR研究所） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；preference optimization(abstract)；分类 cs.AI

AI总结 本文揭示大语言模型在推理中普遍存在工具过度使用现象，通过分析内部知识可用性区域，提出知识感知边界对齐策略，减少工具使用82.8%，并发现仅以结果奖励会鼓励工具过度使用，通过平衡奖励信号可减少66.7%的无用工具调用。

Comments 17 pages, 9 figures

Kalman Filter Enhanced GRPO for Reinforcement Learning-Based Language Model Reasoning

卡尔曼滤波增强的GRPO用于基于强化学习的语言模型推理

Hu Wang, Congbo Ma, Ian Reid, Mohammad Yaqub

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； New York University Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出KRPO，通过卡尔曼滤波估计潜在提示级奖励基线，提升语言模型推理的训练奖励和准确性。

ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control

ParetoSlider：扩散模型后训练用于连续奖励控制

Shelly Golan, Michael Finkelson, Ariel Bereslavsky, Yotam Nitzan, Or Patashnik

机构 * Tel Aviv University（特拉维夫大学） ； Lightricks（Lightricks公司） ； Adobe Research（Adobe研究） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 ParetoSlider提出多目标强化学习框架，通过连续变化的偏好权重训练单个扩散模型，实现推理时对冲突目标的精细控制。

Comments Project page: https://shelley-golan.github.io/ParetoSlider-webpage/

Best Policy Learning from Trajectory Preference Feedback

最佳策略学习从轨迹偏好反馈

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of Southern California（南加州大学） ； Google（谷歌） ； DeepMind（深度Mind） ； OpenAI 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了基于偏好强化学习的最佳策略识别问题，提出PSPL算法，通过维护奖励模型和动态的后验分布，提供首个贝叶斯简单遗憾保证，并在模拟和图像生成基准中优于现有基线。

ChipCraftBrain: Validation-First RTL Generation via Multi-Agent Orchestration

ChipCraftBrain: 通过多智能体协调实现验证优先的RTL生成

Cagri Eryilmaz

机构 * Cagri Eryilmaz 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ChipCraftBrain通过多智能体协调和混合符号-神经架构实现验证优先的RTL生成，其核心方法包括自适应协调、混合架构、知识增强生成和分层规格分解，主要贡献是提升了RTL生成的准确性和效率。

Comments 17 pages, 6 figures. Preprint

GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning

GRPO-VPS：通过可验证的过程监督增强组相对策略优化以实现有效的推理

Jingyi Wang, Lei Zhu, Tengjin Weng, Song-Li Wu, Haochen Tan, Jierun Chen, Chaofan Tao, Haoli Bai, Lu Hou, Lifeng Shang, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GRPO-VPS，通过在推理轨迹中探测模型对正确答案的信心，改进GRPO的轨迹级反馈，实现更精准高效的策略更新，实验显示在数学和通用领域任务中均取得显著提升。

Rethinking Reinforcement Fine-Tuning in LVLM: Convergence, Reward Decomposition, and Generalization

重新思考LVLM中的强化微调：收敛性、奖励分解与泛化

Carter Adams, Rafael Oliveira, Gabriel Almeida, Sofia Torres

机构 * Federal University of Bahia（巴伊亚联邦大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TA-MDP框架，分析强化微调中奖励结构对GRPO收敛性的影响，并推导奖励分解定理和泛化界限，揭示工具增强策略在分布外迁移中的有效性。

Near-Future Policy Optimization

近未来策略优化

Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学院大学网络安全学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出NPO方法，通过策略自身近未来状态作为辅助轨迹，平衡轨迹质量和方差成本，提升学习信号。AutoNPO自动触发干预，提升性能至63.15。

Comments Work in progress