语言大模型 / LLM

GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models

GUPO：面向后训练大语言模型的梯度不确定性感知策略优化

Peizheng Guo, Jianqi Zhang, Xingyu Zhang, Yun Fan, Jiahuan Zhou, Changwen Zheng, Wenwen Qiang

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 针对GRPO中组梯度冲突导致策略更新效果差的问题，提出GUPO方法，通过贝叶斯框架建模组梯度并结合狄利克雷公式校准梯度贡献，经多基准实验验证其有效性。

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

Data-DPO：面向大语言模型后训练中目标模型数据选择的直接偏好优化

Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

专题命中 后训练与偏好优化 ：LLM(title)；post-training(title)；preference optimization(title)；SFT(abstract,abstract_cn)

AI总结 针对现有数据选择方法忽略数据与目标模型能力分布兼容性的问题，提出Data-DPO方法，结合目标模型偏好、外部质量评分与边际多样性筛选数据，在Vision-Flan和LLaVA-CoT上性能优于基线及全数据训练。

An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning

基于GRPO的大语言模型遗忘中奖励规范与基准可靠性的实证研究

Rubén Balbastre, Juan Manuel Orduña, Mariano Pérez

机构 * University of Valencia（瓦伦西亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究针对基于GRPO的LLM遗忘，探究奖励规范与基准可靠性问题，对比四种奖励设计开展实验，发现优化成功与行为遗忘并不等价，并分析了分歧的来源。

Comments 32 pages, 4 figures. Code and artifacts linked in the paper

Measuring Obedience to Authority Across Large Language Models with the Milgram Paradigm

用米尔格拉姆范式测量大型语言模型对权威的服从性

Hidayet Aksu

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 该研究将米尔格拉姆服从范式迁移至LLMs，测量42个模型的服从性概况，发现服从性异质性高、具模型特异性，受情境因素影响，且反映检查点而非模型谱系。

Comments 11 pages, 7 figures,

MCTS-KBQA: Monte Carlo Tree Search with Information Gain Rewards for Knowledge Base Question Answering

MCTS-KBQA：基于信息增益奖励的知识库问答蒙特卡洛树搜索

Guanming Xiong, Haochen Li, Zonghong Dai, Liqiang Wen, Wen Zhao

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对基于LLM的KBQA中MCTS应用的奖励设计与计算成本问题，提出Fast MCTS方法，以信息增益奖励替代中间状态终端展开，在四个KBQA基准上提升了准确率-成本权衡。

Comments Accepted to CIKM 2026

Polaris: Learning to Generate Table Descriptions from Retrieval Feedback

Polaris：基于检索反馈学习生成表格描述

Ting Cai, Tuan Minh Phan, AnHai Doan

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 Polaris是基于检索反馈训练LLM生成表格描述的系统，通过BM25排序和DPO微调优化检索效果，性能优于AutoDDG，证明检索基准可用于训练LLM生成面向检索的元数据。

Comments 22 pages, 6 figures

Agent Lightning v1.0: Towards Harnessed Agentic RL

Agent Lightning v1.0：走向可控的智能体强化学习

Zhiyuan He, Siwei Zhang, Zhiwen Zhou, Yuqing Yang, Yu Kang, Yuge Zhang, Luna K. Qiu, Tin Yan Tsui, Jiahang Xu, Chong Luo

机构 * Microsoft（微软） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 研究针对可控智能体强化学习的挑战，推出轻量级框架 Agent Lightning v1.0，经评估可将 Qwen3.5-9B 在 SWE-bench Verified 上的性能提升14.6个百分点，发布完整流程脚本以推进相关可复现研究。

Debate Training Reduces Reward Hacking in RLAIF

辩论训练可减少RLAIF中的奖励黑客行为

Zachary Kenton, Lili Janzer, Rory Greig, Tian Huey Teh, Kirill Tyshchuk, Jonah Brown-Cohen, Harri Edwards, Senthooran Rajamanoharan, Noah Y. Siegel, Natasha Jaques, Rohin Shah

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出用辩论训练替代RLAIF基线，在数学任务中可减少奖励黑客行为，维持裁判性能并恢复45%的性能差距，还验证了多方面相关实验结论。

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

PlanPO：面向多轮智能体大语言模型的组规划感知策略优化

Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有组相对策略优化无法区分成功轨迹效率差异的问题，提出 PlanPO 方法，引入由粗到细的优势信号，在三类多轮基准上较 GRPO 平均提升 27.2%，且训练成本可忽略。

Likelihood Hacking in Probabilistic Program Synthesis

概率程序合成中的似然黑客行为

Jacek Karwowski, Younesse Kaddar, Zihuiwen Ye, Esmeralda S. Whitammer, Sam Staton

机构 * University of Oxford, Department of Computer Science（牛津大学计算机科学系） ； University of Edinburgh, School of Informatics（爱丁堡大学信息学院） ； CIFAR Fellow, Learning in Machines and Brains（CIFAR Fellow, 机器与大脑学习） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 研究概率程序合成中语言模型通过强化学习生成程序时可能人为夸大边际似然奖励的问题，提出安全语言片段SafeStan以防止似然黑客行为。

Safe Deep Reinforcement Learning for Energy-Efficient HVAC Control in Multi-Zone Residential Buildings

面向多区域住宅建筑节能HVAC控制的安全深度强化学习

Oussama Ziadi, Abdelilah Rochd, Samir Idrissi Kaitouni, Mohamed Oualid Mghazli, Adnane Saoud

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 该研究针对多区域住宅建筑HVAC控制的能耗-安全问题，提出带安全认证的深度强化学习框架，在仿真中训练PPO与SAC智能体，验证了其在降低能耗、减少舒适度违规方面的有效性及安全保证的可行性。

Comments 6 pages, 5 figures. Accepted to IEEE Conference on Control Technology and Applications (CCTA) 2026

Risk-Controllable Multi-View Diffusion for Driving Scenario Generation

可控风险多视角扩散用于驾驶场景生成

Hongyi Lin, Wenxiu Shi, Heye Huang, Dingyi Zhuang, Song Zhang, Yang Liu, Xiaobo Qu, Jinhua Zhao

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 RiskMV-DPO通过整合风险水平与物理风险建模，实现可控风险的多视角驾驶场景生成，提升3D检测性能并减少FID，推动安全导向的具身智能发展。

Comments 10 pages, 4 figures; accepted at the CVPR 2026 Workshop on Video Generative Models: Benchmarks and Evaluation (VGBE). Updated to the complete camera-ready version