语言大模型 / LLM

Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

Agent^2 RL-Bench: 能否让LLM代理在训练后设计自主强化学习？

Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian

机构 * Soochow University（苏州大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； The University of Chicago（芝加哥大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 Agent2 RL-Bench评估LLM代理在训练后自主设计、实现、调试和执行提升基础模型的管道能力，展示代理在强化学习中的智能行为与局限性。

Comments 37 pages, 7 figures, 20 tables

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

基于熵的奖励引导用于扩散语言模型对齐

Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EntRGi机制，解决离散扩散语言模型中无法通过自然输出区分的问题，通过动态插值连续token放松与采样硬token，提升奖励模型可靠性与优化精度。

Comments Preprint

F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking

F-GRPO：基于统一候选生成与排序的因子化组相对策略优化

Rohan Surana, Gagan Mundada, Junda Wu, Xintong Li, Yizhu Jiao, Bowen Jin, Sizhe Zhou, Tong Yu, Ritwik Sinha, Jiawei Han, Jingbo Shang, Julian McAuley

机构 * UC San Diego（南加州大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出F-GRPO，通过因子化组相对策略优化统一完成候选生成与排序，解决传统方法中因反馈滞后导致的优化不稳定问题，提升推荐系统性能。

Improving Code Translation with Syntax-Guided and Semantic-aware Preference Optimization

通过语法引导和语义感知的偏好优化改进代码翻译

Yuhan Wu, Huan Zhang, Wei Cheng, Chen Shen, Jingyue Yang, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康数据科学国家研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 本文提出CTO方法，通过对比学习训练跨语言语义模型，结合编译器反馈实现代码翻译的语法和语义优化，实验表明其在C++、Java和Python翻译中表现优异。

Comments Accepted in the 35th International Joint Conference on Artificial Intelligence (IJCAI 2016)

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE：基于梯度对齐的推理数据整理以实现高效的后训练

Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Hong Kong Baptist University, China（香港 Baptist 大学） ； City University of Hong Kong, China（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 GRACE通过梯度对齐方法，对推理数据进行高效后训练，仅用20%的数据即可达到全数据性能的108.8%，5%数据仍保持100.2%的性能。

PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users

PRISM-X：基于人类和模拟用户的人个性化微调实验

Hannah Rose Kirk, Liu Leqi, Fanzhi Zeng, Henry Davidson, Bertie Vidgen, Christopher Summerfield, Scott A. Hale

机构 * University of Oxford（牛津大学） ； UK AI Security Institute（英国人工智能安全研究所） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Mercor ； Meedan 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究通过大规模内侧实验评估个性化语言模型在多轮对话中的表现，发现基于偏好微调的P-DPO方法优于通用模型和个性化提示，但个性化数据训练收益有限，且微调会放大趋炎附势行为，可能带来长期负面影响。

Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion

通过偏好维度扩展解释并打破安全与有益性天花板

ShiYing Huang, Liang Lin, Yuer Li, Kaiwen Luo, Zhenhong Zhou, An Zhang, Junhao Dong, Kun Wang, Zhigang Zeng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Chongqing University（重庆大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出MORA方法，通过多维奖励整合解决多目标对齐中的安全与有益性矛盾，实验显示在序列对齐中提升5%-12.4%，同时对齐中整体奖励提升4.6%。

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

通过概率塑造的锐度引导组相对策略优化

Tue Le, Linh Ngo Van, Trung Le

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出GRPO-SG，通过降低可能引起过大梯度的token权重，提升RLVR的泛化能力，实验显示在数学推理、逻辑谜题和工具增强问答中表现更优。

Multi-Armed Sampling Problem and the End of Exploration

多臂采样问题与探索的终结

Mohammad Pedramfar, Siamak Ravanbakhsh

机构 * Mila - Quebec AI Institute, McGill University（魁北克AI研究所，麦吉尔大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出多臂采样框架，探讨采样场景下的探索-利用权衡，建立 regret 下界并提出近优算法，表明采样几乎无需探索，通过温度参数统一采样与多臂老虎机问题。

Comments 29th International Conference on Artificial Intelligence and Statistics (AISTATS) 2026

expo: Exploration-prioritized policy optimization via adaptive kl regulation and gaussian curriculum sampling

expo: 通过自适应KL调节和高斯课程采样优先政策优化

Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出EXPO算法，通过自适应KL调节和高斯课程采样提升策略探索效率，实验表明其在数学推理任务中显著优于传统GRPO方法。

Comments Duplicate submission of arXiv:2605.11403

Pareto-Guided Optimal Transport for Multi-Reward Alignment

基于帕累托前沿的多奖励对齐最优传输

Ying Ba, Tianyu Zhang, Mohan Zhou, Yalong Bai, Wenyi Mo, Guiwei Zhang, Bing Su, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； Beijing Key Laboratory of Research on Large Models（北京大模型研究关键实验室） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程技术研究中心） ； Rutgers University（罗格斯大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文提出帕累托前沿引导的最优传输框架，通过构建任务特定的帕累托前沿并利用分布感知最优传输将支配样本映射到前沿，结合在线和离线优化策略，引入联合支配率和联合坍塌率作为评估指标，实验显示在多奖励协同和对抗攻击中优于基线方法。

Comments Accepted to ICML 2026