语言大模型 / LLM

GRPO and Reflection Reward for Mathematical Reasoning in Large Language Models

GRPO与反思奖励在大语言模型数学推理中的应用

Zhijie Wang

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本文提出GRPO与反思奖励机制相结合的四阶段框架，提升大语言模型的自我反思能力，通过实验验证其在数学推理中的优越性。

Journal ref Applied and Computational Engineering 154 161-166 (2025)

Motivation in Large Language Models

大语言模型中的动机

Omer Nahum, Asael Sklar, Ariel Goldstein, Roi Reichart

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究大语言模型是否表现出类似人类的动机特征，通过实验发现其动机报告与行为、任务类型及外部因素相关，揭示了动机在模型行为中的系统性关联。

Comments Preprint. Under review

Towards Understanding Valuable Preference Data for Large Language Model Alignment

迈向理解大型语言模型对齐的有价值偏好数据

Zizhuo Zhang, Qizhou Wang, Shanshan Ye, Jianing Zhu, Jiangchao Yao, Bo Han, Masashi Sugiyama

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文研究了大型语言模型对齐中偏好数据的质量问题，提出截断影响函数（TIF）评估数据质量，并引入两种计算更简单的评分函数以提高偏好数据选择的准确性。

Comments Accepted by ICLR 2026

Do Large Language Models Get Caught in Hofstadter-Mobius Loops?

大型语言模型是否会陷入霍夫斯塔德-莫比乌斯循环？

Jaroslaw Hryszko

机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（数学与计算机科学学院，雅盖隆大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(title)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨现代RLHF训练语言模型中存在霍夫斯塔德-莫比乌斯循环的矛盾，通过实验发现调整系统提示的框架可显著减少压迫性输出。

Comments 15 pages, 4 figures, 3 tables

Learning from Mistakes: Post-Training for Driving VLA with Takeover Data

从错误中学习：使用接管数据进行驾驶VLA的后训练

Yinfeng Gao, Deqing Liu, Qichao Zhang, Yupeng Zheng, Haochen Tian, Guang Li, Hangjun Ye, Long Chen, Da-Wei Ding, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；preference optimization(abstract)

AI总结 本文提出TakeVLA框架，通过预接管语言监督和场景做梦方法，提升驾驶VLA的闭环性能与安全性，实验显示在Bench2Drive基准上优于SimLingo。

PhysMoDPO: Physically-Plausible Humanoid Motion with Preference Optimization

PhysMoDPO：基于物理的类人运动与偏好优化

Yangsong Zhang, Anujith Muraleedharan, Rikhat Akizhanov, Abdul Ahad Butt, Gül Varol, Pascal Fua, Fabio Pizzati, Ivan Laptev

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； LIGM, École des Ponts, IP Paris, Univ Gustave Eiffel, CNRS（LIGM，巴黎理工学院，IP巴黎，古斯塔夫·埃菲尔大学，国家科学研究中心） ； École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 PhysMoDPO通过整合完整身体控制器和偏好优化框架，提升生成运动在物理真实性和任务性能上的表现，适用于文本到运动和空间控制任务。

Comments Project page: https://mael-zys.github.io/PhysMoDPO/

MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models

MapReduce LoRA：在生成模型多偏好优化中推进帕累托前沿

Chieh-Yun Chen, Zhonghao Wang, Qi Chen, Zhifan Ye, Min Shi, Yue Zhao, Yinan Zhao, Hui Qu, Wei-An Lin, Yiru Shen, Ajinkya Kale, Irfan Essa, Humphrey Shi

专题命中 后训练与偏好优化 ：preference optimization(title)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MapReduce LoRA和RaTE方法，通过并行训练偏好特定的LoRA专家和学习奖励特定的token嵌入，提升生成模型在多偏好优化中的性能，实验显示在文本到图像、文本到视频及语言任务中均取得显著改进。

Comments CVPR 2026; Code: https://github.com/SHI-Labs/MapReduce-LoRA

GlyphPrinter: Region-Grouped Direct Preference Optimization for Glyph-Accurate Visual Text Rendering

GlyphPrinter: 基于区域分组的直接偏好优化用于精确的视觉文本渲染

Xincheng Shuai, Ziye Li, Henghui Ding, Dacheng Tao

机构 * Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University（大数据研究院，计算机科学与人工智能学院，复旦大学） ； Generative AI Lab, College of Computing and Data Science, Nanyang Technological University（生成式人工智能实验室，计算与数据科学学院，南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出GlyphPrinter，通过区域分组直接偏好优化提升文本渲染的字形准确性，引入区域级字形偏好标注和区域优化目标，有效解决复杂或非领域字符的字形误差问题。

Comments CVPR 2026, Project Page: https://henghuiding.com/GlyphPrinter/

EditHF-1M: A Million-Scale Rich Human Preference Feedback for Image Editing

EditHF-1M: 一个百万级的丰富人类偏好反馈用于图像编辑

Zitong Xu, Huiyu Duan, Zhongpeng Ji, Xinyun Zhang, Yutao Liu, Xiongkuo Min, Ke Gu, Jian Zhang, Shusong Xu, Jinwei Chen, Bo Li, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Vivo Mobile Communication Co., Ltd（vivo移动通信有限公司） ； University of Electronic and Science Technology of China（电子科技大学） ； Ocean University of China（海洋大学） ； Beijing University of Technology（北京理工大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文提出EditHF-1M百万级图像编辑数据集及基于其的EditHF评估模型和EditHF-Reward奖励模型，通过强化学习优化文本引导图像编辑模型，实验表明其在对齐人类偏好和泛化能力方面表现优异。

SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models

SoliReward: 缓解视频生成奖励模型对奖励黑客和标注噪声的敏感性

Jiesong Lian, Ruizhe Zhong, Zixiang Zhou, Xiaoyue Mi, Long Hu, Yuan Zhou, Qinglin Lu, Yixue Hao, Junchi Yan

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出SoliReward框架，通过单项目二元标注获取高质量数据，采用交叉提示配对策略构建偏好对，并引入改进的BT损失函数以缓解奖励黑客问题，提升视频生成奖励模型的鲁棒性。

Comments 16 pages, 9 figures