语言大模型 / LLM

Scaling Behaviors of LLM Reinforcement Learning Post-Training: An Empirical Study in Mathematical Reasoning

LLM强化学习后训练的扩展行为：数学推理中的实证研究

Zelin Tan, Hejia Geng, Xiaohang Yu, Mulei Zhang, Guancheng Wan, Yifan Zhou, Qiang He, Xiangyuan Xue, Heng Zhou, Yutao Fan, Zhongzhi Li, Zaibin Zhang, Guibin Zhang, Chen Zhang, Zhenfei Yin, Philip Torr, Lei Bai

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Imperial College London（伦敦帝国学院） ； University of Georgia（佐治亚大学） ； The Chinese University of Hong Kong（香港中文大学） ； Chinese Academy of Sciences（中国科学院） ； Dalian University of Technology（大连理工大学） ； National University of Singapore（新加坡国立大学） ； Wuhan University（武汉大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证研究探讨了LLM后训练强化学习中的扩展行为，重点分析了模型规模、数据量和计算预算对数学推理性能的影响，揭示了学习效率的饱和趋势及高质量数据重复利用的有效性。

Comments V4 version:This Paper has been accepted by ACL 2026 Main Conference

Evaluating the Progression of Large Language Model Capabilities for Small-Molecule Drug Design

评估大型语言模型在小分子药物设计中的进展

Shriram Chennakesavalu, Kirill Shmilovich, Hayley Weir, Colin Grambow, John Bradshaw, Patricia Suriana, Chen Cheng, Kangway Chuang

机构 * Prescient Design ； Genentech（基因泰克） ； South San Francisco, CA, USA（旧金山南区，加利福尼亚州，美国） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；post-training(abstract)

AI总结 本文通过设计化学基础任务评估LLM在药物设计中的能力，发现前沿模型在化学任务中表现提升，但实验场景下仍有改进空间，RL后训练显著提升性能，小型模型经训练后可与前沿模型竞争。

A Systematic Study of Training-Free Methods for Trustworthy Large Language Models

对可信大语言模型无训练方法的系统研究

Wai Man Si, Mingjie Li, Michael Backes, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 本文系统评估了无训练方法在不同可信设置下的有效性，分析了其对效用、鲁棒性和计算开销的影响，并提出平衡可信性、效用和鲁棒性的实用建议。

Online Distributionally Robust LLM Alignment via Regression to Relative Reward

通过回归相对奖励实现在线分布鲁棒LLM对齐

Sharan Sahu, Martin T. Wells

机构 * Department of Statistics and Data Science（统计与数据科学系） ； Cornell University（康奈尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出DRO-REBEL方法，通过类型-p Wasserstein、KL和χ²模糊集实现分布鲁棒优化，证明了在偏好转移下的参数误差界，并在多个基准测试中优于现有基线。

Comments 70 pages, 7 figures, 1 table

GroupDPO: Memory efficient Group-wise Direct Preference Optimization

GroupDPO：内存高效的组级直接偏好优化

Jixuan Leng, Si Si, Hsiang-Fu Yu, Vinod Raman, Inderjit S. Dhillon

机构 * CMU（卡内基梅隆大学） ； Google Deepmind（谷歌DeepMind） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出GroupDPO，通过解耦样本和保留梯度实现高效的组级偏好优化，减少内存使用，提升大规模训练效果，且在离线和在线对齐中均优于单对训练。

Where does output diversity collapse in post-training?

在微调后输出多样性为何会崩溃？

Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

机构 * School of Computer Science University of Sheffield（计算机科学学院 伦敦大学谢菲尔德分校） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了微调后输出多样性的崩溃原因，发现数据组成和训练方法共同影响多样性，揭示多样性崩溃发生在训练阶段而非推理阶段。

What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context

是什么让大语言模型（LLMs）成为有效的序列推荐者？对偏好强度和时间上下文的研究

Zhongyu Ouyang, Qianlong Wen, Chunhui Zhang, Yanfang Ye, Soroush Vosoughi

机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； ByteDance, US（字节跳动（美国）） ； Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。

Comments Accepted The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Targeted Exploration via Unified Entropy Control for Reinforcement Learning

通过统一熵控制实现定向探索的强化学习

Chen Wang, Lai Wei, Yanzhi Zhang, Chenyang Shao, Zedong Dan, Weiran Huang, Ge Lan, Yue Wang

机构 * College of Software, Nankai University（南开大学软件学院） ； Zhongguancun Academy（中关村学院） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese Academy of Sciences（中国科学院） ； Tsinghua University（清华大学） ； Sun Yat-sen Univeristy（中山大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出UEC-RL框架，通过定向探索机制和稳定器解决强化学习中的熵崩溃问题，提升大模型推理性能。

Comments Accepted for publication in Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

CLewR: Curriculum Learning with Restarts for Machine Translation Preference Learning

CLewR：基于重置的课程学习用于机器翻译偏好学习

Alexandra Dragomir, Florin Brad, Radu Tudor Ionescu

机构 * Bitdefender ； Department of Computer Science, University of Bucharest（布加勒斯特大学计算机科学系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CLewR方法，通过课程学习与重置策略提升机器翻译性能，验证了在多种模型和优化技术中的有效性。

Comments Accepted at ACL 2026

UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

UniDoc-RL: 基于分层动作和密集奖励的粗到细视觉RAG

Jun Wang, Shuo Tan, Zelong Sun, Tiancheng Gu, Yongle Zhao, Ziyong Feng, Kaicheng Yang, Zhiwu Lu

机构 * DeepGlint-AI 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 UniDoc-RL通过分层动作空间和密集奖励方案，提升视觉RAG系统的细粒度视觉语义处理能力，实现端到端训练，实验显示优于现有方法。

Comments 17 pages, 11 figures