语言大模型 / LLM - arXivDaily 专题

2607.00254 2026-07-02 cs.DB 新提交 83%

Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models

基于近似查询处理和代理模型的AI工作流查询中心优化

Huayi Wang, Jun Xu, Gromit Yeuk-Yin Chan

专题命中后训练与偏好优化：LLM(summary_cn,abstract)；post-training(abstract)

AI总结提出将AI工作流视为声明式查询，利用近似查询处理（AQP）和代理模型（PM）过滤减少昂贵模型调用，在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。

2607.00531 2026-07-02 cs.LG cs.AI q-bio.BM stat.ML 新提交 82%

Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization

Active-GRPO：用于分子优化的自适应模仿与自我改进推理

Xuefeng Liu, Mingxuan Cao, Qinan Huang, Thomas Brettin, Rick Stevens, Le Cong

机构 * School of Medicine, Stanford University（斯坦福大学医学院）； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）； Pritzker School of Molecular Engineering, University of Chicago（芝加哥大学普利兹克分子工程学院）； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）； Argonne National Laboratory（阿贡国家实验室）

专题命中后训练与偏好优化：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结提出Active-GRPO方法，通过主动模仿-强化和主动参考机制，在分子优化中自适应平衡模仿与自我改进，显著提升性能。

2510.24636 2026-07-02 cs.CL 版本更新 81%

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

OpenReward: 通过强化学习学习奖励长形式智能体任务

Ziyou Hu, Zhengliang Shi, Minghang Zhu, Haitao Li, Teng Sun, Pengjie Ren, Suzan Verberne, Zhaochun Ren

机构 * Leiden University（莱顿大学）； Shandong University（山东大学）； Tsinghua University（清华大学）

专题命中后训练与偏好优化：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结提出OpenRM，一种工具增强的长形式奖励模型，通过GRPO训练联合监督工具使用和结果准确性，在长形式任务中显著优于现有方法。

2606.30789 2026-07-02 cs.LG stat.ML 新提交 70%

Predictable GRPO: A Closed-Form Model of Training Dynamics

可预测的GRPO：训练动力学的闭式模型

Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

机构 * Nutanix ； Unsloth

专题命中后训练与偏好优化：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结提出GRPO训练动力学的第一性原理降阶模型，揭示其指数饱和律的物理含义，预测群大小不变性、稳定性阈值和过阻尼-振荡转变，并在多个模型和基准上验证。

2607.00152 2026-07-02 cs.LG cs.AI cs.CL stat.ML 新提交 67%

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

GRPO, Dr. GRPO 和 DAPO 是对同一个数的三种操作：组标准差恒等式

Yong Yi Bay, Kathleen A. Yearick

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

专题命中后训练与偏好优化：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结本文证明三种流行的语言模型推理训练方法（GRPO、Dr. GRPO、DAPO）本质上是对组标准差的不同操作，并揭示了标准差在训练更新中的核心作用。

Comments 18 pages, 10 figures, 4 tables. Code and data: https://github.com/bay-yearick-lab/grpo-standard-deviation-identity

2607.00535 2026-07-02 cs.LG cs.AI cs.CV 新提交 62%

Flow-Map GRPO: Reinforcement Learning for Few-Step Flow-Map Generators via Anchored Stochastic Composition

Flow-Map GRPO：基于锚定随机组合的少步流映射生成器的强化学习

Zhiqi Li, Wen Zhang, Bo Zhu

机构 * Georgia Institute of Technology（佐治亚理工学院）

专题命中后训练与偏好优化：post-training(abstract)；分类 cs.AI、cs.LG

AI总结提出Flow-Map GRPO框架，通过锚定随机流映射组合（ASFMC）对确定性少步流映射生成器进行随机化，使其适用于强化学习后训练，并在FLUX文本到图像生成器上提升奖励和感知指标。

Comments 31 pages, 29 figures

2607.01179 2026-07-02 cs.LG cs.CL 新提交 62%

QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling

QuasiMoTTo: 准蒙特卡洛测试时扩展

Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox

机构 * Stanford University（斯坦福大学）

专题命中后训练与偏好优化：language model(abstract)；分类 cs.CL、cs.LG

AI总结提出QuasiMoTTo方法，利用准蒙特卡洛相关采样替代独立同分布采样，在推理和强化学习中减少冗余，以更少样本达到相同性能。

2607.01191 2026-07-02 cs.CV 新提交 50%

Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

感知到推理：解耦感知与推理用于细粒度视觉推理

Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学）； Alibaba Group（阿里巴巴集团）

专题命中后训练与偏好优化：language model(abstract)

AI总结提出Perceive-to-Reason (P2R)框架，将细粒度视觉推理解耦为感知和推理两阶段，并引入PRA-GRPO强化学习策略，在多个高分辨率基准上显著提升性能。

Comments Code: https://github.com/ZJU-REAL/Perceive-to-Reason

2607.01067 2026-07-02 cs.RO cs.CV 新提交 50%

Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation

面向灵巧机器人操作的人为中心的可迁移触觉预训练

Chi Zhang, Penglin Cai, Ziheng Xi, Haoqi Yuan, Hao Luo, Wanpeng Zhang, Sipeng Zheng, Chaoyi Xu, Zongqing Lu

机构 * Peking University（北京大学）； BeingBeyond ； Tsinghua University（清华大学）

专题命中后训练与偏好优化：post-training(abstract)

AI总结提出H-Tac大规模触觉-动作数据集和可迁移触觉预训练（TTP）系统，通过统一触觉与动作空间弥合人机差距，利用触觉专家预测未来触觉以建模接触动力学，显著提升灵巧操作的泛化与精细控制能力。

Comments The first two authors contribute equally. Orders are decided by flipping a coin

2607.00622 2026-07-02 cs.CV 新提交 50%

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

学习观察：通过交错策略优化的主动视频异常理解

Mengjingcheng Mo, Jiaxu Leng, Xinbo Gao

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院）； School of Computer Science（计算机科学学院）； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院）

专题命中后训练与偏好优化：preference optimization(abstract)

AI总结提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。

Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables

1. 后训练与偏好优化 10 篇