语言大模型 / LLM

ReCo: Reweighting GRPO Against Distributional Concentration

ReCo：针对分布集中问题的GRPO重加权方法

Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO过度关注高概率响应导致推理覆盖度下降的问题，提出ReCo重加权方法，在多个数学推理基准上提升了大k值下的Pass@k表现。

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

对抗风格优化：通过基于GRPO的风格触发优化增强VLM越狱

Bingjun Luo, Jialin Guo, Yue Yao, Xinpeng Ding

机构 * Tsinghua University（清华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Shandong University（山东大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究MLLMs安全对齐易受越狱攻击问题，提出基于GRPO的对抗风格优化（ASO）方法，通过优化风格触发增强视觉越狱，实验证明该方法显著提高攻击成功率，凸显风格偏差对MLLMs红队测试的作用。

Comments Accepted by CVPR 2026 (Oral)

ISO: An RLVR-Native Optimization Stack

ISO：一种原生 RLVR 的优化栈

Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UIUC（伊利诺伊大学香槟分校） ； Emory University（埃默里大学） ； Together AI（联合人工智能公司） ； Recursive Superintelligence Inc（递归超级智能公司） ； ELLIS Institute Tübingen（图宾根埃利斯研究所） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究 RLVR 中缺失的优化层，提出等谱优化（ISO）框架，包括离线的 ISO-Merger 和在线的 ISO-Optimizer。通过光谱继承，在推理和编码任务中，用更少训练步骤提高准确率，为 RLVR 优化层问题提供了具体解决方案。

Comments Preprint

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

脱离上下文的广义信赖域策略优化算法：利用特权信息学习解决难题

Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

机构 * Meta AI ； Columbia University（哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用特权信息解决强化学习难题，提出脱离上下文的广义信赖域策略优化算法（OC - GRPO），通过引导展开和重要性校正目标避免训练不匹配，在标准数学推理基准上比普通GRPO有显著提升且成本低。

Comments 24 Pages

RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts

RRPO：基于分层条件展开的参考相对策略优化

Yuxin Xiong, Xunyi Jiang, Rohan Surana, Xintong Li, Sheldon Yu, Nikki Lijing Kuang, Ryan A. Rossi, Jingbo Shang, Tong Yu, Julian McAuley, Junda Wu

机构 * University of California San Diego（加利福尼亚大学圣地亚哥分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究提出RRPO，通过参考相对对比比较推广GRPO。用分层条件展开构建锚集，训练投影头定义对比优势，在策略优化中评估。不依赖任务真实验证器，在多种设置下有竞争力，优于弱监督基线，监督微调后有额外收益。

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP：深度搜索智能体的溯源引导信用分配

Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究深度搜索智能体强化学习中奖励-信用不匹配问题，提出STAMP方法，通过基于参考的验证器和首次曝光归因确定信用，经符号保留优势调制注入信用，实验表明该方法能提升GRPO基线分数。

Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry

自担风险：在认知不对称下大语言模型在语用合作方面存在困难

Hannah VanderHoeven, Abhijnan Nath, Nikhil Krishnaswamy

机构 * Situated Grounding and Natural Language (SIGNAL) Lab（情境基础与自然语言（SIGNAL）实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在多方协作任务部分信息条件下的语用推理能力，形式化协作认知不对称概念，评估其作为说话者和倾听者合作能力，发现虽有一定语用能力但信息不完整时仍有挑战，部分失败模式与格赖斯准则违反有关。

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

不要让收益消失：解析强化学习中的策略梯度权重

Juliette Decugis, Sean O'Brien, Francis Bach, Gabriel Synnaeve, Taco Cohen

机构 * FAIR at Meta（Meta FAIR） ； Inria, Ecole Normale Supérieure（法国国家信息与自动化研究所，巴黎高等师范学院） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出FADE方法，通过动态调整优势函数的正负和难度权重，解决RL训练不稳定和多样性崩溃问题，在7B和32B模型上分别提前20k和2k步达到最佳pass@1。

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

ADAPT: 通过偏好调优实现注意力动态对齐以增强多模态大模型的忠实性

Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大模型生成中的幻觉问题，提出ADAPT框架，通过跨注意力视觉锚点、注意力监督推理和视觉注意力引导DPO直接干预文本到图像的跨注意力动态，在多个基准上将幻觉率降低40%-60%。

Comments Accepted by ECCV 2026

The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems

不可解雇的安全内核：面向AI代理及其他可逃逸AI系统的执行时AI对齐

Seth Dobrin, Łukasz Chmiel

机构 * ARYA Labs PBC 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种架构性控制机制“不可解雇的安全内核”，通过进程隔离、前置强制、故障关闭和外部验证四个属性实现执行时AI对齐，在可逃逸AI系统中阻止逃逸尝试。

Comments Pre-print submitted for publication

CAT-Translate: Building Compact Open-Source Models for Japanese-English Translation

CAT-Translate: 构建用于日英翻译的紧凑型开源模型

Yuu Jinnai

机构 * CyberAgent 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对特定语言对开发专用翻译模型是否值得？本文通过两阶段监督微调和多目标GRPO训练紧凑型模型（0.8B-7B参数），在真实场景基准上超越大型多语言模型。

Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

重新思考奖励监督：基于评分准则的自蒸馏

Siyi Gu, Jialin Chen, Sophia Zhou, Arman Cohan, Rex Ying

机构 * Yale University（耶鲁大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出评分准则条件自蒸馏框架，通过结构化细粒度反馈指导推理模型，在科学推理基准上平均超越GRPO 1.0分、OPSD 0.9分。

Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning

超越奖励工程：长上下文强化学习的数据配方

Xiaoyue Xu, Sikui Zhang, Xiaorong Wang, Xu Han, Chaojun Xiao

机构 * OpenBMB ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种简单有效的数据配方，结合最小化基于结果的GRPO设置，显著提升大语言模型的长上下文推理能力，在多个基准和智能体任务上取得平均+3.2至+7.2点的提升。

Comments 15 pages, 6 figures, 12 tables

Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings

超越标量距离：来自冻结MLLM的语义属性梯度用于视觉嵌入

Shubhang Bhatnagar, Dheeraj Baiju, Narendra Ahuja

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SAGA框架，利用冻结的多模态大语言模型（MLLM）通过GRPO奖励机制为视觉编码器提供属性级监督，替代传统标量距离，提升零样本图像检索性能。

DOG-DPO:Dynamic Optimization in Geometry for Safety Alignment

DOG-DPO：几何中的动态优化用于安全对齐

Yi Nian, Tiankai Yang, Yudi Zhang, Qi Pan, Zelong Xu, Shenzhe Zhu, Qingqing Luan, Yue Huang, Xiangliang Zhang, Yue Zhao

机构 * University of Southern California（南加州大学） ； Iowa State University（爱荷华州立大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； UT Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） ； University of Notre Dame（圣母大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DOG-DPO框架，将偏好对表示为模型表示空间中的方向，通过几何分解和多样性覆盖选择子集，仅用11%数据即可恢复大部分安全增益。

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

N-GRPO：嵌入级邻居混合增强策略优化

Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型数学推理中探索策略的折衷问题，提出N-GRPO方法，通过语义邻居混合机制在嵌入层注入多样性，在保持语义一致性的同时提升策略优化效果。

Comments ACL 2026 Findings. 16 pages, 3 figures. Code: https://github.com/ZJUSCL/N-GRPO

Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning

Dropout-GRPO: 用于连续潜在推理的变分随机性

Wooil Jung

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO在连续潜在推理模型中因确定性轨迹导致优势为零的问题，提出通过结构化Dropout引入随机性，使GRPO能优化贝叶斯模型平均策略，在GSM8K上提升Coconut基线准确率。

Baseline-Free Policy Optimization for Neural Combinatorial Optimization

无基线的神经组合优化策略优化

Carlos S. Sepúlveda, Gonzalo A. Ruz

机构 * Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学工程与科学学院） ； Dirección de Programas, Investigación y Desarrollo, Armada de Chile（智利海军计划、研究与发展局） ； Millennium Nucleus for Social Data Science (SODAS)（千禧年社会数据科学核心（SODAS）） ； Millennium Nucleus in Data Science for Plant Resilience (PhytoLearning)（千禧年植物韧性数据科学核心（PhytoLearning）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出使用GRPO算法消除神经组合优化中的基线依赖，避免训练崩溃，在TSP和CVRP上达到接近POMO的性能。

BICPO-VLA: Behavior-Identified Continuation Preference Optimization for Smooth Asynchronous Vision-Language-Action Control

BICPO-VLA：用于平滑异步视觉-语言-动作控制的行为识别延续偏好优化

Ming Shang, Yuchen Huang, Jiaoyang Chen, Haoyuan Hu, Han Yu, Liping Song, Luyun Feng, Shuo Bao, Wei Dong, Xinzhou Wang, Fuchun Sun

专题命中 后训练与偏好优化 ：preference optimization(title)

AI总结 BICPO-VLA针对异步视觉-语言-动作控制的请求交接间隙问题，通过行为识别、动作分解重建、参考相对Flow-DPO优化，实现平滑控制。

Comments 9 pages,4 figures

Debate Training Reduces Reward Hacking in RLAIF

辩论训练可减少RLAIF中的奖励黑客行为

Zachary Kenton, Lili Janzer, Rory Greig, Tian Huey Teh, Kirill Tyshchuk, Jonah Brown-Cohen, Harri Edwards, Senthooran Rajamanoharan, Noah Y. Siegel, Natasha Jaques, Rohin Shah

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出用辩论训练替代RLAIF基线，在数学任务中可减少奖励黑客行为，维持裁判性能并恢复45%的性能差距，还验证了多方面相关实验结论。

PlanPO: Group Planning-Aware Policy Optimization for Multi-Turn Agentic LLMs

PlanPO：面向多轮智能体大语言模型的组规划感知策略优化

Dayang Liang, Liyuan He, Xuan Feng, Shuxin Li, Bo An, Yunlong Liu

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有组相对策略优化无法区分成功轨迹效率差异的问题，提出 PlanPO 方法，引入由粗到细的优势信号，在三类多轮基准上较 GRPO 平均提升 27.2%，且训练成本可忽略。

The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

伦理决策头：基于人类反馈的强化学习在自动驾驶中实现规范伦理

Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi

机构 * Stony Brook University（石溪大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出伦理决策头（EDH）框架，结合PPO与人类偏好奖励模型，在CARLA仿真中训练自动驾驶智能体，发现人类对自动驾驶伦理的理论规定与实践奖励存在差异。

Towards Reasonable Molecular Structure Elucidation from Infrared Spectroscopy with Chemical Feedback

基于化学反馈的红外光谱合理分子结构解析研究

Yusen Tan, Hongyu Zhan, Hai-tao Yu, Changxi Chi, Wenjie Du, Jun Xia

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Westlake University（西湖大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract,abstract_cn)；分类 cs.LG

AI总结 针对现有分子结构解析模型预测结果不合理的问题，提出化学反馈驱动的FIRMPO框架，在三类红外数据集上显著提升了解析准确性。

Bootstrapping Niche Multilingual Code Translation via Reinforcement Learning with Execution-Based Verifiable Supervision

基于执行可验证监督的强化学习引导小众多语言代码翻译

Kouki Yuki, Jie Zeng, Kyoko Ogawa, Ryunosuke Ikeda, Yohei Kobashi, Takeshi Kojima, Ikuya Yamada, Yusuke Iwasawa, Yutaka Matsuo

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究针对多语言代码翻译中热门语言外场景并行监督稀缺、翻译不可执行的问题，提出基于执行监督的偏好强化学习方法，引入HumanEval-X++基准，用Qwen模型验证了方法的有效性。

Comments 11 pages, 3 figures, 5 tables. Preprint under review

Rules or Character? Scaling Laws for AI Safety Design

规则还是特性？AI安全设计的缩放定律

Satoshi Takahashi, Nobuji Kouno, Masaaki Komatsu, Ryuji Hamamoto

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究构建模型分析AI安全的特性塑造与规则执行的资源分配，发现部署规模对最优分配影响较小，特性脆弱率才是主导因素，二者的最优值在大规模部署下会收敛。

Comments Accepted at AIES 2026 (9th AAAI/ACM Conference on AI, Ethics, and Society). 10 pages, 6 figures, 4 tables

Scaling Automatic Research Agents via World Models

通过世界模型扩展自动研究智能体

Xiyuan Yang, Sheikh Sarwar, Jingru Cheng, Zhan Shi, Duanshun Li, Huiyuan Chen, Haiyang Zhang, Chenlei Guo, Jingrui He, Zhenyu Liao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 针对自动研究智能体扩展时的训练瓶颈，提出WMRL方法，结合两种缓解措施提升收敛性，训练加速3-4倍且性能优于更大规模智能体，还可迁移至多类任务。

Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence

超越试错：面向图像到视频一致性的智能体优化

Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson

机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。

TrustRoboReward: Preference-Ordered Isotonic Score Editing for Multi-Paradigm Robot Reward Models

TrustRoboReward：面向多范式机器人奖励模型的偏好有序保序分数编辑方法

Yidong Wang, Yan Zhan, Ziteng Feng, Zhenyu Cui, Ziyi Zhou, Renzhao Liang, Jiaxuan Zhu, Zilei Yang, Yiran Zhao, Zhongkuan Mao, Bo Jia, Hanchu Ni, Chenggang Xie, Biao Liu, Yi Zhang, Yong Dai, Xiaozhu Ju, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Southern University of Science and Technology（南方科技大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； Beijing Language and Culture University（北京语言大学） ； Sichuan University（四川大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 针对现有机器人奖励模型的跨范式偏好与分数不一致问题，本文提出 TrustRoboReward 框架，通过 POISE 方法解决反转冲突，训练的 Qwen3-VL-4B 性能接近 GPT-5-mini，优于 RoboReward 基线。

Evidence-RL: Towards Evidence-intensive Visual Reasoning

Evidence-RL：面向证据密集型视觉推理

Haojie Huang, Xinlei Yu, Chengming Xu, Zhangquan Chen, Cheng Yang, Qingdong He, Yu Yang, Jiangning Zhang, Xiaobin Hu

机构 * National University of Singapore（新加坡国立大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 针对视觉-语言模型依赖语言先验等问题，提出反事实证据解缠方法，结合GRPO框架在9个基准和4种骨干模型上优于现有基于RL的后训练方法。

Comments 22 pages, 10 figures