语言大模型 / LLM

Breaking the Chain: A Causal Analysis of LLM Faithfulness to Intermediate Structures

打破链条：对LLM对中间结构忠实性的因果分析

Oleg Somov, Mikhail Chaichuk, Gleb Ershov, Karim Vafin, Mikhail Seleznyov, Alexander Panchenko, Elena Tutubalina

机构 * AIRI ； MIPT（莫斯科国立交通大学） ； HSE University（高等经济大学） ； Avito AI Lab（Avito人工智能实验室） ； Skoltech（斯克里普钦科技学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；preference optimization(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究探讨了在模式引导推理（SGR）管道中，LLM对中间结构的忠实性，发现尽管模型在自身中间结构上自洽，但对干预的响应不足，当将最终决策的推导委托给外部工具时，这种不稳定性显著降低。

Comments 20 pages, 4 figures, 7 tables

When Denser Credit Is Not Enough: Evidence-Calibrated Policy Optimization for Long-Horizon LLM Agent Training

当更密集的信用不足时：面向长周期LLM智能体训练的基于证据校准的策略优化

Yuanfan Li, Qi Zhou, Wenjing Duan, Lu Chen

机构 * X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（X-LANCE实验室，计算机科学学院，上海交通大学，上海，中国） ； Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（电子与信息工程学院，西安交通大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对长周期LLM智能体在稀疏延迟奖励下的信用分配问题，提出一种无评论家的策略优化算法ECPO，通过证据校准的动作优势和方差门控信用加权来修正密集信用的统计不可靠性，在ALFWorld和WebShop上显著提升性能。

Macro: Enhancing Multilingual Counterfactual Explanations through Alignment-as-Preference Optimization

Macro: 通过偏好对齐优化提升多语言反事实解释

Yilong Wang, Qianli Wang, Bohao Chu, Yihong Liu, Jing Yang, Simon Ostermann

机构 * Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Macro框架，通过直接偏好优化改进多语言反事实解释，提升有效性的同时保持最小性，避免翻译基线的严重最小性问题，并在多个指标上优于监督微调方法。

Comments In submission

FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization

FlowPRO：通过近端偏好优化对流匹配VLA进行无奖励强化微调

Yihao Wu, He Zhang, Junbo Tan, Xueqian Wang, Zhengyou Zhang

机构 * Tencent Robotics X（腾讯机器人X实验室） ； Futian Laboratory（福田实验室） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出FlowPRO框架，通过近端偏好优化（RPRO）和干预-回滚数据收集方法，实现无奖励的离线强化微调，在四类长时程双臂任务中取得最高成功率。

Cross-Epoch Adaptive Rollout Optimization for RL Post-Training

跨时代自适应展开优化用于强化学习后训练

Yiming Zong, Yige Wang, Jiashuo Jiang

机构 * Department of Industrial Engineering & Decision Analytics, Hong Kong University of Science and Technology（工业工程与决策分析系，香港科学与技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对提示词训练信号差异大的问题，提出CERO方法，通过贝叶斯估计提示词成功概率并利用Fenchel对偶优化自适应分配展开预算，在固定总预算下提升样本效率。

Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents

智能体蒙特卡洛：黑盒智能体的强化学习模拟

Dae Yon Hwang, Raunaq Suri, Valentin Villecroze, Anthony L. Caterini, Jesse C. Cresswell, Noël Vouitsis, Brendan Leigh Ross

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 提出Agentic Monte Carlo (AMC)方法，利用序贯蒙特卡洛从最优策略后验中采样，无需参数级优化即可对黑盒LLM智能体进行强化学习式优化，在AgentGym基准上超越提示基线并随测试时计算扩展优于GRPO。

Comments Accepted by ICML 2026

Better Literary Translation: A Multi-Aspect Data Generation and LLM Training Approach

更好的文学翻译：多维度数据生成与大语言模型训练方法

Zhihao Lin, Ziqi Zhu, Hao Huang, Guanghui Wang, Peiyang He

机构 * Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 提出多维度迭代优化框架，通过专门的大语言模型生成高质量翻译参考和偏好数据，结合监督微调和强化学习（GRPO）提升文学翻译质量，在MetaphorTrans英中文学翻译基准上达到与Claude Sonnet 4.5竞争的性能。

Comments Accepted by ACL 2026 Industry

Calibrated Surprise: An Information-Theoretic Account of Creative Quality

校准的惊喜：一种信息论视角下的创造性质量

Bo Zou, Chao Xu

机构 * Bo Zou（邹波） ； Chao Xu（徐超） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种信息论框架，用于评估创造性写作的质量，通过校准的惊喜概念，结合香农互信息理论，量化了高质量文本与降质文本之间的差异。

Comments 28 pages, 3 figures

Soft Sequence Policy Optimization

软序列策略优化

Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； Institute for Artificial Intelligence（人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出软序列策略优化方法，通过引入软门控函数改进序列级重要性权重，提升大语言模型对齐任务的训练稳定性与性能。

Self-supervised User Profile Generation for Personalization

面向个性化的自监督用户画像生成

Clark Mingxuan Ju, Yuwei Qiu, Tong Zhao, Neil Shah

机构 * Snap Inc.（Snap公司） ； bellevue, WA USA（华盛顿州西雅图市） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出BUMP框架，利用自监督双向排序目标训练大语言模型生成用户文本画像，无需下游标注即可实现个性化。

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

选择性优势熵自适应视野GRPO：用于语言模型高效强化学习的非对称令牌级折扣

Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

机构 * Indian Institute of Technology (BHU)（印度理工学院（博生胡大学）） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出选择性优势熵自适应视野GRPO（SA-AH-GRPO），通过非对称令牌级折扣（仅对负优势轨迹应用熵基折扣）来稳定训练并提升数学推理性能。

Comments 16 pages, 4 Figures, 7 Tables

OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation

OrderGrad: 通过顺序统计量策略梯度估计超越均值优化

Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Shota Takashiro, Soichiro Nishimori, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OrderGrad，一种用于顺序统计量目标的似然比和重参数化梯度估计器族，通过奖励变换实现风险厌恶、鲁棒和探索性学习的统一即插即用方法。

When AI Says It Feels

当AI说它感觉

Shin-nosuke Ishikawa, Seiya Ikeda, Hirotsugu Ohba

机构 * Graduate School of Artificial Intelligence and Science, Rikkyo University（立命馆大学人工智能与科学研究生院） ； AI Technical Sector, Mamezo Co., Ltd.（Mamezo公司人工智能技术部门） ； AI Consulting Division, Mamezo Co., Ltd.（Mamezo公司人工智能咨询部门） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 通过自奖励强化学习（GRPO）鼓励大语言模型表达情感、意图和自我意识，并评估其对多种任务性能的影响。

Comments 15 pages, 2 figures

Rollout-Level Advantage-Prioritized Experience Replay for GRPO

基于轨迹级别优势优先经验回放的GRPO

Gyeongtae Yoo, Sanghyeok Park, Soohyuk Jang, Ik-hwan Kim, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系） ； Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目） ； AIIS, ASRI, INMC, and ISRC, Seoul National University（首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO样本效率低的问题，提出轨迹级经验回放缓冲器，通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样，在多个数学基准上显著提升性能。

SenseJudge: Human-Centric Preference-Driven Judgment Framework

SenseJudge: 以人为中心的偏好驱动判断框架

Rui Li, Junfeng Liu, Xiangwen Kong, Linhai Xu, Zhifang Sui

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学） ； StepFun ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SenseJudge框架和SenseBench基准，通过融入用户偏好实现个性化判断和模型排名，实验证明其优于现有方法。

Comments ACL 2026 Findings

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

面向沉浸式视频角色扮演的奖励分解强化学习

Miao Wang, Yuling Shi, Yijiang Li, Yeheng Chen, Xiaodong Gu, Bin Li, Bo Gao, Jun Wang, Zengxin Han, Jingtong Wu, Yaduan Ruan

机构 * Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； School of Information Engineering, Beijing Institute of Graphic Communication（北京印刷学院信息工程学院） ； Ant International, Ant Group（蚂蚁集团国际部） ； Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出EBM-RL框架，通过奖励分解的强化学习优化视频角色扮演中的视觉感知、推理与生成过程，提升场景一致性与角色真实性。

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

通过强化学习训练一个模型以掌握跨层级的代理行为

Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

机构 * Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出CrossHA，一种统一的代理模型，能够掌握异构的动作空间并自主选择每一步轨迹中最有效的接口，通过结合冷启动监督微调和多轮组相对策略优化（GRPO）算法，实现适应性动作切换，在Minecraft开放世界中超过800个任务上展示了最先进的性能。

Comments Accepted to CVPR 2026 as a Highlight