语言大模型 / LLM

Test-Time Verification for Text-to-SQL via Outcome Reward Models

基于结果奖励模型的文本到SQL测试时验证

Mattia Tritto, Giuseppe Farano, Dario Di Palma, Gaetano Rossiello, Fedelucio Narducci, Dharmashankar Subramanian, Tommaso Di Noia

机构 * Polytechnic University of Bari（巴里理工大学） ； IBM T.J. Watson Research Center（IBM T.J.沃森研究中心） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出结果奖励模型(ORM)作为学习型语义评分函数，用于Text-to-SQL的测试时验证，通过自动化候选生成和执行标签训练ORM，在BIRD和Spider基准上优于执行优先和多数投票方法。

Comments Accepted to the SURGeLLM Workshop at ACL 2026, San Diego, US

Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

用于世界模型的文本信念状态：严格中介下的可识别表示学习

Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

机构 * Intuit AI Research（Intuit AI研究） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出严格中介原则解决LLM中历史旁路导致的潜在状态不可识别问题，引入离散文本潜在状态和因子化GRPO方法，在TextWorld和ScienceWorld上实现表示质量和滚动性能显著提升。

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

保持VIGILant：通过多模态大语言模型中的反事实视觉对齐缓解视觉懒惰

Xi Xiao, Chen Liu, Chih-Ting Liao, Yunbei Zhang, Qizhen Lan, Yuxiang Wei, Lin Zhao, Janet Wang, Jianyang Gu, Muchao Ye, Tianyang Wang, Hao Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； Yale（耶鲁大学） ； UNSW（新南威尔士大学） ； Tulane（杜兰大学） ； Georgia Tech（佐治亚理工学院） ； NEU（东北大学） ； OSU（俄亥俄州立大学） ； UIowa（爱荷华大学） ； Harvard（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 提出VIGIL框架，通过强化学习后训练最大化视觉输入与生成响应间的互信息，惩罚“盲目自信”实例，有效缓解MLLMs的视觉懒惰问题，在幻觉和推理基准上优于现有方法。

Comments ECCV 2026

EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning

EVOM：用于强化学习的演员-评论家架构的智能体元进化

Boyun Zhang, Chao Wang, Kai Wu

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出EVOM框架，通过双层优化（内环低保真PPO训练权重，外环LLM设计智能体驱动元进化）自动搜索高性能演员-评论家架构，在Ant-v4和HalfCheetah-v4上超越基线方法。

Weight-Space Geometry of Offline Reasoning Training

离线推理训练的权重空间几何

Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 通过余弦相似度、主角度子空间分析等方法，研究六种离线强化学习方法在数学推理任务中的权重更新几何，发现SFT、RFT、RIFT几乎共线，DFT方向偏离，Offline GRPO添加正交分量，DPO位于近正交子空间且准确率最高。

Comments accepted for ICML 2026 workshop

VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

VeriBound: 使用形式验证工具训练的过程奖励模型的PAC-Bayesian泛化界

Amirul Rahman, Mohammed Sabih Alsharari

机构 * University of Malaya（马来亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对形式验证工具标注的过程奖励模型（PRM）缺乏理论解释的问题，提出VeriBound框架，给出PAC-Bayesian泛化界、样本复杂度、收敛速率及下游Best-of-K性能的误差传播界。

What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?

安全对齐的LLM从混合顺从演示中学到了什么？

Sihui Dai, Mann Patel

专题命中 后训练与偏好优化 ：LLM(title_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过混合良性顺从演示和有害顺从演示，探究演示组成如何驱动有害顺从，发现演示内容、顺序和训练方法影响模型提取的信息。

Self-Evolving Multi-Agent Systems via Textual Backpropagation

通过文本反向传播的自进化多智能体系统

Xiaowen Ma, Yunpu Ma, Chenyang Lin, Sikuan Yan, Jinhe Bi, Zixuan Cao, Yijun Tian, Volker Tresp, Hinrich Schuetze

机构 * Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出Agentic Neural Network框架，将多智能体协作建模为分层神经网络，通过前向分解任务和反向传播反馈实现智能体角色、提示和协作的自进化，在七个基准数据集上超越现有方法。

TaoSR1: The Thinking Model for E-commerce Relevance Search

TaoSR1：电商相关性搜索的思考模型

Chenhe Dong, Shaowei Yao, Pengkun Jiao, Jianhui Yang, Yiming Jin, Zerui Huang, Xiaojiang Zhou, Dan Ou, Haihong Tang, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（淘宝与天猫集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；SFT(abstract)；preference optimization(abstract)

AI总结 本文提出TaoSR1框架，通过CoT引导的监督微调、离线采样与DPO优化，解决电商搜索中相关性预测的推理误差与幻觉问题，实现高效部署。

Journal ref KDD '26: Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2, 2026

Closing the Reflection Gap: A Free Calibration Bonus for Agentic RL

缩小反思差距：面向智能体强化学习的免费校准奖励

Yinglun Zhu

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体在环境反馈后自我评估不准确的问题，提出RefGRPO方法，通过对比反思与实际结果计算免费校准奖励并动态调整系数，同时提升反思校准和任务准确率。

Orchestra-o1: Omnimodal Agent Orchestration

Orchestra-o1: 全模态智能体编排

Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, Jinyang Wu, Donghao Zhou, Zhihong Zhu, Zheng Lian, Xin Wang, Pheng-Ann Heng

机构 * CUHK（香港中文大学） ； LIGHTSPEED ； PKU（北京大学） ； THU（清华大学） ； Tongji University（同济大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Orchestra-o1全模态智能体编排框架，通过统一编排机制实现模态感知任务分解、在线子智能体专业化和并行子任务执行，在OmniGAIA基准上准确率超第二名10.3%，并引入DA-GRPO强化学习方法训练Orchestra-o1-8B达到开源全模态智能体最优性能。

Hidden Consensus:Preference-Validity Compression in Human Feedback

隐藏共识：人类反馈中的偏好有效性压缩

Dorcas Chia Ern Chua, Karen Myn Hui Lee, Jia Yue Tan, Zhen Xue Gue, Norzalena Abdul Hamid, Azima Binti Azmi, Keat Mei Yeong, Aizat Izyani binti Mujab, Hafsah Noor Azam, Chee Guo Khoo, Han Ying Lim, Chee Seng Chan

机构 * YTL AI Labs ； Universiti Malaya（马来亚大学） ； Monash University Malaysia（莫纳什大学马来西亚校区） ； Universiti Malaysia Sarawak（马来西亚沙捞越大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出偏好有效性压缩问题，即RLHF将多元有效反馈压缩为单一奖励目标，导致对齐测量偏差。通过马来西亚语料分析，79%的提示存在多个多数支持响应，表明多数聚合测量的是argmax可接受性而非多元对齐。

Comments 28 pages. When AI learns from human feedback, it forces a single "correct" answer, but sometimes multiple answers are all genuinely valid, and that nuance gets thrown away

Representation-Aware Advantage Estimation: Your Reward Model Provides More Than A Scalar Output

表示感知优势估计：你的奖励模型提供的不仅仅是标量输出

Guozheng Li, Xiyan Fu, Yiwen Guo

机构 * Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出表示感知优势估计方法，利用奖励模型隐藏状态作为辅助信号，通过图传播计算优势值，提升RLHF的样本效率和鲁棒性。

Soft Sequence Policy Optimization

软序列策略优化

Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） ； Institute for Artificial Intelligence（人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出软序列策略优化方法，通过引入软门控函数改进序列级重要性权重，提升大语言模型对齐任务的训练稳定性与性能。

The Alignment Floor: How Persona Customization Breaks Safety in Weakly-Aligned LLMs

对齐下限：角色定制如何破坏弱对齐大语言模型的安全性

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过对比强对齐与弱对齐模型在不同角色条件下的谄媚率变化，定义对齐下限Δ_floor作为评估模型角色定制安全性的审计指标。

Tournament-GRPO: Group-Wise Tournament Rewards for Reinforcement Learning in Open-Ended Long-Form Generation

Tournament-GRPO：面向开放式长文本生成强化学习的群组锦标赛奖励

Zixuan Yang, Yiqun Chen, Wei Yang, Erhan Zhang, Zihan Shen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

机构 * Renmin University of China（中国人民大学） ； University of Southern California（南加州大学） ； Zhejiang University（浙江大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 针对开放式长文本生成中缺乏可靠参考答案和自动评估指标的问题，提出Tournament-GRPO框架，通过同一查询生成结果间的多轮锦标赛比较将基于规则的LLM评判转化为相对奖励，在Deep Research Bench上取得4.52分提升。

Ratio-Variance Regularized Policy Optimization

比率方差正则化策略优化

Yu Luo, Shuo Han, Yihan Hu, Lei Lv, Huaping Liu, Fuchun Sun, Jianye Hao, Dong Li

机构 * Department of Foundation Model, 2012 Labs, Huawei（华为基础模型部门，2012实验室） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出R²VPO方法，通过约束策略比率方差作为信任区域的局部近似，替代启发式裁剪，在LLM和机器人控制任务中提升性能与样本效率。

Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation

LVLMs中的语言偏差：从深入分析到简单有效的缓解方法

Yangneng Chen, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；preference optimization(abstract)

AI总结 本文系统研究了大视觉语言模型中的语言偏差问题，发现其根源在于训练中的模态未对齐，并提出了两种简单有效的缓解方法：语言偏差正则化（LBR）和语言偏差惩罚（LBP）。

Comments Accepted by ICML 2026

Structure-Aware RAG: Structured Retrieval Augmented Generation from Noisy Data for Conversational Agents

结构感知检索增强生成：面向对话代理的噪声数据结构化检索增强生成

Kaiqiao Han, LuAn Tang, Renliang Sun, Peng Yuan, Wei Cheng, Haoyu Wang, Wei Wang, Yizhou Sun, Haifeng Chen

机构 * UCLA（加州大学洛杉矶分校） ； NEC Labs（日本电装实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出结构感知检索增强生成（SA-RAG），通过表格作为中间结构化表示来减少噪声并保留关键信息，结合质量感知的表格元数据生成框架和优化方法，在噪声真实数据集上显著优于现有RAG基线。

Holder Policy Optimisation

Hölder Policy Optimisation

Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

机构 * University College London（伦敦大学学院） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出HölderPO框架，通过Hölder均值统一token级概率聚合，解决固定聚合机制导致的训练崩溃与性能不足问题，理论证明不同p值对梯度集中度和方差的平衡作用，并通过动态退火算法实现训练周期内的p值调度，实验表明其在多个数学基准测试中取得更优的稳定性和收敛性。

Response-Conditioned Parallel-to-Sequential Orchestration for Multi-Agent Systems

响应条件化的并行到顺序 orchestration 用于多智能体系统

Nurbek Tastan, Alex Iacob, Lorenzo Sani, Meghdad Kurmanji, Nicholas D. Lane, Samuel Horvath, Karthik Nandakumar

机构 * MBZUAI（马克斯·普朗克智能系统研究所） ； University of Cambridge（剑桥大学） ； Flower Labs（Flower实验室） ； Michigan State University（密歇根州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Nexa框架，通过响应条件化的策略结合并行与顺序执行，减少通信和延迟同时提高最终响应准确性，展示了其通用性。

Skill-R1: Agent Skill Evolution via Reinforcement Learning

Skill-R1：通过强化学习实现智能体技能进化

Yash Vishe, Rohan Surana, Xunyi Jiang, Zihan Huang, Xintong Li, Nikki Lijing Kuang, Tong Yu, Ryan A. Rossi, Jingbo Shang, Julian McAuley, Junda Wu

机构 * UC San Diego（UC圣地亚哥大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Skill-R1通过强化学习框架实现实例级递归技能优化，利用可验证奖励训练轻量级技能生成器，提升智能体在复杂多步骤任务中的表现。

The Geometric Canary: Predicting Steerability and Detecting Drift via Representational Stability

几何渡鸦：通过表征稳定性预测可操控性并检测漂移

Prashant C. Raju

机构 * Prashant C. Raju 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过表征稳定性预测语言模型的可操控性并检测漂移，展示了监督和非监督稳定性在不同任务中的互补作用。

Reinforcing privacy reasoning in LLMs via normative simulacra from fiction

通过小说中的规范仿像强化大语言模型的隐私推理

Matt Franchi, Madiha Zahrah Choksi, Harold Triedman, Helen Nissenbaum

机构 * Cornell Tech（康奈尔科技） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文通过从小说中提取规范仿像，结合监督学习和GRPO强化学习，提升大语言模型的隐私推理能力，验证了小说来源的规范仿像在现实领域中的有效性。

FUSE: Ensembling Verifiers with Zero Labeled Data

FUSE：无需标注数据的验证器集成

Joonhyuk Lee, Virginia Ma, Sarah Zhao, Yash Nair, Asher Spector, Regev Cohen, Emmanuel J. Candès

机构 * Stanford University（斯坦福大学） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 FUSE通过无监督集成验证器提升大语言模型输出验证质量，无需标注数据，在多种生成模型和基准测试中表现优异。

PaTaRM: Bridging Pairwise and Pointwise Signals via Preference-Aware Task-Adaptive Reward Modeling

PaTaRM：通过偏好感知任务自适应奖励模型弥合成对和点状信号

Ai Jian, Jingqing Ruan, Xing Ma, Xiaoyun Zhang, Dailin Li, Weipeng Zhang, Ke Zeng, Xunliang Cai

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 PaTaRM通过偏好感知奖励机制实现成对和点状信号的弥合，无需显式评分标签，提升奖励模型的鲁棒性和任务适应性，实验显示在多个基准测试中表现优异。

Comments ACL Main

ReflectRM: Boosting Generative Reward Models via Self-Reflection within a Unified Judgment Framework

ReflectRM: 通过统一判断框架内的自我反思提升生成奖励模型

Kai Qin, Liangxin Liu, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Houde Liu, Daiting Shi

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ReflectRM通过自我反思评估分析质量，提升偏好建模，实验表明其在四个基准测试中平均准确率提升3.7%，并有效缓解位置偏差。

Comments Preprint

From $\log π$ to $π$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight

从log π到π：通过双侧解耦衰减概率梯度权重来驯服发散

Xiaoliang Fu, Jiaye Lin, Yangyi Fang, Chaowen Hu, Cong Qin, Zekai Shao, Binbin Zheng, Lu Pan, Ke Zeng

机构 * Meituan（美团） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DGPO方法，通过解耦衰减机制解决RLVR中概率梯度发散问题，提升大语言模型的推理能力。

Random Is Hard to Beat: Active Selection in online DPO with Modern LLMs

随机难以超越：在线DPO中的主动选择

Giyeong Oh, Junghyun Lee, Jaehyun Park, Youngjae Yu, Wonho Bae, Junhyug Noh

机构 * Seoul National University（首尔大学） ； Ewha Womans University（梨花女子大学） ； KAIST（韩国科学技术院） ； UBC（不列颠哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；pretraining(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 本文研究了在线DPO中主动选择策略的有效性，发现即使在强先验基础上，主动选择的计算开销难以抵消简单随机采样带来的多样性优势。

Comments first commit

OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

OmniFusion: 通过模块融合实现多语言多模态翻译

Sai Koneru, Matthias Huck, Jan Niehues

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； SAP SE（SAP公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出OmniFusion系统，通过融合预训练多模态基础模型与翻译LLM，实现语音、语音加图像及文本加图像的多语言多模态翻译，降低SimulST延迟并提升翻译质量。

Comments Revised submission in review for ACL ARR