语言大模型 / LLM

VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

VeriBound: 使用形式验证工具训练的过程奖励模型的PAC-Bayesian泛化界

Amirul Rahman, Mohammed Sabih Alsharari

机构 * University of Malaya（马来亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对形式验证工具标注的过程奖励模型（PRM）缺乏理论解释的问题，提出VeriBound框架，给出PAC-Bayesian泛化界、样本复杂度、收敛速率及下游Best-of-K性能的误差传播界。

What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?

安全对齐的LLM从混合顺从演示中学到了什么？

Sihui Dai, Mann Patel

专题命中 后训练与偏好优化 ：LLM(title_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过混合良性顺从演示和有害顺从演示，探究演示组成如何驱动有害顺从，发现演示内容、顺序和训练方法影响模型提取的信息。

Closing the Reflection Gap: A Free Calibration Bonus for Agentic RL

缩小反思差距：面向智能体强化学习的免费校准奖励

Yinglun Zhu

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体在环境反馈后自我评估不准确的问题，提出RefGRPO方法，通过对比反思与实际结果计算免费校准奖励并动态调整系数，同时提升反思校准和任务准确率。

Orchestra-o1: Omnimodal Agent Orchestration

Orchestra-o1: 全模态智能体编排

Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, Jinyang Wu, Donghao Zhou, Zhihong Zhu, Zheng Lian, Xin Wang, Pheng-Ann Heng

机构 * CUHK（香港中文大学） ； LIGHTSPEED ； PKU（北京大学） ； THU（清华大学） ； Tongji University（同济大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Orchestra-o1全模态智能体编排框架，通过统一编排机制实现模态感知任务分解、在线子智能体专业化和并行子任务执行，在OmniGAIA基准上准确率超第二名10.3%，并引入DA-GRPO强化学习方法训练Orchestra-o1-8B达到开源全模态智能体最优性能。

Hidden Consensus:Preference-Validity Compression in Human Feedback

隐藏共识：人类反馈中的偏好有效性压缩

Dorcas Chia Ern Chua, Karen Myn Hui Lee, Jia Yue Tan, Zhen Xue Gue, Norzalena Abdul Hamid, Azima Binti Azmi, Keat Mei Yeong, Aizat Izyani binti Mujab, Hafsah Noor Azam, Chee Guo Khoo, Han Ying Lim, Chee Seng Chan

机构 * YTL AI Labs ； Universiti Malaya（马来亚大学） ； Monash University Malaysia（莫纳什大学马来西亚校区） ； Universiti Malaysia Sarawak（马来西亚沙捞越大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出偏好有效性压缩问题，即RLHF将多元有效反馈压缩为单一奖励目标，导致对齐测量偏差。通过马来西亚语料分析，79%的提示存在多个多数支持响应，表明多数聚合测量的是argmax可接受性而非多元对齐。

Comments 28 pages. When AI learns from human feedback, it forces a single "correct" answer, but sometimes multiple answers are all genuinely valid, and that nuance gets thrown away

Representation-Aware Advantage Estimation: Your Reward Model Provides More Than A Scalar Output

表示感知优势估计：你的奖励模型提供的不仅仅是标量输出

Guozheng Li, Xiyan Fu, Yiwen Guo

机构 * Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Independent Researcher（独立研究员） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出表示感知优势估计方法，利用奖励模型隐藏状态作为辅助信号，通过图传播计算优势值，提升RLHF的样本效率和鲁棒性。

Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation

超越扁平策略：面向机器人操作具身智能体的分层后训练

He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)

AI总结 针对现有VLA模型扁平策略难以处理长时程操作的问题，提出HiRoC分层后训练框架，通过解耦规划与执行并对齐分布，在机器人操作基准上取得优于强基线的性能。

Can Vision-Language Models Reason about AI Edits in Images?

视觉-语言模型能否对图像中的AI编辑进行推理？

Darsha Udayanga, Pin-Yu Chen, Payel Das, Qiang Ji

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)

AI总结 本研究探究能否用强化学习而非显式推理监督训练视觉-语言模型推理AI图像编辑，提出基于GRPO的框架，引入eff-IoU指标，在多数据集上实现与SOTA相当的检测定位性能。

Temporal Concentration from Rollout Errors: Implicit Preference Optimization for Text-to-Video Diffusion

基于回退误差的时间集中：文本到视频扩散的隐式偏好优化

Henglin Liu, Fangyuan Kong, Jing Wang, Yizhou Lin, Nisha Huang, Chang Liu, Xintao Wang, Pengfei Wan, Kun Gai, Xiu Li

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；post-training(abstract)

AI总结 针对文本到视频扩散模型的时间稀疏伪影问题，本文提出集中式隐式偏好优化（cIPO）框架，通过回退误差推导隐式偏好信号，将优化集中于高误差片段，有效提升了视频的真实性与时间连贯性。

Comments project page: https://henglin-liu.github.io/cIPO_vis/

OracleAnalyser: Analysing Implicit Semantics of Oracle Bone Scripts through MLLMs with Post-training

OracleAnalyser：通过后训练的多模态大语言模型分析甲骨文的隐式语义

Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

机构 * National University of Defense Technology（国防科技大学） ； ShanghaiTech University（上海科技大学） ； Great Bay University（大湾区大学） ； Westlake University（西湖大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；preference optimization(abstract)

AI总结 提出OracleAnalyser推理框架，通过多阶段后训练和稳定焦点偏好优化算法，在3B参数模型上超越更大规模模型，实现甲骨文分析。

ABACUS: Adapting Unified Foundation Model for Bridging Image Count Understanding and Generation

ABACUS: 自适应统一基础模型，桥接图像计数理解与生成

Anindya Mondal, Sauradip Nag, Anjan Dutta

机构 * University of Surrey（萨里大学） ； Simon Fraser University（西蒙菲莎大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；language model(abstract)

AI总结 提出ABACUS统一视觉语言模型，通过密度感知自适应缩放、边界感知计数策略和循环一致性GRPO，无需特定训练即可处理多种计数任务并生成计数忠实图像，在七个基准上达到最优。

Comments Under review, webpage: https://mondalanindya.github.io/ABACUS/

DifferAD-R1: A Difference-Guided IndustrialAnomaly Localization with Multimodal LargeLanguage Models

DifferAD-R1: 基于差异引导的多模态大语言模型工业异常定位

Dingrong Wang, Xian Tao, Zhen Qu, Hengliang Luo, Xinyi Gong, Fei Shen, Zhengtao Zhang, Guiguang Ding

机构 * Institute of Automation, Chinese Academy of Sciences (CAS)（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； CASI Vision Technology Co., Ltd.（中科慧远视觉技术有限公司） ； Shandong Laboratory of Aluminum Advanced Manufacturing in Binzhou (SLAAMB), Binzhou Institute of Technology, Weiqiao-UCAS Science and Technology Park（山东省滨州市铝先进制造实验室（SLAAMB），滨州技术学院，魏桥国科科技园） ； Space Information Research Institute, Hangzhou Dianzi University（杭州电子科技大学空间信息研究院） ； School of Software, Tsinghua University（清华大学软件学院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)

AI总结 提出DifferAD-R1框架，通过差异引导双图像范式将异常定位转化为一次性差异定位问题，并设计双一致性定位奖励和难度感知策略，在AD-DualDiff数据集上优于现有方法。

Comments Submitted to IEEE Transactions on Circuits and Systems for Video Technology

Retrievable Gradients: Continual Post-Training Without Cumulative Weight Drift

可检索梯度：无累积权重漂移的持续后训练

Weihang Su, Jiacheng Kang, Jingyan Xu, Qingyao Ai, Jianming Long, Hanwen Zhang, Bangde Du, Xinyuan Cao, Min Zhang, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ReGrad范式，将梯度作为可检索知识单元，通过元学习重塑文档梯度为通用适应信号，实现无权重漂移的可扩展参数知识注入。

Agent Safety Should Be a Runtime Contract

智能体安全应成为运行时契约

Albus W. Ng, Yi Han, Jusheng Zhang, Wenhao Wang

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究指出将AI安全仅在训练阶段植入的范式不足，提出智能体安全应是兼具预防与证据层面的运行时契约，通过四类公开证据支撑该立场并给出研究议程。

SearchMaster: Grounded and Regulated Self-Play for Search Agents

SearchMaster：面向搜索智能体的基于接地与调控的自博弈框架

Wentao Tan, Qiong Cao, Jiaqi Wang, Nan Duan

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出SearchMaster自博弈框架，通过ECG、SDR、OOP三项调控措施优化LLM搜索智能体训练，在六个深度搜索基准上显著提升Qwen3.5-9B模型的平均准确率，无需人工标注数据。

Learning Latent Reasoning Traces for Scalar Reward Models End-to-End

学习标量奖励模型的端到端潜在推理轨迹

Sanwoo Lee, Clive Bai, Hsiu-Yuan Huang, Kun Liang, Weijie Liu, Yunfang Wu

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对奖励模型范式不匹配问题，提出LatentRM框架，将推理轨迹作为潜在变量端到端优化，在多任务上优于各类基准奖励模型。

SciForma: Structure-Faithful Generation of Scientific Diagrams

SciForma：科学图表的结构忠实生成

Yuxuan Luo, Peng Zhang, Xinjie Zhang, Xun Guo, Zhouhui Lian, Yan Lu

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） ； State Key Lab of CAD & CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 研究针对科学图表结构保真度问题，提出SciForma框架，分解图表质量为三个结构轴，用M-DPO优化，策划训练和评估数据，实现迭代编辑，使SciForma-9B超越开源基线和GPT-Image-1.5，提升科学图表生成的结构保真度。

Comments 30 pages, 21 figures

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

派利淘-多模态搜索：构建原生电子商务多模态搜索基础

Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝及天猫集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；post-training(abstract)

AI总结 针对电子商务多模态搜索问题，提出派利淘-多模态搜索基础模型，通过混合语义ID、两阶段持续预训练策略和混合推理后训练管道，在淘宝派利淘平台实现显著改进，提升了商品交易总额和交易量。

Comments Technical Report: Pailitao-MMSearch

Step-Level Preference Learning for Generative Agents in Social Simulations

社会模拟中生成式智能体的步骤级偏好学习

Wenchang Gao, Pingyue Sheng, Lanlan Qiu, Yunfei Ma, Jian Zhao, Baicheng Chen, Kangda Wang, Yuyang Tian, Shunqiang Mao, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海期智研究院） ； Xiongan AI Institute（雄安人工智能研究院） ； Tsinghua University（清华大学） ； CUHK-Shenzhen（香港中文大学（深圳）） ； USTC（中国科学技术大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究基于大语言模型的生成式智能体模拟人类行为时中间步骤注释稀缺问题，引入交互式模拟界面收集步骤级人类偏好监督，经监督微调算法和直接偏好优化方法进行步骤级偏好学习，提升模拟效果，证明步骤级人类监督是有效训练信号。

Comments WAICA2026

Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

竞争然后合作：前沿人工智能教师构建可验证课程以提升编码学生超越模仿

Miseong Shawn Kim

机构 * Genesis Cortex AI Inc.（创世纪皮层人工智能公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 研究探讨大型语言模型作教师时的教学问题，提出竞争然后合作框架，让四个前沿人工智能教师先对决排名，再合作构建课程提升学生。发现执行验证下教师解决标准问题情况，模仿不一定提升学生，合作课程能提升学生，强调合作构建可验证环境的价值。

Comments 8 pages, 1 figure

Iterative Visual Thinking and the Self-Correction Mirage in VLM Grounding

迭代视觉思维：通过视觉反馈教会视觉语言模型空间自我修正

Animesh Tripathy, Aswanth Krishnan

机构 * QpiAI India Pvt. Ltd（QpiAI印度私人有限公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出迭代视觉思维（IVT）框架，通过视觉反馈闭环和两阶段训练（SFT+GRPO），使视觉语言模型具备空间自我修正能力，在三个基准上提升指标2.4-3.2个百分点。

Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

哪些Token重要？基于相对惊讶指数的自适应Token选择用于RLVR

Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen

机构 * ModelScope Team（ModelScope团队） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出相对惊讶指数（RSI）度量，通过自适应Token过滤方法RSI-S解决RLVR中高熵与低概率Token的矛盾，在AIME和AMC基准上提升avg@32准确率2-3个百分点。

Comments 13 pages, 4 figures

Qwen-Image-2.0-RL Technical Report

Qwen-Image-2.0-RL 技术报告

Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen, Zecheng Tang, Zihao Liu, Zikai Zhou, Deqing Li, Hao Meng, Kuan Cao, Jiahao Li, Jie Zhang, Liang Peng, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yi Wang, Yu Wu, Yujia Wu, Zekai Zhang, Zhendong Wang, Xiao Xu, Kun Yan, Chenfei Wu

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出基于强化学习与在线蒸馏的后训练流程，通过复合奖励模型和GRPO框架提升扩散模型的视觉质量与指令遵循能力，在多个基准上取得显著提升。

Comments 16 pages, 6 figures, 1 table

A Markov Chain Approach to Preference Alignment

一种偏好对齐的马尔可夫链方法

Takuya Koriyama, Tengyuan Liang

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.LG

AI总结 提出MCHF方法，通过直接利用成对偏好定义马尔可夫核实现生成模型对齐，理论证明其几何收敛速度由非传递结构量决定，并与NLHF和RLHF方法建立统一视角。

Comments 48 pages, 7 figures

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

先看后答：基于充分性驱动的强化学习实现视觉证据预对齐

Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom（中国电信） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出视觉证据预对齐（VEPA）方法，在预训练与后训练之间引入充分性驱动的GRPO优化，以增强多模态大模型对细粒度视觉证据的利用，显著提升视觉密集型任务性能。

Can the Environment Speak for Itself? $T^{2}$-GRPO: A Turn-Trajectory Group Relative Policy Optimization for Caregiver Agents

环境能否为自己发声？$T^{2}$-GRPO：一种面向护理智能体的转向-轨迹组相对策略优化

Yutong Song, Jiang Wu, Pengfei Zhang, Wenjun Huang, Honghui Xu, Nikil Dutt, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； Independent Researcher（独立研究员） ； Kennesaw State University（肯尼索州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出T²-GRPO框架，通过解耦护理强化学习为两个归一化奖励视界，并利用二元硬否决确保安全，从环境状态转换中提取密集转向级奖励，结合轨迹级评估，有效处理即时患者反馈、长期护理结果和安全约束。

PAFO: Pareto Fairness Optimization for Personalized Reward Modeling

PAFO: 个性化奖励建模的帕累托公平优化

Xiaoyan Zhao, Haoting Ni, Yang Zhang, Chunyuan Zheng, Haoxuan Li, Fuli Feng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对个性化奖励模型因训练数据偏好不平衡导致对少数用户群体存在偏见的问题，提出PAFO框架，通过帕累托公平优化提升弱势群体性能而不损害其他群体，实验表明能同时提高少数和多数群体准确率并降低不公平性。

SSPO: Structure-Aware Similarity-Weighted Preference Optimization for Neural Combinatorial Optimization

SSPO：面向神经组合优化的结构感知相似度加权偏好优化

Yuanyu Li, Jintao Xu, Zijiang Liu, Yongzhi Qi, Ningxuan Kang, Jianshen Zhang, Wei Qi, Chen Xie, Zuo-Jun Max Shen

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对神经组合优化训练中的梯度信号极化与基线冗余问题，提出SSPO方法，通过结构感知相似度加权的留一法基线解决问题，其训练的EFL策略已在京东设施选址系统中实现实际应用。

TELLER: Dual-Path Iterative Preference Optimization for Table Entity Linking

TELLER：用于表格实体链接的双路径迭代偏好优化

Yixin Peng, Kehao Li, Stefan Decker

机构 * RWTH Aachen（亚琛工业大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对表格实体链接任务提出TELLER双路径迭代偏好优化方法，通过直接回答与推理两条路径分别优化，在TableInstruct和MammoTab V2数据集上提升了实体链接与推理生成的准确率。

Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

掩码扩散语言模型是用于智能体强化学习的强大且可控的基于文本的世界模型

Darshan Deshpande

机构 * Patronus AI（守护神人工智能公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究强化学习中世界模型问题，对比自回归语言模型和掩码扩散语言模型，发现掩码扩散语言模型性能更优。引入GRPO训练框架，在三个OOD环境上零样本转移消融效果良好，还进行相关分析与评估，最后开源工作推动该领域研究。

Comments Dataset: https://huggingface.co/PatronusAI/world_model_corpus Training code: https://github.com/patronus-ai/mdlm_world_modeling