语言大模型 / LLM

ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

ToolArtist：用于智能体图像生成的工具使用统一多模态模型

Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun, Fengwei Teng, Chengwei Qin, Xiaobin Hu, Jun Xu, Shuicheng Yan

机构 * RUC（中国人民大学） ； HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； UCD（加州大学戴维斯分校） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出ToolArtist，一种全智能体图像生成模型，通过后训练UMM实现，采用RAD-GRPO方法优化，将完整开放世界图像生成过程置于智能体控制下，性能优于部分控制方案。

PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

PixVL：通过统一掩码-文本一致性循环进行像素级多模态大语言模型的自监督训练

Yicheng Xiao, Haoxuan Ma, Caorui Li, Yucheng Wu, Weijie Wang, Haoxiao Wang, Shuang Chen, Fan Yang, Haiyun Guo, Jinqiao Wang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 PixVL作为自监督后训练框架，通过统一掩码-文本一致性循环及语义验证等策略，解决像素级MLLMs的优化干扰问题，同时提升区域理解与分割任务性能。

RefCaptioner: Multi-Reference Image-Grounded Video Captioning

RefCaptioner：多参考图像接地的视频字幕生成

Tengfei Liu, Yang Shi, Yuran Wang, Xiaohan Zhang, Yuqing Wen, Yuqi Tang, Qixun Wang, Zhuoran Zhang, Xuanyu Zhu, Weihong Lin, Xinlei Yu, Yujie Wei, Xinwei Long, Fengxiang Wang, Xinlong Chen, Yue Ding, Jialu Chen, Haotian Wang, Yuanxing Zhang

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。

Comments https://github.com/pkucs-Ltf/RefCaptioner

RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning

RESTOR：通过强化学习自动生成RESTful API的测试预言机

Xun Zhou, Zhen Dong, Mingyu Ren, Qiang Li, JunJie Li, Sifan Wang, Xiaolong Yu, Chaofeng Sha, Xin Peng

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对RESTful API测试中定义可靠测试预言机的挑战，Restor框架利用强化学习，通过数据增强管道微调大语言模型生成测试断言，在工业数据集和生产工作流程中表现出色，提升测试用例采用率并减少人工QA工作。

Comments Accepted to ISSTA 2026. 22 pages, 8 figures, 2 tables

Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning

基于重新定义的逐步优势的自引导过程奖励优化用于过程强化学习

Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

机构 * Terminus Group（Terminus集团） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对过程强化学习中引入奖励模型计算开销大且缺乏统一优势估计框架的问题，提出SPRO框架，通过从策略模型导出奖励及重新定义优势进行过程感知强化学习，实验显示其训练效率高、准确率提升且无额外开销。

Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions

超越标量奖励：将推理内化到分数分布中

Xin Jin, Huanqia Cai, Zhen Li, Zechao Zhan, Dengyang Jiang, Aiming Hao, Yuming Jiang, Xiangpeng Yang, Chunle Guo, Peng Gao, Ming-Ming Cheng, Steven C. H. Hoi

机构 * Alibaba Group（阿里巴巴集团） ； Nankai University（南开大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出Z-Reward框架，通过教师-学生模型将推理型奖励内化为紧凑VLM的分数分布，实现高效且准确的文本到图像优化。

Comments Z-Image Team Technical Report. Project page: https://srameo.github.io/projects/z-reward/

Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning

Switch-Reasoner：通过强化学习在多任务混合中学习何时思考

Yiyang Fang, Pei Fu, Jinjie Li, Jian Liang, Wenke Huang, Ruijie Luo, Shaojie Zhang, Jian Luan, Yi R. Fung, Mang Ye

机构 * Wuhan University（武汉大学） ； Xiaomi Inc（小米公司） ； Wuhan University of Technology（武汉理工大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究针对多模态大语言模型在异构多任务中“先思考后回答”范式的低效及训练后学习何时思考不稳定的问题，提出基于GRPO的Switch-Reasoner框架，通过双层调节机制实现推理模式自适应选择，实验验证其能减少不必要推理并平衡准确率与效率。

RubriQ: Rubric-Guided Group Relative Policy Optimization for Constraint-Aware Quantum Circuit Synthesis

RubriQ：用于约束感知量子电路合成的基于规则的组相对策略优化

Ziqing Guo, Ziwen Pan

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对量子电路合成瓶颈，RubriQ框架将其作为大语言模型代码生成任务，用组相对策略优化，以程序化规则为奖励函数，集成CUDA-Q模拟，在基准任务和量子处理器上表现出色，建立高性能计算驱动管道大规模生成容错电路。

FlowTTS-GRPO: Online Reinforcement Learning with Multi-Objective Reward Optimization for Flow-Matching Based Text-to-Speech

FlowTTS-GRPO：基于流匹配的文本转语音的多目标奖励优化的在线强化学习

Haoxu Wang, Biao Tian, Weiqin Li, Xiang Lv, Han Zhao, Xiangang Li

机构 * Tongyi Lab, Alibaba Group, China（通义实验室，阿里巴巴集团，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出FlowTTS-GRPO在线强化学习框架，通过将ODE轨迹转换为SDE路径，直接微调流匹配模型，并采用加权奖励组合、省略无分类器引导等优化，在CosyVoice 3.0和F5-TTS上提升了说话人相似度和感知质量。

Comments Accepted by Interspeech 2026

Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

内省耦合：尽管监督固定，自我解释训练仍追踪行为变化

Zifan Carl Guo, Laura Ruis, Jacob Andreas, Belinda Z. Li

机构 * MIT EECS（麻省理工学院电气工程与计算机科学系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究训练语言模型生成解释时，固定反事实解释数据集如何使模型产生内省性解释，追踪自身行为变化，无需更新监督。

Comments 32 pages, 19 figures

SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution

SEVA: 具有过程奖励的自进化验证代理用于事实归因

Aojie Yuan, Yi Nian, Haiyue Zhang, Zijian Su, Yue Zhao

机构 * University of Southern California, Los Angeles, USA（美国南加州大学，洛杉矶） ； University of Michigan, Ann Arbor, USA（美国密歇根大学，安娜堡） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SEVA，一种结构化验证代理，通过过程奖励解决多组件输出中的优势崩溃问题，实现自我进化循环，在7B模型上验证了奖励粒度必须匹配输出粒度的原则。

Comments Accepted at AI4GOOD@ICML 2026 and FAGEN@ICML 2026. Code: https://github.com/Justin0504/Verifiable_agent

Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

雕刻NeRF几何：基于人类偏好的3D感知人脸GAN微调

Archer Moore, Mingming Gong, Liam Hodgkinson

机构 * School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出直接对辐射场密度值进行人类偏好强化学习微调，无需网格或形状先验，显著改善3D人脸几何，在74.4%的成对比较中用户偏好微调后的几何。

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

通过不匹配的错误草稿实现弱到强的引导

Wei Deng

机构 * Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了通过较小较弱模型的不匹配错误草稿引导更强学习者的能力，发现这种策略在MATH-500和AIME 2025/2026等任务上表现优异，主要贡献是提出了一种有效的训练方法。

Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis

奖励科学过程：面向代理数据分析的过程级奖励建模

Zhisong Qiu, Shuofei Qiao, Kewei Xu, Yuqi Zhu, Lun Du, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DataPRM，一种环境感知的生成过程奖励模型，通过主动验证和反思意识的三元奖励策略，提升动态数据分析任务中代理的性能，实验表明其在多个基准测试中表现优异。

Comments KDD 2026

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

推理的动量：策略优化中的密集内在信号

Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； Eastern Institute of Technology（东方理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对GRPO在长链推理中因二元奖励导致的零优势崩溃和幻觉确定性失败模式，提出ISPO方法，通过内在信号密集化奖励，在三个基模型和五个数学推理基准上持续优于基线。

Comments 14 pages, 6 figures, 8 tables

Simultaneous Multi-objective Alignment Across Verifiable and Non-verifiable Rewards

同时多目标对齐：可验证与不可验证奖励

Yiran Shen, Yu Xia, Jonathan Chang, Prithviraj Ammanabrolu

机构 * ucsd（加州大学圣地亚哥分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MAHALO框架，通过标准化PRM训练、多动作头DPO和PRM引导解码，实现大语言模型在可验证与不可验证奖励上的多目标对齐，减少目标冲突并支持推理时控制。

Comments ICML 2026

Self-Prophetic Decoding to Unlock Visual Search in LVLMs

自预言解码以解锁LVLM中的视觉搜索

Zhendong He, Qiyuan Dai, Guanbin Li, Liang Lin, Sibei Yang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 提出SeProD框架，通过自预言解码利用预训练模型的内在单步能力，以无训练、即插即用的方式增强LVLM在多步视觉搜索中的连贯推理，在4个基准的12个分割上一致提升性能。

Comments Accepted at ICML 2026

CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS

CosyEdit2: 面向语音编辑的强化学习解锁更好的零样本TTS

Junyang Chen, Yuhang Jia, Hui Wang, Jiaming Zhou, Yongchang Gan, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） ； College of Artificial Intelligence, Nankai University（南开大学人工智能学院） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出CosyEdit2，通过两阶段后训练框架（监督编辑初始化+基于目标语音无关数据的编辑导向GRPO）解决语音编辑与零样本TTS的局部声学一致性问题，显著提升编辑性能并增强零样本TTS能力。

Polar: Agentic RL on Any Harness at Scale

Polar: 任意框架下的大规模智能体强化学习

Binfeng Xu, Hao Zhang, Shaokun Zhang, Songyang Han, Mingjie Liu, Jian Hu, Shizhe Diao, Zhenghui Jin, Yunheng Zou, Michael Demoret, Jan Kautz, Yi Dong

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language agent(abstract)

AI总结 提出Polar框架，通过异步回滚和黑盒代理框架实现任意智能体框架上的可扩展强化学习，在软件工程任务中显著提升模型性能。

Comments 17 pages, 6 figures. 2 tables

PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching

PowerFlow: 通过原则性分布匹配释放LLMs的双重特性

Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PowerFlow框架，将无监督微调重构成分布匹配问题，利用GFlowNet和长度感知轨迹平衡目标，通过调整α-幂分布方向性激发LLMs的逻辑推理或创造性。

Comments Camera-ready version accepted at ICML 2026

Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy

消除行动瓶颈：由令牌级能量指导的代理强化学习

Langzhou He, Junyou Zhu, Yue Zhou, Zhengyao Gu, Junhua Liu, Wei-Chieh Huang, Henry Peng Zou, David Wipf, Philip S. Yu, Qitian Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） ； Technical University of Berlin（柏林技术大学） ； University of Southern California（南加州大学） ； University of Hong Kong（香港大学） ； Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ActFocus方法，通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题，显著提升性能。

Comments Preprint

Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages

基于熵引导的步骤选择和分步优势的扩散语言模型强化学习

Vishnu Teja Kunde, Fatemeh Doudi, Mahdi Farahbakhsh, Dileep Kalathil, Krishna Narayanan, Jean-Francois Chamberland

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种针对扩散语言模型的强化学习方法，通过熵引导选择步骤和分步优势估计，实现无偏策略梯度，提升生成效果和计算效率。

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

驯服极端令牌：具有高斯核优势重加权的协方差感知GRPO

Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

机构 * National University of Singapore（新加坡国立大学） ； University of California, Davis（加州大学戴维斯分校） ； University of Southern California（美国南加州大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种协方差感知的GRPO方法，通过高斯核动态降低极端令牌更新权重，以平衡探索与利用，提升大语言模型推理性能并稳定熵。

Comments ACL 2026

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero：从零数据开始的自主开放生成自我学习

Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of Virginia（弗吉尼亚大学） ； University of Maryland（马里兰大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 G-Zero通过无验证器的共进化框架实现自主改进，利用Hint-δ内在奖励量化生成模型在无辅助响应与带提示响应间的预测偏移，通过GRPO训练提出者模型持续针对生成器的盲区，同时通过DPO优化生成器内部化提示引导的改进。

ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training

ConsistRM：通过一致性感知自训练改进生成奖励模型

Yu Liang, Liangxin Liu, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ConsistRM框架，通过一致性感知答案奖励和批评奖励提升生成奖励模型的稳定性与一致性，实验表明其在五个基准数据集上优于传统强化微调方法。

Comments Published as a Main conference paper at the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Demystifying the unreasonable effectiveness of online alignment methods

解开在线对齐方法无理有效性的谜团

Enoch Hyunwook Kang

机构 * Foster School of Business University of Washington（华盛顿大学福斯特商学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出传统温度零后悔准则下，贪心在线对齐方法能实现常数累积后悔，揭示其实际高效性背后的理论原因。

STAR: Mitigating Cascading Errors in Spatial Reasoning via Turn-point Alignment and Segment-level DPO

STAR：通过转弯点对齐和段级DPO缓解空间推理中的级联错误

Pukun Zhao, Longxiang Wang, Chen Chen, Peicheng Wang, Fanqing Zhou, Runze Li, Haojian Huang

机构 * Guangdong University of Finance and Economics（广东财经大学） ； Chongqing University（重庆大学） ； Westlake University（西湖大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出STAR框架，通过拓扑锚点解决复杂拓扑中的级联错误问题，引入RedMaze-23K数据集并采用段级DPO提升长距离导航的自我修正能力，实验表明其32B版本在开源模型中表现最优。

Comments 9 pages, 6 figures, 4 tables, Accepted by ICME 2026

Are complicated loss functions necessary for teaching LLMs to reason?

复杂损失函数是否必要用于教LLM进行推理？

Gabriele Carrino, Andrea Sassella, Nicolo Brunello, Federico Toschi, Mark James Carman

机构 * DEIB, Politecnico di Milano（米兰理工学院DEIB学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分析GRPO发现负反馈对训练至关重要，PPO风格约束非必需，提出简化版RGRA在数学基准上表现更优。

HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning

HISR: 基于 hindsight 信息的分段过程奖励用于多轮代理强化学习

Zhicong Lu, Zichuan Lin, Wei Jia, Changyuan Tian, Deheng Ye, Peiguang Li, Li Jin, Nayu Liu, Guangluan Xu, Wei Feng

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯文脉） ； School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出HISR方法，通过hindsight信息调节分段过程奖励，提升多轮代理强化学习中的信用分配可靠性，实验验证了方法的有效性。

Comments Submitted to ACL 2026 on Jan 5, 2026

MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation

MLA：一种多感官语言-动作模型，用于机器人操作中的多模态理解和预测

Zhuoyang Liu, Jiaming Liu, Jiadong Xu, Nuowei Han, Chenyang Gu, Hao Chen, Kaichen Zhou, Renrui Zhang, Kai Chin Hsieh, Kun Wu, Zhengping Che, Jian Tang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Beijing Innovation Center of Humanoid Robotics (X-Humanoid)（北京类人机器人创新中心（X-Humanoid）） ； The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出MLA模型，通过多感官融合与未来目标预测，提升机器人在复杂接触任务中的操控能力，实验显示其在2D和3D任务中性能优于现有方法。

Comments Project page: https://robotic-mla.github.io/