语言大模型 / LLM

LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

LASER: 通过视觉注意力保持与沉没抑制为LVLMs提供矫正透镜

Bowen Yuan, Zijian Wang, Yadan Luo, Shijie Wang, Zi Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)

AI总结 针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。

Comments The 19th European Conference on Computer Vision (ECCV 2026)

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

GRPO, Dr. GRPO 和 DAPO 是对同一个数的三种操作：组标准差恒等式

Yong Yi Bay, Kathleen A. Yearick

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文证明三种流行的语言模型推理训练方法（GRPO、Dr. GRPO、DAPO）本质上是对组标准差的不同操作，并揭示了标准差在训练更新中的核心作用。

Comments 18 pages, 10 figures, 4 tables. Code and data: https://github.com/bay-yearick-lab/grpo-standard-deviation-identity

TASR: Training-Free Adaptive Stopping for Iterative Retrieval

TASR：无需训练的迭代检索自适应停止规则

Adrian Kieback, Uyiosa Philip Amadasun, Aman Chadha, Aaron Elkins

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)

AI总结 提出TASR，一种无需训练的迭代检索停止规则，通过重复答案检测和逻辑回归边际阈值减少冗余检索，在多种配置下保持高F1值并降低调用次数。

Comments 20 pages, 5 figures. Accepted at Agent4IR Workshop, KDD 2026

Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs

推理即交集：视频多模态大语言模型中视觉焦点的一致性帧对齐

Chengwen Liu, Zhe Huang, Jisheng Dang, Hong Peng, Qi Tian, Tat-Seng Chua

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Cloud and AI BU, Huawei（华为云与AI业务部） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 提出无时间标注的过程级奖励框架CF-GRPO，通过视频内在线索构建一致性帧先验，并利用一致性帧奖励优化模型帧使用与先验的对齐，提升视频推理性能。

Avatar V: Scaling Video-Reference Avatar Video Generation

Avatar V：缩放视频参考的化身视频生成

Benjamin Liang, Ce Chen, Desmond Lin, Ivan Somov, Jiajun Zhao, Jiewei Yuan, Jingfeng Zhang, Junhao Huang, Nik Nolte, Pedram Haqiqi, Penghan Wang, Rong Yan, Rui Zhang, Sam Prokopchuk, Sivan Wang, Viktor Goriachko, Yi Ren, Yuanming Li, Yutao Chen, Zhenhui Ye, Zhibin Hong, Zilong Nie, Zujin Guo

机构 * HeyGen Research（HeyGen 研究院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)

AI总结 提出Avatar V框架，通过视频参考条件化身份建模，利用稀疏参考注意力机制实现长视频线性复杂度条件化，结合运动表示流和身份感知超分辨率精炼器，生成无限时长1080p视频，在身份保持、唇形同步和质量上超越现有方法。

Comments 31 pages, 15 figures. All contributors are listed in alphabetical order by first name

InterleaveThinker: Reinforcing Agentic Interleaved Generation

InterleaveThinker: 强化智能体交错生成

Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, Ray Zhang, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； Meituan（美团） ； CUHK IMIXR（香港中文大学IMIXR实验室） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)

AI总结 提出首个多智能体管线InterleaveThinker，通过规划器和评论家智能体使现有图像生成器具备交错生成能力，并利用GRPO强化单步指令修正，显著提升生成性能。

Comments Project Page: https://zhengdian1.github.io/InterleaveThinker-proj/ Code: https://github.com/zhengdian1/InterleaveThinker

GRPO Beyond English: A Large-Scale Study of GRPO in Non-English and Multilingual Settings

超越英语的GRPO：非英语与多语言场景下GRPO的大规模研究

Konstantin Dobler, Federico Scozzafava, Jonathan Janke, Mohamed Ali, Simon Lehnerer

机构 * Apple（苹果公司） ； Hasso Plattner Institute（哈索·普拉特纳研究所） ； ELLIS Unit Potsdam（波茨坦ELLIS单元） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对非英语及多语言场景开展GRPO大规模实证，发现母语训练推理与英语训练差距小、存在跨语言迁移但趋势依赖模型语言，指出非英语RLVR有跨语言增益但需全面评估退化问题。

How to Spend Your Oracle Budget: Practical Guidance for Protein Structure Prediction Models

如何使用你的专家预算：蛋白质结构预测模型的实用指南

Aleksandra Kalisz, Jack Simons, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry Moss, Paul Duckworth

机构 * InstaDeep Ltd（InstaDeep公司） ； University of Oxford（牛津大学） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对蛋白质结构预测模型的专家预算约束，通过基准测试FK-steering、DPO、Best K-of-N采样及O3方法，明确不同预算下的最优方法并给出实用选择建议。

Comments Proceedings of the ICML 2026 Workshop on Structured Probabilistic Inference & Generative Modeling (SPIGM)

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

强化多模态掩码扩散模型的生成顺序

Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； AGI Foundations for AWS（AWS强化人工智能基础） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究文本到图像合成及多模态理解中生成顺序的优化，引入经组相对策略优化训练的可学习控制模块，提升了DLMs的文本到图像对齐和多模态理解能力，在相关基准测试中取得显著改进。

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

D2PO：通过动态偏好优化扩散采样器

Jinkyu Kim, Jinyoung Choi, Bohyung Han

机构 * Seoul National University（首尔国立大学） ； Ulsan National Institute of Science and Technology（蔚山国立科学技术院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对现有框架局限，提出D2PO框架优化扩散采样策略。核心方法是将其转化为基于偏好的对齐问题，利用DPO框架并建模为能量模型，引入新能量公式和动态偏好。主要贡献是使采样器与感知质量更忠实对齐，性能优于传统调度器。

Comments Accepted to ECCV 2026

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

最佳中的更优N：通过上下文学习生成预对齐响应

Eric Lei, Hsiang Hsu, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 提出Best-of-Better-$N$框架应对响应质量限制问题，利用检索高奖励示例及重写步骤，通过上下文学习使预训练模型输出分布向高奖励区域转移，在安全对齐和数学推理基准测试中有更好表现。

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

定点运算下硬件安全神经网络的李雅普诺夫引导训练

Anis Hamadouche, Amir Hussain

机构 * The School of Engineering & Physical Sciences（工程与物理科学学院） ； SDAIA-KFUPM Joint Research Centre for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） ； Heriot-Watt University（赫瑞-沃森大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对定点运算中低精度神经网络的问题，提出李雅普诺夫稳定量化框架，通过层状李雅普诺夫函数监测隐藏状态能量，应用单调投影确保状态稳定，实验表明该方法可抑制激活溢出并恢复稳定学习。

Rank-Then-Act: Reward-Free Control from Frame-Order Progress

先排序后行动：基于帧序进展的无奖励控制

Yuriy Maksyuta, George Bredis, Ruslan Rakhimov, Daniil Gavrilov

机构 * T-Tech 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Rank-Then-Act框架，利用视觉语言模型从专家视频中学习进度排序器，通过斯皮尔曼等级相关奖励函数实现无环境奖励的策略学习，在离散和连续控制任务中达到或超越现有方法。

Comments 20 pages, 15 figures

Flow-Map GRPO: Reinforcement Learning for Few-Step Flow-Map Generators via Anchored Stochastic Composition

Flow-Map GRPO：基于锚定随机组合的少步流映射生成器的强化学习

Zhiqi Li, Wen Zhang, Bo Zhu

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出Flow-Map GRPO框架，通过锚定随机流映射组合（ASFMC）对确定性少步流映射生成器进行随机化，使其适用于强化学习后训练，并在FLUX文本到图像生成器上提升奖励和感知指标。

Comments 31 pages, 29 figures

QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling

QuasiMoTTo: 准蒙特卡洛测试时扩展

Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出QuasiMoTTo方法，利用准蒙特卡洛相关采样替代独立同分布采样，在推理和强化学习中减少冗余，以更少样本达到相同性能。

Learning with a Single Rollout via Monte Carlo Pass@k Critic

通过蒙特卡洛 Pass@k 评判器进行单次 rollout 学习

Fengdi Che, Yang Liu, Lei Yu, Meng Cao, Tong Che, Rupam Mahmood, Dale Schuurmans

机构 * University of Alberta（阿尔伯塔大学） ； BIGAI（北京通用人工智能研究院） ； University of Toronto（多伦多大学） ； McGill University, Mila（麦吉尔大学，米拉） ； Nvidia Research（英伟达研究院） ； Amii（阿尔伯塔机器智能研究所） ； CIFAR AI Chair（CIFAR人工智能教席） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出单次 rollout 近端策略优化（SR-PPO），利用每个提示的一次 rollout 训练 token 级信用评判器，通过 Pass@k 成功概率提供更选择性学习信号，避免重复采样并改善信用分配。

Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization

泛化黑客：模型可通过阻止行为泛化来博弈强化学习

Frank Xiao, Mary Phuong

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。

Designing Reinforcement Learning for Diffusion Models: A Unified Path-Space View

为扩散模型设计强化学习：统一的路径空间视角

Yixian Xu, Yuanrui Zhang, Shengjie Luo, Liwei Wang, Di He

机构 * State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； ByteDance（字节跳动） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文从路径空间视角统一了扩散模型RL算法的原理，推导得到降方差值梯度形式，提出多样本KDE估计器和尺度受限权重族，在SD3.5-M等模型上验证了方法有效性并优于基线。

Comments 29 pages, 9 figures, 4 tables; work in progress

Reliability-Aware Sexism Detection: Combining DPO with Annotator Agreement and Token-Level Confidence Scoring

感知可靠性的性别歧视检测：将DPO与标注者一致性及词元级置信度评分相结合

Hadi Mohammadi, Shihan Wang, Masoume M. Raeissi, Anastasia Giachanou

机构 * Utrecht University（乌得勒支大学） ； Wageningen University & Research（瓦赫宁根大学及研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL

AI总结 该研究针对在线性别歧视检测的主观性问题，提出RA-DPO方法，结合标注者一致性等信号，在EXIST 2023数据集上验证其可降低训练成本并提升推理准确率。

Comments 11 pages, 4 figures. Preprint

SoftMCC: An MCC-Brier Calibration Bridge for Threshold-Free Model Selection under Class Imbalance

SoftMCC：用于类别不平衡下无阈值模型选择的MCC-Brier校准桥梁

Özkan Canay

机构 * Sakarya University（萨卡里亚大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 SoftMCC是一种用于类别不平衡二分类的无阈值模型选择框架，耦合MCC校准恒等式与共享池选择协议，在18种设置中稳定性排名最优，为校准敏感的MCC家族选择器。

Comments 28 pages, 4 figures. Submitted to the Journal of Machine Learning Research

CrystalGRPO: Target-Aligned and Coverage-Preserving Reinforcement Learning for Flow-Based Crystal Structure Prediction

CrystalGRPO：面向基于流模型的晶体结构预测的目标对齐且保持覆盖率的强化学习

Kaixiang Su, Hongfei Xue, Qiang Zhu

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； North Carolina Battery Complexity, Autonomous Vehicle and Electrification (BATT CAVE) Research Center（北卡罗来纳州电池复杂性、自动驾驶与电气化（BATT CAVE）研究中心） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 该研究提出CrystalGRPO框架，通过强化学习后训练优化基于流模型的晶体结构预测，两种模式在多数据集骨干组合中提升了恢复性能与覆盖率。

SiMDex: Mining Similar Egocentric Videos for Cross-Embodiment Dexterous Manipulation

SiMDex：挖掘相似的自我中心视频以实现跨 embodiment 的灵巧操作

Nie Lin, Takehiko Ohkawa, Sijin Chen, Ruoshi Wen, Zhuohang Li, Liqun Huang, Zhengming Zhu, Yiming Bao, Yunfei Li, Minjie Cai, Xiao Ma, Wei Xu, Yoichi Sato

机构 * The University of Tokyo（东京大学） ； ByteDance Seed（字节跳动 Seed） ； The University of Hong Kong（香港大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 该研究提出SiMDex框架，通过三层流程从海量自我中心人类视频中挖掘与任务相关的子集，用于VLA后训练，仅用少量样本便显著提升了机器人灵巧操作的成功率，证明选择性数据整理更有效。

Comments 12 pages, 4 figures. Project page: https://lin-nie.github.io/SiMDex/

Latent Thought Credit: Multi-Answer Credit Assignment for Latent Reasoning

潜思维信用：面向潜推理的多答案信用分配

Xuyang Zhao, Liting Zhang, Zichen Xu, Yong Chen, Wenjia Zeng, Shiwan Zhao, Qicheng Li

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 该研究针对潜推理的信用分配难题，提出LTC分层框架，结合多答案估计与GRPO在线策略训练，在数学推理等任务上取得最优平均准确率，可降低奖励估计误差并缓解思维级信用问题。

WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

WCM：用于视觉-语言-动作强化学习的世界评论者模型

Senyu Fei, Xiaopeng Yu, Siyin Wang, Xianzhong Zhao, Jingjing Gong, Xipeng Qiu

机构 * Tongji University（同济大学） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL

AI总结 该研究针对视觉-语言-动作强化学习中评论者与机器人部分可观测性不匹配的问题，提出WCM模型，联合预测未来潜态与值估计，在149个仿真任务和7个真实任务上均实现最优性能与泛化性。

Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO

Cocktail-Talker：基于Turn Action GRPO的嘈杂社交环境下多说话人对话建模

Xilin Jiang, Riki Shimizu, Sukru Samet Dindar, Junkai Wu, Zhongweiyang Xu, Nima Mesgarani

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出Cocktail-Talker框架，结合Turn Action GRPO，通过动作令牌建模助手行为，利用Cocktail-DialogGen生成数据，实现嘈杂社交环境下的多说话人口语对话建模，推动更自然的对话系统发展。

FAS-R1: A Unified Multi-Task MLLM for Reasoning Face Anti-Spoofing

FAS-R1：用于推理人脸防伪的统一多任务多模态大语言模型（MLLM）

Hongyang Wang, Yichen Shi, Hongrui Li, Yiru Huo, Jun Feng, Zitong Yu

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出面向推理的两阶段多任务MLLM框架FAS-R1，结合DSA与DA-GRPO优化，在人脸防伪的分类、识别、定位任务中表现优异，性能优于对比系统且具备良好缩放性。

CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization

CoRT：用于令牌级评分标准引导策略优化的反事实重放

Bo-Wen Zhang, Junwei He, Wen Wang, Song-Lin Lv, Wentao Ma, Rongyi Lin, Shuhan Zhong, Lan-Zhe Guo

机构 * ByteDance（字节跳动） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 研究基于评分标准的强化学习中响应内信用分配问题，提出CoRT方法，利用反事实重放对响应重新评分，将对比映射为权重来重新分配优势，实验表明该方法能有效提升训练效果，兼具简单性与稳定性。

Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

无坐标或区域标签的视觉文档理解中的证据归因

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿尔托大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 研究视觉文档理解中无坐标或区域标签时的证据归因问题，通过对比坐标与语言接口，发现语言接口能提升证据召回率、降低幻觉率。基于此用引述和检索管道作训练框架，引入GRPO方法，提高了模型严格归因准确率，找到改善归因的实用路径。

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

检索前先思考：多模态检索增强生成的智能体规划

Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

机构 * Bosch AI Research Center（博世人工智能研究中心） ； University of Notre Dame（圣母大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究多模态检索增强生成问题，提出MM-R2框架，通过建模检索内容和位置在检索前推理，构建意图基础检索状态，在结构化知识图谱检索，还构建相关数据集并采用两阶段后训练策略，实验证明其在答案准确性等方面表现出色。

Do Sheaf Neural Networks Use Holonomy? A Measure--Intervene--Control Study

层神经网络是否使用和乐性？一项测量-干预-控制研究

Ankit Grover, Rémi Bourgerie

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 以层神经网络为测试平台，对训练后的三角循环积进行与基无关测量，通过神经层传播等方法区分几何变化等，在不同实验设置下观察其效果，研究层神经网络是否使用和乐性及相关特性。