语言大模型 / LLM

Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

并非所有时间和频率都需要在扩散遗忘中被遗忘

Jinseong Park, Mijung Park

机构 * Korea Institute for Advanced Study（韩国高等研究院） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出选择性遗忘扩散模型中的时间和频率，通过理论分析分布失真与遗忘-效用权衡，在多种设置下实现更高遗忘成功率和生成质量。

Comments ICML 2026 Workshop FoGen

Uncertainty-Aware Reward Discounting for Mitigating Reward Hacking

考虑不确定性的奖励折扣以缓解奖励黑客

Disha Singha

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种双源不确定性-aware奖励框架，通过建模价值估计和人类偏好中的不确定性，减少奖励黑客行为，在多个离散和连续控制环境中验证了其有效性。

Comments 46 pages, 16 figures, 6 tables

Reconstruction Alignment Improves Unified Multimodal Models

重建对齐改进统一多模态模型

Ji Xie, Trevor Darrell, Luke Zettlemoyer, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。

Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026

DRA-GRPO: Your GRPO Needs to Know Diverse Reasoning Paths for Mathematical Reasoning

DRA-GRPO：你的GRPO需要了解多样化的推理路径以进行数学推理

Xiwen Chen, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Hao Wang, Haiyu Wu, Huayu Li, Aristeidis Sotiras, Yalin Wang, Abolfazl Razi

机构 * Morgan Stanley（摩根士丹利） ； Clemson University（克莱姆森大学） ； Arizona State University（亚利桑那州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； University of Notre Dame（圣母大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对GRPO在数学推理中因奖励信号非单射导致策略坍塌的问题，提出基于子模互信息的多样性感知奖励调整框架DRA，通过逆倾向评分去偏梯度估计，在五个数学基准上以少量数据和成本取得平均58.2%的准确率。

Comments ACL2026

Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents

视觉-语言-动作跳跃启动用于强化学习机器人智能体

Angelo Moroncelli, Roberto Zanetti, Marco Maccarini, Loris Roveda

机构 * University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies（瑞士南方应用科学与艺术大学创新技术系） ； Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland（瑞士意大利大学信息学院，卢加诺，瑞士） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出VLAJS方法，通过稀疏的VLA高层动作建议引导PPO探索，结合方向性动作一致性正则化，提升强化学习在长时域操作任务中的样本效率，并在仿真和真实机器人上验证。

Comments ICRA 2026 Workshop on Reinforcement Learning in the Era of Imitation Learning

Simple Self-Conditioning Adaptation for Masked Diffusion Models

简单自条件适应用于掩码扩散模型

Michael Cardei, Huu Binh Ta, Ferdinando Fioretto

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种简单有效的后训练适应方法，通过自条件预测提升掩码扩散模型的生成能力，减少生成困惑度并提升图像合成和分子生成质量。

Reinforcement Learning from Denoising Feedback

基于去噪反馈的强化学习

Qi He, Huan Chen, Ya Guo, Huijia Zhu, Yi R. Fung, Baojian Zhou

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。

Thermalizing Stochastic Programs

热化随机程序

Mirko Amico, Andraž Jelinčič, Colin Oscar Nancarrow, Leo Tyrpak, David Roberts, Seth Morton, Dalton Sakthivadivel, Ashwin Gopal, Guillaume Verdon

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 该研究提出一套工具，将通用随机程序映射到热力学硬件，通过thermalizers框架编译随机程序并优化误差，在市场模拟器等多个应用中验证了其有效性。

What Does Preference Learning Recover from Pairwise Comparison Data?

成对比较数据中的偏好学习恢复了什么？

Rattana Pukdee, Maria-Florina Balcan, Pradeep Ravikumar

机构 * Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学机器学习系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 本文通过条件偏好分布（CPRD）形式化成对比较数据中的偏好信息，分析了Bradley-Terry模型在数据违反假设时的恢复能力，并揭示了影响样本效率的关键因素（边界和连通性）。

Journal ref ICML 2026

NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

NormGuard: 流匹配强化学习中保持奖励的范数约束

Tianlin Pan, Lianyu Pang, Cheng Da, Huan Yang, Changqian Yu, Kun Gai, Wenhan Luo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Kuaishou Technology（快手科技） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 针对流生成器强化学习后训练中感知质量下降的问题，提出NormGuard方法，通过铰链惩罚约束速度范数，在保持奖励的同时提升图像质量和真实性。

Comments v5: Fixed PDF rendering compatibility issue affecting Apple PDFKit (macOS Preview/iOS PDF viewer). No changes to technical content compared to v4

GrandCode: Achieving Grandmaster Level in Competitive Programming via Agentic Reinforcement Learning

GrandCode: 通过代理强化学习实现竞技编程的Grandmaster级别

Ornith Team, Xiaoya Li, Guoyin Wang, Songqiao Su, Chris Shum, Jiwei Li

机构 * DeepReinforce Team（DeepReinforce 团队） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出GrandCode，一种用于竞技编程的多代理强化学习系统，通过代理模块协同训练和代理GRPO算法，实现了在竞技编程比赛中超越人类选手的突破。

Comments Tech Report; Pre-print

Document Optimization for Black-Box Retrieval via Reinforcement Learning

基于强化学习的黑盒检索文档优化

Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts

机构 * Stanford University（斯坦福大学） ； ContextualAI 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出通过强化学习（GRPO）优化文档表示，使其与目标检索器的查询分布对齐，仅需黑盒访问检索排名，在代码和视觉文档检索任务中提升性能，使小模型超越大模型。

Know When to Stop: Segment-Level Credit Assignment for Reducing Overthinking

知止：用于减少过度思考的片段级信用分配

Chia-Hsuan Lee, Sihui Dai, Mingyang Zhou, Isha Slavin, Hsuan Su, Shi-Xiong Zhang, Sambit Sahu, William Campbell

机构 * Capital One（第一资本） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出DASH方法，通过将推理轨迹中的最终答案候选与真实值比较，实现片段级信用分配，减少推理语言模型过度思考行为，在AIME25上准确率达50.8%。

SymphonyGen: 3D Hierarchical Orchestral Generation with Controllable Harmony Skeleton

SymphonyGen：具有可控和声骨架的3D分层交响乐生成

Xuzheng He, Nan Nan, Zhilin Wang, Ziyue Kang, Zhuoru Mo, Ao Li, Yu Pan, Xiaobing Li, Feng Yu, Xiaohong Guan

机构 * Department of AI Music and Music Information Technology, Central Conservatory of Music（中央音乐学院人工智能音乐与音乐信息科技系） ； Frontier Institute of Science and Technology, and Interdisciplinary Research Center of Frontier Science and Technology, Xi’an Jiaotong University（西安交通大学前沿科学与技术研究院及交叉科学与技术 interdisciplinary research center） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 SymphonyGen通过3D分层框架实现当代电影交响乐生成，采用分层解码器架构提升效率，引入短谱条件和GRPO优化，增强和声纯净度与音乐表现力。

Comments Accepted at ISMIR 2026

SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning

SERPO：面向开放式测试时强化学习的自进化规则策略优化

Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 SERPO通过协同进化响应证据、查询规则和策略参数的闭环机制，在开放式测试时强化学习任务中显著提升了HealthBench等基准的性能，支持分布外迁移与跨基准进化。

Comments 20 pages, including the appendix. Code is available at https://github.com/chiefovoavicii/SERPO

Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

推动全曲生成的前沿：分层自回归规划与流匹配渲染

Junyu Dai, Xinyue Fan, Weiqin Li, Xiangang Li, Yunjia Li, Bin Ma, Yukun Ma, Chongjia Ni, Yufei Shi, Biao Tian, Haoxu Wang, Menglin Wu, Jianwei Yu, Huaicheng Zhang, Han Zhao, Shengkui Zhao, Haina Zhu

机构 * Alibaba（阿里巴巴） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。

The Fast Lane Hypothesis: Von Economo Neurons Implement a Biological Speed-Accuracy Tradeoff

快速通道假说：von Economo神经元实现一种生物速度-准确性权衡

Esila Keskin

机构 * School of Computing and Creative Technologies, University of the West of England, Bristol, UK（西英格兰大学计算与创意技术学院，布里斯托尔，英国） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出von Economo神经元通过稀疏快速投射路径实现生物速度-准确性权衡，通过模拟社会辨别任务验证其在不同病理条件下对决策速度的影响。

Comments 7 pages, 5 figures. Code available at https://github.com/esila-keskin/fast-lane-hypothesis

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

VisRAG2.0：通过视觉检索增强生成中的证据引导多图像推理减轻视觉幻觉

Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

机构 * School of Software and Microelectronics, Peking University, China（北京大学软件与微电子学院） ； School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学人工智能研究院计算机科学与技术系） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 研究针对视觉检索增强生成中VLM存在的视觉幻觉及证据识别问题，提出证据引导的多图像推理框架EVisRAG，引入RS-GRPO改进训练，实验表明该方法能提升性能、减少幻觉，有效提高视觉基础和推理可靠性。

LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget

LongStraw：在固定GPU预算下超越200万个令牌的长上下文强化学习

Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 研究针对推理上下文长度与强化学习后训练的差距问题，提出LongStraw架构感知执行堆栈，用GRPO优化，在固定GPU预算下实现百万令牌强化学习后训练，通过实验验证了其执行能力。

Comments 44 pages, 10 figures, 11 tables. Code: https://github.com/MindLab-Research/longstraw

Drive As You Like: Multi-Head Diffusion with Reinforcement Learning for Personalized Driving

随心所欲驾驶：基于强化学习的多头部扩散个性化驾驶

Fan Ding, Xuewen Luo, Fucai Ke, Hwa Hui Tew, Susilawati Susilawati, Vishnu Monn Baskaran, Junn Yong Loo

机构 * School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院） ； Southwest University, China（西南大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI

AI总结 研究旨在解决自动驾驶规划器忽视人类驾驶行为多样性及难以理解用户意图的问题。提出基于强化学习的多策略框架，集成多头部扩散规划器与语义理解，采用两阶段训练范式。实验表明该方法在nuPlan基准测试中性能良好，能满足实时规划并对齐用户意图。

Comments Has been submitted to AAAI 2026

Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents

学习、推理、优化：GUI 智能体中卡尼曼双系统智能的框架

Jinjie Wei, Jiyao Liu, Lihao Liu, Ming Hu, Junzhi Ning, Mingcheng Li, Weijie Yin, Junjun He, Xiao Liang, Chao Feng, Dingkang Yang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学技术研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Amazon（亚马逊） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance Douyin Content Group（字节跳动抖音内容部） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 针对 GUI 智能体存在依赖试错决策、评估指标简单等问题，提出 CogniGUI 框架，结合全解析器引擎和 GRPO 基础智能体，实现自适应学习，经实验验证其在新基准测试中优于现有方法。

Comments Withdrawn due to ongoing technical improvements. The work requires further refinement and additional experiments to meet our quality standards. A revised version will be submitted in the future

Sign-SZPO: Provable Preference-based Reinforcement Learning with an Unknown Link Function

Sign-SZPO：具有未知链接函数的基于可证明偏好的强化学习

Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.LG

AI总结 研究具有未知链接函数的基于偏好的强化学习问题，提出Sign-SZPO零阶策略优化算法，该算法仅估计价值函数差的符号来构建更新方向，可证明收敛到平稳策略，实证显示其在链接函数错误指定下具有鲁棒性。

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

MixFlow训练：用慢插值混合减轻曝光偏差

Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究扩散模型训练-测试差异问题，提出MixFlow方法，利用慢流现象的慢插值混合对预测网络后处理，在类条件图像生成和文本到图像生成实验中验证有效，在RAE模型的ImageNet生成任务上取得好结果。

Comments CVPR 2026

Layout-Conditioned Autoregressive Text-to-Image Generation via Structured Masking

通过结构化掩码的布局条件自回归文本到图像生成

Zirui Zheng, Takashi Isobe, Tong Shen, Xu Jia, Jianbin Zhao, Xiaomin Li, Mengmeng Ge, Baolu Li, Qinghe Wang, Haiwen Diao, Dong Li, Dong Zhou, Yunzhi Zhuge, Huchuan Lu, Emad Barsoum

机构 * Advanced Micro Devices Inc.（超威半导体公司） ； Dalian University of Technology（大连理工大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出SMARLI框架，通过结构化掩码策略将布局约束注入自回归生成过程，并采用GRPO后训练缓解曝光偏差，实现高质量布局控制图像生成。

Comments ECCV 2026

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

着色噪声：用于忠实图像超分辨率的对抗性Sobolev对齐

Hongbo Wang, Huaibo Huang, Pin Wang, Jinhua Hao, Chao Zhou, Ran He

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI

AI总结 提出ASASR框架，通过将生成流重铸为Sobolev诱导的黎曼几何并引入基于Riesz表示定理的参数化对抗器，解决图像超分辨率中生成先验导致的光谱失配问题，实现忠实重建。

Comments Accepted to ICML 2026

Joint Reward Modeling: Internalizing Chain-of-Thought for Efficient Visual Reward Models

联合奖励建模：将思维链内化以实现高效的视觉奖励模型

Yankai Yang, Yancheng Long, Hongyang Wei, Wei Chen, Tianke Zhang, Kaiyu Jiang, Haonan Fan, Changyi Liu, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出联合奖励建模（JRM），通过共享视觉-语言骨干联合优化偏好学习和语言建模，将生成模型的语义推理能力内化到判别表示中，实现快速准确评估，在MMRB2和EditReward-Bench上取得最优结果。

PhyGile: Physics-Prefix Guided Motion Generation for Agile General Humanoid Motion Tracking

PhyGile: 面向敏捷通用人形运动跟踪的物理前缀引导运动生成

Jiacheng Bao, Haoran Yang, Yucheng Xin, Junhong Liu, Yuecheng Xu, Han Liang, Pengfei Han, Xiaoguang Ma, Dong Wang, Bin Zhao

机构 * Northwestern Polytechnical University（西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） ； Northeastern University（东北大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出PhyGile框架，通过物理前缀引导的机器人原生运动生成，结合课程混合专家训练和后训练，解决文本生成运动在机器人上物理不可行的问题，实现敏捷全身运动跟踪。

Backdoor Channels Hidden in Latent Space: Cryptographic Undetectability in Modern Neural Networks

潜伏空间中的后门通道：现代神经网络中的密码学不可检测性

Marte Eggen, Eirik Reiestad, Kristian Gjøsteen, Inga Strümke

机构 * Department of Computer Science, Norwegian University of Science and Technology（挪威科学技术大学计算机科学系） ； Department of Mathematical Sciences, Norwegian University of Science and Technology（挪威科学技术大学数学科学系） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文研究了现代神经网络中潜伏空间内的后门通道，通过识别学习的潜伏方向，证明不可检测性可转化为两个未知分布的假设检验，并展示在ResNet和Vision Transformer架构上实现了高成功率的攻击，且能抵御多种后训练防御措施。

Principled RL for Flow Matching Emerges from the Chunk-level Policy Optimization

基于流匹配的原理化强化学习从片段级策略优化中涌现

Yifu Luo, Haoyuan Sun, Xinhao Hu, Penghui Du, Keyu Fan, Bo Li, Sinan Du, Xu Wan, Zhiyu Chen, Bo Xia, Yongzhe Chang, Changqian Yu, Kun Gai, Tiantian Zhang, Xueqian Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出了一种基于片段级策略优化的流匹配强化学习方法GCPO，通过将连续步骤聚合为相干片段并改变策略优化层级，有效缓解了优势归因不准确的问题，实验表明其在文本到图像生成任务中表现优于现有方法。

Comments ICML 2026

Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

自蒸馏零：自我修订将二元奖励转化为密集监督

Yinghui He, Simran Kaur, Adithya Bhaskar, Yongjin Yang, Jiarui Liu, Narutatsu Ri, Liam Fowl, Abhishek Panigrahi, Danqi Chen, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL

AI总结 提出SD-Zero方法，通过让模型同时扮演生成器和修订者，利用二元奖励生成密集的token级自监督信号，显著提升训练样本效率，在数学和代码推理任务上超越RFT、GRPO等基线。