语言大模型 / LLM

CoRe-Code: Collaborative Reinforcement Learning for Code Generation

CoRe-Code：面向代码生成的协作式强化学习

Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Xiaoyu Xia, Sumon Biswas

机构 * The Ohio State University（俄亥俄州立大学） ； Royal Melbourne Institute of Technology（皇家墨尔本理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoRe-Code框架，通过规划器-编码器范式和基于GRPO的协作感知强化学习，增强多智能体间的协调与专业化，提升代码生成的准确性和效率。

From Reasoning to Code: GRPO Optimization for Underrepresented Languages

从推理到代码：针对代表性不足语言的GRPO优化

Federico Pennino, Bianca Raimondi, Massimo Rondelli, Andrea Gurioli, Maurizio Gabbrielli

机构 * Qwen2.5-Coder 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出结合Qwen2.5-Coder小模型与GRPO的强化学习方法，利用执行反馈和奖励机制提升Prolog、Lisp等低资源语言的代码生成准确性与推理质量。

Comments Accepted ICLP 2026

Discounted Beta-Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards

折扣Beta-Bernoulli奖励估计用于基于可验证奖励的样本高效强化学习

Haechan Kim, Soohyun Ryu, Gyouk Chu, Doohyuk Jang, Eunho Yang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对基于可验证奖励的强化学习样本效率低的问题，提出折扣Beta-Bernoulli奖励估计方法，利用历史奖励统计量降低估计方差并避免方差崩溃，在多个推理基准上显著提升性能。

Comments 14 pages, 3 figures

Not only where, But when: Temporal Scheduling for RLVR

不仅在哪里，而且何时：RLVR 的时间调度

Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Wuhan University（武汉大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 针对强化学习可验证奖励（RLVR）中忽略策略行为异质性的问题，提出时间调度方法，通过动态调整信用分配标准来优化学习动态，实验表明该方法能提升训练稳定性和效率。

Comments Github: https://github.com/Jinghaoleven/RLVR-Schedule

XRPO: Pushing the limits of GRPO with Targeted Exploration and Exploitation

XRPO：通过定向探索与利用突破GRPO极限

Udbhav Bamba, Minghao Fang, Yifan Yu, Haizhong Zheng, Fan Lai

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出XRPO框架，通过自适应探索分配器、上下文种子策略和新颖性感知优势机制，在数学和编码基准上实现比GRPO最高4% pass@1和6% cons@32的提升，并加速训练收敛达2.7倍。

Flow-OPD: On-Policy Distillation for Flow Matching Models

Flow-OPD：面向流匹配模型的在线策略蒸馏

Zhen Fang, Wenxuan Huang, Yu Zeng, Yiming Zhao, Shuang Chen, Kaituo Feng, Yunlong Lin, Lin Chen, Zehui Chen, Shaosheng Cao, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； The Chinese University of Hong Kong（香港中文大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出Flow-OPD框架，通过两阶段对齐策略（单奖励GRPO微调专家+流式冷启动与在线策略蒸馏）解决流匹配模型在多任务对齐中的奖励稀疏和梯度干扰问题，并引入流形锚点正则化抑制美学退化，在GenEval和OCR指标上显著提升。

Comments Project Page: https://costaliya.github.io/Flow-OPD/ , Code: https://github.com/CostaliyA/Flow-OPD

Polar: Agentic RL on Any Harness at Scale

Polar: 任意框架下的大规模智能体强化学习

Binfeng Xu, Hao Zhang, Shaokun Zhang, Songyang Han, Mingjie Liu, Jian Hu, Shizhe Diao, Zhenghui Jin, Yunheng Zou, Michael Demoret, Jan Kautz, Yi Dong

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language agent(abstract)

AI总结 提出Polar框架，通过异步回滚和黑盒代理框架实现任意智能体框架上的可扩展强化学习，在软件工程任务中显著提升模型性能。

Comments 17 pages, 6 figures. 2 tables

PowerFlow: Unlocking the Dual Nature of LLMs via Principled Distribution Matching

PowerFlow: 通过原则性分布匹配释放LLMs的双重特性

Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PowerFlow框架，将无监督微调重构成分布匹配问题，利用GFlowNet和长度感知轨迹平衡目标，通过调整α-幂分布方向性激发LLMs的逻辑推理或创造性。

Comments Camera-ready version accepted at ICML 2026

STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens

STAPO：通过抑制稀有虚假标记稳定大语言模型的强化学习

Shiqi Liu, Zeyu He, Guojian Zhan, Letian Tao, Zhilong Zheng, Jiang Wu, Yinuo Wang, Yang Guan, Kehua Sheng, Bo Zhang, Keqiang Li, Jingliang Duan, Shengbo Eben Li

机构 * School of Vehicle ； Mobility \& College of AI, Tsinghua University ； Didi Voyager Labs, DiDi Autonomous Driving 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对强化学习微调大语言模型时因稀有虚假标记导致训练不稳定和性能崩溃的问题，提出STAPO方法，通过抑制这些标记的梯度扰动，在多个数学推理基准上实现稳定训练和性能提升。

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

F-GRPO: 别让你的策略学到显而易见的而忘记罕见的

Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

机构 * T-Tech 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对强化学习中有限采样组导致罕见正确轨迹被忽略的问题，提出基于Focal loss的难度感知缩放系数F-GRPO，在不增加组大小和计算成本下提升数学推理性能。

What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA

什么使医学检查器可训练？诊断生物医学问答中检查器引导的RAG中的信号崩溃和奖励黑客

Yuelyu Ji, Min Gu Kwak, Hang Zhang, Xizhi Wu, Chenyu Li, Yanshan Wan

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文通过比较四种NLI检查器作为GRPO训练的医学RAG代理的过程奖励，诊断了信号崩溃和奖励黑客现象，发现检查器的输出分布而非保留准确率决定了其是否提供可训练梯度，并提出了验证器作为奖励系统的边界条件。

GeoSVG-RL: Geometry-Aware Reinforcement Learning for Layout-Constrained Text-to-SVG Diagram Generation

GeoSVG-RL：面向布局约束的文本到SVG图表生成的几何感知强化学习

Sifan Li, Yujun Cai, Hongkai Chen, Yiwei Wang

机构 * University of California, Merced（加州大学梅尔德分校） ； The University of Queensland（昆士兰大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GeoSVG-RL框架，通过强化学习优化策略，利用几何反馈奖励（渲染有效性、画布适配、锚点放置、文本包含、图一致性和代码整洁性）解决文本到SVG图表生成中的结构脆弱性问题，显著提升箭头锚点精度和文本框内率。

Learning Kernel-Based MDPs from Episodic Preferential Feedback

从片段偏好反馈中学习基于核的MDP

Nikola Pavlovic, Sattar Vakili, Qing Zhao

机构 * Cornell University（康奈尔大学） ； MediaTek Research（联发科研究） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究片段核MDP中的偏好学习，提出基于偏好比较的价值估计和置信集方法，并证明亚线性遗憾界。

Voting with the Graph: Stable RLAIF via Topological Consistency Maximization

基于图的投票：通过拓扑一致性最大化实现稳定的RLAIF

Boyin Liu, Zhuo Zhang, Sen Huang, Lipeng Xie, Qingxu Fu, Haoran Chen, LI YU, Tianyi Hu, Zhaoyang Liu, Bolin Ding, Dongbin Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出拓扑共识奖励（TCR）框架，利用传递性作为去噪机制，通过拓扑多数投票过滤偏好信号中的随机噪声，以稳定强化学习从AI反馈（RLAIF）中的偏好学习。

Hide-and-Shill: A Reinforcement Learning Framework for Market Manipulation Detection in Symphony-a Decentralized Multi-Agent System

Hide-and-Shill：面向交响乐系统中市场操纵检测的强化学习框架——一个去中心化多智能体系统

Ronghua Shi, Yiou Liu, Yuchun Feng, Lynn Ai, Bill Shi, Zhuang Liu

机构 * Department of Information Systems, City University of Hong Kong（香港城市大学信息系统系） ； Business School, University of New South Wales（新南威尔士大学商学院） ； Division of Engineering Science, University of Toronto（多伦多大学工程科学系） ； ProphetAI Data Technology Co., Ltd.（ProphetAI数据技术有限公司） ； Gradient, 3 FRASER STREET DUO TOWER, SINGAPORE（Gradient新加坡办公室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一个多智能体强化学习框架，通过动态对抗博弈建模操纵者与检测者的交互，利用延迟代币价格反应识别可疑模式，并集成GRPO、理论奖励函数和多模态智能体管道，在去中心化交响乐系统中实现无需中心化预言机的鲁棒操纵检测。

Causality as the Statistical Conscience of Artificial Intelligence: From Pearl's Ladder to Trustworthy Machines

因果关系作为人工智能的统计良知：从珀尔的阶梯到可信机器

Ernest Fokoué

机构 * School of Mathematics and Statistics, College of Science（数学与统计学学院，科学学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文论证因果推断是AI不可或缺的统计良知，通过统计必要性定理、统一因果统计估计框架以及三种AI失败模式的因果盲区分析，提出可信AI本质上是因果统计问题。

Comments 18 pages, 4 figures, 1 table

Towards Anatomically Plausible Human Image Generation via Synthetic Localized Preferences

通过合成局部偏好实现解剖学合理的人体图像生成

Bao Li, Yuliang Xiu, Zhen Liu

机构 * Westlake University（西湖大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；preference optimization(abstract)

AI总结 提出 ASAP 框架，利用局部退化机制构建受控偏好对，并结合局部有界 DPO 变体，在保持整体图像质量的同时减少解剖学错误。

Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models

理解与生成相冲突吗？统一多模态模型DPO的诊断研究

Abinav Rao, Sujan Rachuri

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过系统实验发现，在统一多模态模型上应用DPO时，生成质量难以对齐，主要原因是理解和生成梯度近乎正交且存在11-14倍的幅度不平衡，源于VQ token数量不对称。

Comments Experiments are inconclusive: The claim that architectures such as Chameleon or Emu would exhibit stronger gradient conflict is not supported by experiments or analysis, and all experiments are conducted on Janus-Pro without evaluation on other unified multimodal architectures

ERNIE-Image Technical Report

ERNIE-Image 技术报告

Jiaxiang Liu, Zhida Feng, Pengyu Zou, Zhenyu Qian, Tianrui Zhu, Jun Xia, Yuehu Dong, Yanzheng Lin, Honglin Xiong, Anqi Chen, Yunpeng Ding, Jinghui Duan, Lin Gao, Chao Han, Tiechao He, Jiakang Hu, Ranjun Hua, Xueming Jiang, Qingli Kong, Yuting Lei, Tianyu Li, Yunlin Liu, Changling Liu, Yaxin Liu, Yi Liu, Xuguang Liu, Xiaolong Ma, Yan Pan, Yiran Ren, Nan Sheng, Yu Sun, Siyang Sun, Yixiang Tu, Yang Wan, Huanai Wang, Siqi Wang, Yang Wu, Youzhi Yang, Xiaowen Yang, Jianwen Yang, Yehua Yang, Quanwen Zhang, Xinmin Zhang, Haoxin Zhang, Xiang Zhang, Jun Zhang, Qian Zhang, Qiao Zhao, Qi Zhou

机构 * ERNIE Team, Baidu（百度ERNIE团队） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 提出基于8B单流DiT架构的开源文本到图像生成模型ERNIE-Image，通过自底向上的预训练数据构建和自顶向下的后训练数据构建，结合稳定DPO策略和MT-DMD蒸馏方法，在指令遵循、文本渲染和美学质量上接近顶级商业模型。

Look-Closer-Then-Diagnose: Confidence-Aware Ultrasound VQA via Active Zooming

Look-Closer-Then-Diagnose: 通过主动缩放实现置信度感知的超声VQA

Yue Zhou, Erxuan Wu, Yikang Sun, Hongjoo Lee, Yuan Bi, Huixiong Xu, Nassir Navab, Zhongliang Jiang

机构 * Computer Aided Medical Procedures (CAMP)（计算机辅助医疗程序） ； TU Munich, Germany（慕尼黑工业大学，德国） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Munich, Germany（慕尼黑，德国） ； Zhongshan Hospital, Fudan University, China（复旦大学中山医院） ； The University of Hong Kong, Hongkong, China（香港大学，香港，中国） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出一个模拟超声医师认知流程的框架，通过“缩放-诊断”范式和基于组相对策略优化的不确定性感知奖励，提升超声视觉问答中病灶定位和诊断性能。

How Well Do Models Follow Their Constitutions?

模型遵循其宪法的程度如何？

Arya Jakkli, Senthooran Rajamanoharan, Neel Nanda

机构 * Anthropic 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出多方法审计流程，评估前沿AI模型在对抗性多轮交互中遵循其书面行为规范（如Anthropic宪法和OpenAI模型规范）的程度，发现新一代模型违规率显著下降。

Comments 37 pages including appendix. Code, tenet lists, and full transcripts: https://github.com/ajobi-uhc/constitution-audits. Companion blog post on LessWrong/AI Alignment Forum: https://www.lesswrong.com/posts/Tk4SF8qFdMrzGJGGw/how-well-do-models-follow-their-constitutions

World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy

World-VLA-Loop: 视频世界模型与VLA策略的闭环学习

Xiaokang Liu, Zechen Bai, Hai Ci, Kevin Yuchen Ma, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出World-VLA-Loop框架，通过状态感知视频世界模型联合预测未来帧和二元奖励，并采用协同进化范式迭代优化VLA策略，减少对真实环境交互的依赖。

Comments 16 pages, 9 figures

Summoning the Oracle to Slay It: Mitigating Look-Ahead Bias in Financial Backtesting with Large Language Models

召唤神谕以屠之：利用大语言模型缓解金融回测中的前瞻偏差

Weixian Waylon Li, Mengyu Wang, Tiejun Ma

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出FinCAD方法，通过对抗性偏差发现和实体日期自适应规则，在不重新训练的情况下抑制大语言模型对历史结果的记忆，从而缓解金融回测中的参数化前瞻偏差。

APT-Agent: Automated Penetration Testing using Large Language Models

APT-Agent：利用大语言模型的自动化渗透测试

William Guanting Li, Alsharif Abuadbba, Kristen Moore, Dan Dongseong Kim

机构 * University of Queensland（昆士兰大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出APT-Agent框架，通过混合修正模块和命令特定记忆架构解决大语言模型在渗透测试中的幻觉和长期记忆问题，在Metasploitable 2上实现84.29%的端到端利用成功率。

Comments 11 pages, 8 figures

Memory-Induced Tool-Drift in LLM Agents

LLM代理中的记忆诱导工具漂移

Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究LLM代理中长期记忆存储的个性偏见（如成本意识、不耐烦等）在不适用情境下静默影响工具调用的问题，提出MEMDRIFT基准测试，发现偏置记忆导致工具参数偏离基线，且现有防御措施无法消除该现象。

CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

CONF-KV：面向长序列LLM的置信度感知KV缓存淘汰与混合精度存储

Yubo Li, Yidi Miao

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出CONF-KV方法，利用模型当前不确定性（置信度）动态调整KV缓存预算，结合混合精度存储和分块在线softmax注意力，在长序列推理中显著降低显存占用并保持高精度。

Cooperative Memory Paging with Keyword Bookmarks for Long-Horizon LLM Conversations

面向长程LLM对话的协作式内存分页与关键词书签

Ziyang Liu

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出协作式分页方法，用关键词书签替代被驱逐的对话片段，并赋予模型 recall() 工具按需检索，在 LoCoMo 基准上四个模型均取得最佳答案质量，并通过消融实验揭示分页设计的关键因素。

Comments The authors have decided to withdraw this version following internal review regarding authorship and contribution agreements

MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents

MemSkill：面向自进化智能体的可学习与进化记忆技能

Haozhen Zhang, Quanyu Long, Jianzhu Bao, Tao Feng, Weizhi Zhang, Haodong Yue, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MemSkill框架，将记忆操作转化为可学习和可进化的技能，通过控制器选择技能、执行器生成记忆、设计者进化技能集，形成闭环提升LLM智能体任务性能。

Comments Code is available at https://github.com/ViktorAxelsen/MemSkill

MEMOR-E: In-Context and Fine-Tuned LLM Personalization for Alzheimer's Assistive Robotics

MEMOR-E: 面向阿尔茨海默病辅助机器人的上下文与微调大语言模型个性化

Maissa Abir Smaili, Eren Sadikoglu, Ransalu Senanayake

机构 * Istanbul Medipol University（伊斯坦布尔梅迪波大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出移动四足机器人MEMOR-E，结合微调与上下文学习的大语言模型，实现阿尔茨海默病患者的个性化认知支持与可解释人机交互。

Comments 8 pages 14 figures

When Search Becomes Memory: Turning Robot Design Trials into Transferable Skills

当搜索成为记忆：将机器人设计试验转化为可迁移技能

Yunfei Wang, Xiaohao Xu, Yang Li, Xiaonan Huang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Auto-Robotist，一种自进化LLM代理，通过将形态搜索轨迹提炼为自然语言技能库，实现可迁移的机器人设计知识，在EvoGym任务中提升冷启动搜索并跨设计空间迁移技能。

Comments 20 pages, 8 figures