大模型推理能力

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

作为编码智能体基础模型中间训练的函数感知中间填充

Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of British Columbia（英属哥伦比亚大学） ； NVIDIA（英伟达公司） ； Verdent AI（Verdent人工智能公司） ； Vector Institute（向量研究所） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对编码智能体将外部工具返回集成到推理中的问题，利用函数感知中间填充进行中间训练，在多个模型上提升了性能，并减轻了后训练对非智能体编码等基准测试的能力侵蚀。

Implicit Actor Critic Coupling via a Supervised Learning Framework for RLVR

通过监督学习框架实现隐式Actor-Critic耦合的RLVR方法

Jiaming Li, Longze Chen, Ze Gong, Yukun Chen, Lu Wang, Wanwei He, Run Luo, Min Yang

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 PACS通过监督学习框架实现隐式Actor-Critic耦合，提升RLVR中奖励信号的稳定性与训练效率。

Comments ICML 2026

What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors

模型表达、抑制和抗拒的内容：使用角色向量审计开放权重语言模型

Winston Zeng, Ali Emami, Jinho D. Choi

机构 * Emory University（埃默里大学） 纠错

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过大规模系统应用角色向量审计开放权重语言模型，编制特征清单并标记其性质，发现模型默认行为特点，引导在默认外特征效果好，且角色向量可探测行为组织。

Ruling Out to Rule In: Contrastive Hypothesis Retrieval for Medical Question Answering

排除谬误以确认正确：面向医疗问答的对比假设检索

Byeolhee Kim, Min-Kyung Kim, Young-Hak Kim, Tae-Joon Jeon

机构 * Asan Medical Center（峨山医疗中心） ； Yonsei University（延世大学） ； University of Ulsan College of Medicine（蔚山大学医学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出对比假设检索框架CHR，通过生成正确和错误假设来提升医疗问答系统检索效果，实验显示在多个基准测试中优于现有方法，有效减少硬负样本污染。

Building Agent Harnesses for Scientific Curation from Multimodal Sources

构建用于多模态来源科学数据提取的智能体框架

Sheng Zhang, Qin Liu, Renqian Luo, Shufang Xie, Reuben Tan, Sean Hayes, Gregory Bryman, Wendong Ge, Ruilian Zhang, Oluwaseun Egbelowo, Kelly Yee, Hoifung Poon

机构 * Microsoft Research（微软研究院） ； University of California, Davis（加州大学戴维斯分校） ； Merck & Co., Inc., Rahway, NJ, USA（默克公司（美国新泽西州拉威）） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出Beaver框架，通过任务分解、多模态证据工具和可追溯性，将科学文献中的结构化信息提取转化为可审计的工作流，在GRAS指标上比前沿智能体提升23个绝对百分点。

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures

Stable On-Policy Distillation through Adaptive Target Reformulation

通过自适应目标重述实现稳定的在线策略蒸馏

Ijun Jang, Jewon Yeom, Juan Yeo, Hyunggyu Lim, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Veto方法，通过在logit空间构建几何桥梁，解决传统在线策略蒸馏中的分布不匹配问题，提升训练稳定性与输出多样性。

Comments 10 pages, 5 figures, Accepted to Findings of ACL 2026

Universal Algorithm-Implicit Learning

通用算法隐式学习

Stefano Woerner, Seong Joon Oh, Christian F. Baumgartner

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对当前元学习方法局限性，引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法，有随机投影等创新，在少样本基准测试中性能领先，能推广到未见领域和模态，处理更多类别任务且节省计算成本。

Comments Accepted at ICML 2026

Base Models Know How to Reason, Thinking Models Learn When

基础模型知道如何推理，思维模型在训练中学习时机

Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究思维语言模型训练中比基础模型多学到了什么，提出无监督方法和建设性模型差异分析，通过九个基础/思维模型对实验发现强化学习教编排基础机制启发式，监督微调蒸馏装新机制，为训练范式及推理模型开发提供新视角。

Comments Accepted as a Spotlight at the International Conference on Machine Learning 2026

Few-Step Diffusion Language Models via Trajectory Self-Distillation

通过轨迹自蒸馏实现少步扩散语言模型

Tunyu Zhang, Xinxi Zhang, Ligong Han, Haizhou Shi, Xiaoxiao He, Zhuowei Li, Hao Wang, Kai Xu, Akash Srivastava, Chengzhi Mao, Hao Wang, Vladimir Pavlovic, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过轨迹自蒸馏框架训练少步学生模型，以匹配全步教师的生成轨迹，从而减少解码步骤带来的输出质量下降，并结合DDO提升推理任务性能。

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair

ContraFix：通过差分运行时证据和技能重用进行代理漏洞修复

Simiao Liu, Fang Liu, Peiding Wang, Taichuan Li, Yinghao Zhu, Xiaoli Lian, Li Zhang

机构 * Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ContraFix框架，通过差分运行时证据和可重用的修复技能，解决大型语言模型代理在自动漏洞修复中的语义误解问题，实现了在SEC-Bench和PatchEval上的高准确率。

Comments Code: https://figshare.com/s/f173c78e44bca88ebaea

Playing 20 Question Game with Policy-Based Reinforcement Learning

基于策略的强化学习玩20个问题游戏

Huang Hu, Xianchao Wu, Bingfeng Luo, Chongyang Tao, Can Xu, Wei Wu, Zhan Chen

机构 * Peking University（北京大学） ； Microsoft Corporation（微软公司） ； Microsoft Development Co., Ltd（微软开发有限公司） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于策略的强化学习方法，使提问者通过与用户持续交互学习最优问题选择策略，并利用奖励网络估计信息奖励，无需知识库且对噪声答案鲁棒。

Comments Withdrawal from the conference

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

虚假奖励悖论：从机制上理解RLVR如何在LLMs中激活记忆捷径

Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究RLVR中虚假奖励导致模型依赖记忆而非推理的机制，发现锚定-适配器电路，并通过因果干预验证其作用。

Comments ICML 2026

Tuning Language Models by Mixture-of-Depths Ensemble

通过深度混合集成微调语言模型

Haoyan Luo, Lucia Specia

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MoDE框架，将后期层作为集成通过学习路由权重贡献最终logits，可在任何微调方法上应用，以较小参数开销提升推理性能。

The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL

最优Token基线：长程LLM-RL的方差缩减

Yingru Li, Jiawei Xu, Ziniu Li, Jiacai Liu, Wei Liu, Yuxuan Tong, Longtao Zheng, Zhenghai Xue, Yaxiang Zhang, Tianle Cai, Ge Zhang, Qian Liu, Baoxiang Wang

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； Hong Kong University of Science（香港科学大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Vector Institute（向量研究所） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对长程LLM-RL训练中梯度方差爆炸问题，从第一性原理推导最优Token基线，提出仅用前向概率近似梯度范数的Logit-Gradient Proxy，以N=4分组达到N=32性能，减少65%以上Token消耗。

A Survey of On-Policy Distillation for Large Language Models

大型语言模型的在线策略蒸馏综述

Mingyang Song, Mao Zheng

机构 * Tencent, China（腾讯，中国） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的在线策略蒸馏方法，探讨了蒸馏过程中如何通过反馈减少累积误差，提出了基于f-散度最小化的蒸馏框架，并分析了蒸馏与强化学习之间的联系。

Comments Ongoing Work

OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

OmniSapiens: 一种通过异质性感知相对策略优化进行社会行为处理的基础模型

Keane Ong, Sabri Boughorbel, Luwei Xiao, Chanakya Ekbote, Wei Dai, Ao Qu, Jingyao Wu, Rui Mao, Ehsan Hoque, Erik Cambria, Gianmarco Mengaldo, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Prince Sattam bin Abdulaziz University（普森·萨塔姆·本·阿卜杜勒阿齐兹大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对行为数据异质性导致的训练不平衡问题，提出Omnisapiens-7B 2.0基础模型，采用异质性感知相对策略优化（HARPO）方法，在10个行为任务和5个零样本泛化基准上取得最佳性能。

Comments Accepted to ICML 2026 Main Conference

HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools

HyDRA：异构LLM池的混合动态路由架构

Aashna Garg, Siddharth Singha Roy, Jinu Jang, Federico Brancasi, Shengyu Fu

机构 * Microsoft（微软） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出HyDRA，一种能够根据查询预测细粒度多维能力需求并匹配配置定义模型配置的混合动态路由架构，实现了在异构LLM池中高效且无需重新训练的模型选择。

Comments preprint v2

The Pragmatic Persona: Discovering LLM Persona through Bridging Inference

实用人格：通过桥接推理发现LLM人格

Jisoo Yang, Jongwon Ryu, Minuk Ma, Trung X. Pham, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, 06974, Republic of Korea（Chung-Ang大学人工智能系） ； Department of Computer Science, University of British Columbia, Vancouver, BC V6T 1Z4, Canada（不列颠哥伦比亚大学计算机科学系） ； Van Lang University, Ho Chi Minh City, Vietnam（文-lang大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于桥接推理的框架，通过构建话语级知识图谱捕捉LLM对话中的隐含语义关联，实现从话语连贯性层面发现稳定人格特征，优于基于频率或风格的基线方法。

Comments 15 pages, 4 figures, accepted to ICPR 2026

Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning

超越大语言模型强化学习中的统一令牌级信任区域

Renjie Mao, Xiangxin Zhou, Lvfang Tao, Yixin Ding, Yu Shi, Yongguang Lin, Yuheng Wu, Honglin Zhu, Qian Qiu, Wenxi Zhu

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对PPO风格信任区域在自回归生成中的位置无关问题，提出CPPO方法，通过位置加权阈值和累积前缀预算动态调整令牌级约束，提升训练稳定性和推理准确性。

Comments Project Page: https://hunyuan-cppo.github.io/

Vision-Language-Action Jump-Starting for Reinforcement Learning Robotic Agents

视觉-语言-动作跳跃启动用于强化学习机器人智能体

Angelo Moroncelli, Roberto Zanetti, Marco Maccarini, Loris Roveda

机构 * University of Applied Science and Arts of Southern Switzerland, Department of Innovative Technologies（瑞士南方应用科学与艺术大学创新技术系） ； Università della Svizzera Italiana, Faculty of Informatics, Lugano, Switzerland（瑞士意大利大学信息学院，卢加诺，瑞士） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出VLAJS方法，通过稀疏的VLA高层动作建议引导PPO探索，结合方向性动作一致性正则化，提升强化学习在长时域操作任务中的样本效率，并在仿真和真实机器人上验证。

Comments ICRA 2026 Workshop on Reinforcement Learning in the Era of Imitation Learning

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

全注意力再临：在数百次训练步骤内将全注意力转化为稀疏

Yanke Zhou, Yiduo Li, Hanlin Tang, Maohua Li, Kan Liu, Tao Lan, Lin Qu, Yuan Yao, Xiaoxing Ma

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RTPurbo方法，通过利用模型内在稀疏性，在少量训练步骤内实现高效的稀疏注意力，从而在保持接近无损精度的同时，显著提升推理效率。

Comments 20 pages, 9 figures

Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

时间序列与时空数据的大模型：综述与展望

Ming Jin, Yaxuan Kong, Yuxuan Liang, Chaoli Zhang, Siqiao Xue, Xue Wang, James Zhang, Yi Wang, Haifeng Chen, Xiaoli Li, Vincent S. Tseng, Yu Zheng, Lei Chen, Hui Xiong, Shirui Pan, Qingsong Wen

机构 * Griffith University（格里菲斯大学） ； University of Oxford（牛津大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Zhejiang Normal University（浙江师范大学） ； Ant Group（蚂蚁集团） ； Alibaba Group（阿里巴巴集团） ； Deloitte Service LLP（德勤服务有限责任公司） ； The University of Hong Kong（香港大学） ； NEC Laboratories America（NEC美国实验室） ； A*STAR ； National Yang Ming Chiao Tung University（阳明交通大学） ； JD Technology（京东科技） ； Squirrel Ai Learning 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 综述了面向时间序列和时空数据的大模型，按数据类型、模型类别、范围和应用领域分类，总结了通用与领域专用模型，并整理了相关资源与开放问题。

Comments Accepted by ACM Computing Surveys; 35 Pages; Github Repo: https://github.com/qingsongedu/Awesome-TimeSeries-SpatioTemporal-LM-LLM

MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs

MoDA: 面向指令型多模态大语言模型的细粒度视觉定位的调制适配器

Wayner Barrios, Andrés Villa, Juan León Alcázar, SouYoung Jin, Bernard Ghanem

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出MoDA调制适配器，通过指令引导的通道级乘法调制增强细粒度视觉定位，在12个基准上对三种MLLM架构取得一致提升，计算开销极小。

Comments Accepted at ICML 2026. Code is available at https://github.com/waybarrios/MoDA

Discovering Efficient and Explainable Communication Topologies for LLM-based Multi-Agent Systems via Causal Inference

通过因果推理发现基于大语言模型的多智能体系统的高效且可解释的通信拓扑

Junzhi Li, Peng He, Qirui Ji, Wei Wang, Lixiang Liu, Chuxiong Sun

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对基于LLM的多智能体系统通信拓扑可解释性不足的问题，提出模型无关框架E2-Explainer，通过因果推理识别关键通信子图，在保持任务性能的同时降低了通信成本。

BUZZY: Contrastive Scoring to Mitigate Text-Induced Bias in Multimodal Multiple-Choice QA

当选择成为先验：用于科学图表多选问答的对比解码

Taeyun Roh, Suhyeong Park, Dongyoung Lee, Eunyeong Jo, Wonjune Jang, Junha Jung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Konkuk University（建国大学） ； Myongji University（明知大学） ； AIGEN Sciences 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出SCICON方法，通过对比文本和图像信息，减少选择偏差，提升科学图表多选问答的准确性。

Bridging Network Fragmentation: A Semantic-Augmented DRL Framework for UAV-aided VANETs

弥合网络碎片化：一种语义增强的深度强化学习框架用于无人机辅助的VANETs

Gaoxiang Cao, Wenke Yuan, Huasen He, Yunpeng Hou, Xiaofeng Jiang, Shuangwu Chen, Jian Yang

机构 * Department of Automation, University of Science & Technology of China（中国科学技术大学自动化系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出语义增强深度强化学习框架，通过语义推理优化无人机在VANETs中的部署，提升网络连通性与效率。

Comments Revised version. This update includes substantial improvements to the methodology, ablation studies, temporal robustness analysis, and cross-city generalization experiments. Submitted to IEEE Transactions on Cognitive Communications and Networking. 15 pages, 14 figures

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

面向全归纳图神经网络的结构交互图上的神经消息传递

Omer Yom-Tov, Avigdor Gal

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 该研究提出SIGIL框架，通过结构交互图和关系消息传递网络实现图特征的统一表示，可用于全归纳链接预测，还能统一多种图基础模型设计范式。

Comments 7 pages, 1 figure in the main body. 12 pages, 5 figures in appendix. Submitted to AAAI 2027 (main track) and currently under review