大模型推理能力

Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents

保持策略梯度主导：面向长程工具使用智能体的兄弟引导信用蒸馏

Tianyu Ding, Jianhong Xin, Juan Pablo De la Cruz Weinstein

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对长程工具使用强化学习中轨迹级优势信号稀疏的问题，提出兄弟引导信用蒸馏（SGCD），通过动态采样成功与失败轨迹、外部LLM对比生成逐步信用参考，实现密集信用分配，在AppWorld和τ³-airline任务上显著提升性能。

Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis

奖励科学过程：面向代理数据分析的过程级奖励建模

Zhisong Qiu, Shuofei Qiao, Kewei Xu, Yuqi Zhu, Lun Du, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DataPRM，一种环境感知的生成过程奖励模型，通过主动验证和反思意识的三元奖励策略，提升动态数据分析任务中代理的性能，实验表明其在多个基准测试中表现优异。

Comments KDD 2026

Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR

延迟、平台期或崩溃：评估系统性验证错误对RLVR的影响

Kazuki Egashira, Mark Vero, Jasper Dekoninck, Florian E. Dorner, Robin Staab, Martin Vechev

专题命中 测试时计算 ：verifier(abstract,comments)；reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究探究系统性验证错误对RLVR的影响，发现系统性误报会引发次优平台期或性能崩溃，验证器质量需结合错误模式而非仅样本级错误率评估。

Comments COLM 2026. Code: https://github.com/eth-sri/llm-verifier-noise

Where Reasoning Diverges: Localized Multi-Agent Debate for Multi-Hop Question Answering

推理分歧之处：本地化多智能体辩论

Weijun Gao, Xiang Ding, Haoyang Liu, Tiancheng Xing

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nagoya University（名古屋大学） ； Institute of Science Tokyo（东京科学大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 测试时计算 ：reasoning(title)；分类 cs.AI

AI总结 针对多智能体辩论冗余交换完整推理轨迹的问题，提出LMAD协议，通过定位冲突并限制辩论范围，在十个骨干模型上实现宏平均评判准确率提升7.20个百分点。

Orchard: An Open-Source Agentic Modeling Framework

Orchard：一个开源的智能体建模框架

Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandro Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； Columbia University（哥伦比亚大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Orchard，一个开源的智能体建模框架，通过轻量级环境服务和三种智能体建模食谱，实现了跨领域可重用的智能体数据、训练和评估。

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

基于表示的语言模型探索：从测试时到训练后

Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

机构 * Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型中强化学习探索新行为的价值，提出基于预训练模型隐藏状态的表示奖励探索方法，在推理时和训练后都显著提升了模型性能，如验证效率和测试时样本效率，为发现新行为提供实用途径。

Comments Accepted at ICLR 2026. Website and code: https://rep-exp.github.io

Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents

边行动边学习：面向在线终身学习智能体的技能增强测试时协同进化框架

Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Software Engineering Institute, East China Normal University（东华大学软件工程学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出LifeSkill框架，通过验证器引导的技能学习和在线技能内化，使LLM智能体在测试时持续内化反馈，提升终身学习性能。

Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals

重新思考推理时缩放：效率极限与语言信号

Junlin Wang, Shang Zhu, Jon Saad-Falcon, Ben Athiwaratkun, Qingyang Wu, Jue Wang, Shuaiwen Leon Song, Ce Zhang, Bhuwan Dhingra, James Zou

机构 * Duke University（杜克大学） ； Together AI ； University of Chicago（芝加哥大学） ； Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.AI

AI总结 本研究分析推理时缩放的效率极限，发现非推理模型存在无法突破的推理底线，多数投票优于复杂框架，还识别出正确性的语言信号，为高效推理智能体提供了新路径。

Comments update figures, writings

Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents

超越成功率：攻防安全代理的成本感知评估

Paul Kassianik, Blaine Nelson, Yaron Singer

专题命中 测试时计算 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.AI

AI总结 研究通过成本-成功率视角评估语言模型安全代理，在攻防挑战中比较固定成本下模型性能，发现红蓝队任务扩展模式不同，进攻性CTF性能与测试时计算量有关，防御性SOC调查更依赖工具使用等，强调安全代理基准应考量经济效率与运营契合度。

From Chatbot to Digital Colleague: The Paradigm Shift Toward Persistent Autonomous AI

从聊天机器人到数字同事：向持久自主人工智能的范式转变

Yongheng Zhang, Ziang Liu, Jiaxuan Zhu, Shuai Wang, Xiangqi Chen, Haojing Huang, Jiayi Kuang, Siyu Chen, Ao Shen, Hao Wu, Qiufeng Wang, Qian-Wen Zhang, Junnan Dong, Wenhao Jiang, Ying Shen, Hai-Tao Zheng, Yinghui Li, Di Yin, Xing Sun, Philip S. Yu

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出LLM从聊天机器人向数字同事的范式转变，通过认知核心（思考型LLM）和工具增强任务执行（OpenClaw工作站系统）两个维度，实现持久工作、状态持久化、可重用技能和自改进能力。

Comments The paper is available on the project website: https://from-chatbot-to-digital-colleague.github.io/

Not All Invariants Are Equal: Curating Training Data to Accelerate Program Verification with SLMs

并非所有不变式都同等重要：利用SLM通过精选训练数据加速程序验证

Ido Pinto, Yizhak Yisrael Elboher, Haoze Wu, Nina Narodytska, Guy Katz

机构 * Hebrew University of Jerusalem, Israel（特拉维夫大学） ； Amherst College, USA（阿默斯特学院） ； VMware Research by Broadcom, USA（Broadcom VMware 研究） 纠错

专题命中 测试时计算 ：test-time compute(abstract)；verifier(abstract)；分类 cs.LG

AI总结 提出Wonda数据筛选流水线，通过AST归一化和LLM语义重写从原始验证器输出中提取高质量训练不变式，微调小语言模型（SLM）后，在多个模型上使不变式正确性和加速率翻倍甚至三倍，小模型性能媲美大模型。

Comments A preprint of the ICML 2026 paper with the same title

To Memorize or to Retrieve: Scaling the Interaction Between Pretraining and Retrieval

记忆还是检索：考虑RAG的缩放规律

Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

机构 * Stanford University（斯坦福大学） ； Independent Researcher（独立研究员） ； Patronus AI ； The Ohio State University（俄亥俄州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了预训练知识与检索知识的平衡，提出三维缩放框架，揭示在不同模型规模和任务类型下检索的边际效用，为语言模型设计提供数据资源分配指导。

Comments Code available at https://github.com/DegenAI-Labs/RAG-Scaling-Laws

Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning

基于重新定义的逐步优势的自引导过程奖励优化用于过程强化学习

Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

机构 * Terminus Group（Terminus集团） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对过程强化学习中引入奖励模型计算开销大且缺乏统一优势估计框架的问题，提出SPRO框架，通过从策略模型导出奖励及重新定义优势进行过程感知强化学习，实验显示其训练效率高、准确率提升且无额外开销。

Large Language Models Explore by Latent Distilling

通过潜在蒸馏探索大语言模型

Yuanhao Zeng, Ao Lu, Lufei Li, Zheng Zhang, Yexin Li, Kan Ren

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（人工智能通用基础理论国家重点实验室，BIGAI，北京，中国） ； School of Information Science and Technology, ShanghaiTech University, Shanghai, China（信息科学与技术学院，上海交通大学，上海，中国） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Exploratory Sampling方法，通过蒸馏模型引导生成过程，提升语义多样性与推理效率，在数学、科学和代码生成中表现优异。

Comments 25 pages, 5 figures. Accepted in ICML 2026

HKVLM: Faithful Query--Region Binding for Frozen-Detector Visual Grounding

HKVLM：通过将语言查询绑定到冻结检测器实现忠实推理定位

Bo Ma

机构 * Bo Ma 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)

AI总结 提出HKVLM框架，通过将定位从语言路径中分离，利用冻结检测器和语言模型，仅训练轻量对齐钩子实现推理定位，在少样本冷启动场景下显著提升定位精度并减少幻觉。

The Strongest Teacher Is Not Always the Best Teacher: Student-Centric Answer Selection

最强的教师并不总是最好的教师：以学生为中心的答案选择

Zhengyu Hu, Zheyuan Xiao, Linxin Song, Fengqing Jiang, Yuetai Li, Zhihan Xiong, Yue Liu, Junhao Lin, Yao Su, Lijie Hu, Kaize Ding, Teng Xiao, Radha Poovendran

机构 * University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Southern California（南加州大学） ； Independent Researcher（独立研究者） ； National University of Singapore（新加坡国立大学） ； Microsoft（微软） ； Google（谷歌） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Northwestern University（西北大学） ； Allen Institute for AI (AI2)（人工智能研究院（AI2）） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出以学生为中心的答案采样（SCAS）框架，通过估计学生中心的学习成本选择教师生成的答案，从而提升学生模型性能。

PRInTS: Reward Modeling for Long-Horizon Information Seeking

PRInTS：面向长程信息检索的奖励建模

Jaewoo Lee, Archiki Prasad, Justin Chih-Yao Chen, Zaid Khan, Elias Stengel-Eskin, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PRInTS生成式过程奖励模型，通过密集评分和轨迹摘要提升长程信息检索中工具交互与推理能力，在多个基准上超越前沿模型。

Comments ACL 2026, 19 pages, code: https://github.com/G-JWLee/PRInTS

LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

LZ惩罚：一种用于自回归语言模型的信息论重复惩罚项

Antonio A. Ginart, Naveen Kodali, Jason Lee, Caiming Xiong, Silvio Savarese, John R. Emmons

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LZ惩罚，基于LZ77压缩算法，可让开源推理模型用贪婪解码时无退化重复，优于现有频率、重复惩罚。

Comments Post-publication corrections (minor calculation mistakes)

Speculative Rollback Correction for Quality-Diverse Web Agent Imitation

面向质量多样性的Web智能体模仿的推测性回滚修正

Longkun Hao, Hongyu Lin, Hao Li, Zhuowen Liu, Zhichao Yang, Haojie Hao, Dongshuo Huang, Haitao Yang, Hongyu Ge, Ming jie Xie, Yanjun Wu, Zi Hao Yin, Yan Bai, Yihang Lou

机构 * Beihang University（北京航空航天大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； The Hong Kong University of Science and Technology（香港科技大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出推测性回滚修正（SRC）框架，通过固定视野分支审查和回滚机制，在减少教师查询的同时保持轨迹多样性，在WebArena-Infinity上收集了977条通过验证的轨迹和9183个下一步动作示例。

Recursive Synthesis for Long-Horizon Terminal Tasks

长视界终端任务的递归合成

Zhongzhi Li, Yucheng Shi, Zongxia Li, Ruhan Wang, Anhao Li, Zixun Huang, Junyao Yang, Lei Ke, Ninghao Liu, Haitao Mi, Leowei Liang

机构 * Tencent HY LLM Frontier（腾讯HY大模型前沿团队） ； University of Georgia（佐治亚大学） ； University of Maryland, College Park（马里兰大学帕克分校） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Minnesota, Twin Cities（明尼苏达大学双城分校） ； Indiana University（印第安纳大学） ； National University of Singapore（新加坡国立大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RST递归合成框架，低成本规模化生成3.7万余个长视界终端任务，经微调或PPO优化后，多款Qwen模型在多个终端基准任务上性能显著提升，且递归过程无明显上限。

Gradual Code-Switching as Inference-Time Cross-Lingual Representational Alignment for LLMs

渐进式代码切换作为大语言模型推理时的跨语言表征对齐

Haneul Yoo, Jiho Jin, Kyunghyun Cho, Alice Oh

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型跨语言性能不均衡问题，提出推理时的代码切换上下文学习机制，经多模型、多语言、多数据集验证，可显著提升目标及未见语言任务性能，尤其在低资源场景表现突出。

Comments COLM 2026

Prompt-Driven Exploration

提示驱动的探索

Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Improbable AI Lab（英普罗巴布尔人工智能实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对强化学习中探索难的问题，提出提示驱动的探索策略（PDE），利用视觉-语言模型对轨迹视频推理，从弱策略轨迹中优化提示，实现后验采样，能让强化学习从零奖励起步学习成功策略并提升样本效率。

Poise: Position-Aware One-Instruction Skill Injection for Silent Execution on LLM Agents

POISE：面向LLM智能体的位置感知不可检测技能注入攻击

Haochang Hao, Dehai Min, Zhifang Zhang, Yunbei Zhang, Miao Xu, Yingqiang Ge, Lu Cheng

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； University of Queensland（昆士兰大学） ； Tulane University（路易斯安那州立大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出POISE攻击方法，通过位置感知将恶意指令压缩为单一良性指令嵌入技能正文，在保持隐蔽性的同时实现89.3%的攻击成功率，比随机位置基线高28.0个百分点。

Comments Title changed from "POISE: Position-Aware Undetectable Skill Injection on LLM Agents" to "Poise: Position-Aware One-Instruction Skill Injection for Silent Execution on LLM Agents"; the manuscript, figures, appendices, and reproducibility details have been updated. 15 pages, 2 figures, 4 tables

Spherical Flows for Sampling Categorical Data

用于分类数据采样的球面流

Jannis Chemseddine, Gregor Kornhardt, Gabriele Steidl

机构 * Technische Universität Berlin（柏林技术大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出在球面上利用von Mises-Fisher分布进行离散序列生成建模，通过径向对称性简化连续性方程为标量ODE，结合后验加权切线和与预测-校正采样实现高效采样。

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

MetaSICL: 通过元语音上下文学习适应听觉大语言模型

Haolong Zheng, Siyin Wang, Zengrui Jin, Mark Hasegawa-Johnson

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。

STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts

STATe-of-Thoughts：用于树状思维的结构化动作模板

Zachary Bamberger, Till R. Saenger, Gilad Morad, Ofra Amir, Brandon M. Stewart, Amir Feder

机构 * Technion（以色列理工学院） ； Princeton University（普林斯顿大学） ； Independent（独立作者） ； Hebrew University（希伯来大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 STATe通过结构化动作模板提升文本生成的多样性和可控性，通过显式动作序列捕捉可解释特征，增强生成质量与可解释性。

Comments Accepted to COLM 2026. Version 3. 11 pages main, 85 pages total, 23 tables, 21 figures

Seeking Physics in Diffusion Noise

在扩散噪声中寻求物理规律

Chujun Tang, Lei Zhong, Fangqiang Ding

机构 * Brown University（布朗大学） ； University of Edinburgh（爱丁堡大学） ； MIT（麻省理工学院） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过分析预训练扩散变换器的中间去噪表示，发现物理合理与不合理视频在中层特征空间部分可分离，提出渐进轨迹选择策略提升物理一致性并降低推理成本。

Comments 15 pages

Group-Reflective Self-Distillation for Agentic Reinforcement Learning

面向智能体强化学习的组内自蒸馏方法

Binbin Zheng, Zijun Xie, Guanqun Zhao, Enlei Gong, Xing Ma, Xiaoliang Fu, Zeyu Chen

机构 * Baidu（百度） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对智能体强化学习中终端奖励监督粗粒度的问题，提出组内自蒸馏方法，利用策略自身已验证轨迹生成指导，细化回合级信用分配，在多环境多模型上性能优于基线且泛化性更好。

S-GRPO: Unified Post-Training for Large Vision-Language Models

S-GRPO：面向大视觉语言模型的统一后训练方法

Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

机构 * Tencent（腾讯） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出S-GRPO，结合模仿学习指导与偏好优化的多轨迹探索，通过条件真实轨迹注入机制解决SFT与RL的效率问题，提升收敛速度与领域适应能力。

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Skills on the Fly: Test-Time Adaptive Skill Synthesis for LLM Agents

Jingxing Wang, Chenyu Zhou, Zhihui Fu, Jun Wang, Weiwen Liu, Weinan Zhang, Jianghao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 测试时计算 ：test-time compute(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种在测试时自适应的技能合成方法SkillTTA，通过检索与当前任务相关的少量训练轨迹并将其合成成为任务特定的文本技能，以提高LLM代理在SpreadsheetBench、ALFWorld和BigCodeBench等任务上的性能。

Comments 15 pages, 6 figures