大模型推理能力

Lookahead Branching for Neural Network Verification

神经网络验证中的前瞻分支

Liam Davis, Duo Zhou, Huan Zhang, Guy Katz, Clark Barrett, Haoze Wu

机构 * Amherst College（阿默斯特学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究神经网络验证中前瞻分支策略，提出通用集成方法，以FSB为例说明，还阐述其能生成加速验证的引理，通过在两个验证器中实例化，实现验证时间加速及解决实例数增加。

Comments Accepted to IJCAI 2026. Lookahead branching is part of the Marabou and $α$-$β$-CROWN verifiers

Distilled Reinforcement Learning for LLM Post-training

用于大语言模型训练后处理的蒸馏强化学习

Chen Wang, Zhaochun Li, Jionghao Bai, Yining Zhang, Hexuan Deng, Ge Lan, Yue Wang

机构 * College of Elite Engineers, Nankai University（南开大学精英工程师学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； College of Software, Nankai University（南开大学软件学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型训练后处理问题，提出蒸馏强化学习方法，集成教师监督到RL目标，含反向重要性采样等三个组件，能有效转移知识，在家族内和跨家族蒸馏实验中性能大幅优于标准RL和OPD。

Recursive Harness Self-Improvement

递归工具自我改进

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究在模型-工具协同进化中，通过递归工具自我改进（RHI）优化用户构建工具，以提高执行轨迹质量和智能体性能。RHI将工具表示为提示级规范，经成对反馈迭代改进，在多任务中提升了低推理能力智能体性能，降低推理成本。

Comments This work addresses the first half of the model-harness coevolution loop

Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

揭开在线策略蒸馏的神秘面纱：作用、问题及调控

Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Wenhao Yu, Kam-Fai Wong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯人工智能实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究在线策略蒸馏的作用、问题及调控，阐明其为探索催化剂，揭示师生不匹配和长度利用问题，提出优势裁剪和对数尺度压缩调控，实验表明良好调控的信号质量决定OPD中成功探索。

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

用于智能强化学习的单步异步优化

Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对异步强化学习中训练稳定性和离策略挑战，提出单步异步优化（SAO）。核心方法是用单步采样取代分组采样，改进单步策略并引入裁剪策略。主要贡献是SAO训练稳定，性能优于GRPO及其变体，在模拟在线学习中有效且成功部署于模型训练。

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

大语言模型的是非偏差反映答案顺序和措辞，而非道德判断的转变

Haonan Huang

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在道德困境判断中的是非偏差，通过交叉对称化等心理测量方法区分逻辑判断、词汇等因素，发现前沿模型立场与形式无关，部分模型存在顺序和词汇偏差，最小模型可总结伪像，强调跨框架测量模型重视内容。

Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation

具有跨情节记忆和策略蒸馏的自我审查强化学习

Muhammad Zain Amin, Kibele Sebnem Yildirim

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对强化学习中环境反馈稀疏或延迟问题，提出自我审查强化学习框架，通过策略梯度优化自我审查，经选择性蒸馏内化改进到基础策略，用跨情节记忆保留成功审查，在GSM8K基准上评估，该框架优于基线且学习效率更高。

Comments 9 pages, 2 figures

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

利用离线强化学习学习控制大语言模型智能体的执行框架

Haiwen Yi, Xinyuan Song

机构 * University of Toronto（多伦多大学） ； Emory University（埃默里大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出将大语言模型智能体的执行框架视为可学习控制层，通过有限 horizon 的框架马尔可夫决策过程，利用离线强化学习训练轻量级控制器，在多领域实验中改进验证行为、提高任务质量，证明框架控制可学习且离线支持有局限。

Comments 17 pages, 7 figures

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach: 用于评估和增强智能体技能使用的自演化评分准则

Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。

When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

当LLM粗心阅读表格时：测量并减少数据引用错误

Yuqing Yang, Qi Zhu, Zhen Han, Boran Han, Zhengyuan Shen, Shuai Wang, Vassilis N. Ioannidis, Huzefa Rangwala

机构 * University of Southern California（南加州大学） ； AWS AI Labs（AWS AI实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究系统评估了大型语言模型在表格任务中的数据引用错误，并提出基于批评模型的过滤与拒绝采样方法，将答案准确率提升高达12.0%。

Comments ACL 2026 (Oral)

Fork-Think with Confidence

基于置信度的分叉思考

Zena Al-Khalili, Rafi Hakim, Dietrich Klakow, Ji-Ung Lee

机构 * Saarland Informatics Campus, Saarland University, Germany（德国萨尔大学萨尔兰信息学园区） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种先决策后思考的并行推理方法，通过模型置信度识别分叉点并采样多条路径聚合，在保持或提升推理性能的同时，将token消耗降低30%，运行时间减少57%。

Delayed Verification Destabilizes Multi-Agent LLM Belief: Instability Thresholds and Optimal Corrector Placement

延迟验证破坏多智能体LLM信念：不稳定性阈值与最优校正器放置

Igor Itkin

机构 * Independent Researcher（独立研究者） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 研究多智能体LLM系统中延迟验证导致信念不稳定的问题，通过图论和谱分解推导出验证剂量的稳定性阈值，并提出贪心近似算法优化校正器放置。

Comments 20 pages, 5 figures, 1 table. Code and data: https://github.com/YehudaItkin/delayed-verification-llm

Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications

神经网络中的安全保障真的安全吗？如何计算可信的鲁棒性认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高等研究院） ； University of Lleida（莱里达大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 针对神经网络对抗样本问题，提出apothem度量以线性时间计算最优鲁棒性认证，并证明体积最优认证的不可行性，引入双重认证和ParallelepipedoNN系统，在MNIST等基准上实现至少两倍的最小边长改进。

Teaching Diffusion to Speculate Left-to-Right

教导扩散模型从左到右推测

Lexington Whalen, Yuki Ito, Ryo Sakamoto

机构 * Lexington Whalen ； Yuki Ito ； Ryo Sakamoto 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对自回归解码的推理瓶颈，提出三种训练时干预方法（位置加权、首次错误焦点损失、链损失）来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性，显著提升接受草稿长度。

Comments 13 pages, technical report

Diffusion Language Models: An Experimental Analysis

扩散语言模型：一项实验分析

Thomas Bertolani, Davide Bucciarelli, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） ； University of Pisa（比萨大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统比较了八种扩散语言模型在推理、编码、翻译等任务上的表现，分析了去噪步数、上下文长度等推理因素对性能与效率的影响，揭示了扩散语言模型在不同任务和预算下的权衡。

Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning

贝叶斯深度学习中的校准无采样不确定性估计

Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

机构 * TU Darmstadt & hessian.AI, Darmstadt, Germany（达姆施塔特工业大学 & hessian.AI，德国达姆施塔特） ； RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（日本理化学研究所革新智能研究中心，日本东京） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出校准方差传播（CVP），通过新型归一化层传播方法、激活函数处理技术及轻量校准步骤，在单次前向传播中高效估计不确定性，在Transformer和CNN上达到与MC采样相当的精度，成本显著降低。

How LLMs Fail and Generalize in RTL Coding for Hardware Design?

LLM在硬件设计的RTL编码中如何失败与泛化？

Guan-Ting Liu, Chao-Han Huck Yang, Chenhui Deng, Zhongzhi Yu, Brucek Khailany, Yu-Chiang Frank Wang

机构 * NVIDIA Research（英伟达研究院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于问题可解性的错误分类法，揭示LLM在RTL编码中受限于预训练知识，对齐技术仅教会编译，而推理能力才是关键瓶颈。

Comments Preview, under submission for EMNLP 2026

Structured Inference with Large Language Gibbs

大语言吉布斯结构化推理

Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

机构 * University of Edinburgh, School of Informatics（爱丁堡大学信息学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出大语言吉布斯方法，利用大语言模型的条件分布作为转移算子进行结构化概率推理，通过迭代重采样变量避免顺序偏差，在合成分布、一致性推理和贝叶斯结构学习中验证有效性。

Comments Code: https://github.com/hyeok9855/large-language-gibbs

Self-CTRL: Self-Consistency Training with Reinforcement Learning

Self-CTRL：基于强化学习的自一致性训练

Itamar Pres, Laura Ruis, Melat Ghebreselassie, Belinda Z. Li, Jacob Andreas

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出Self-CTRL方法，通过强化学习优化语言模型自我解释与行为之间的一致性，在概率推理和宪法AI任务上显著提升一致性和安全性。

Comments 34 pages, 12 figures, includes appendices

LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling

LoopCoder-v2: 仅循环一次以实现高效的测试时计算扩展

Jian Yang, Shawn Guo, Wei Zhang, Tianyu Zheng, Yaxin Du, Haau-Sing Li, Jiajun Wu, Yue Song, Yan Xing, Qingsong Cai, Zelong Huang, Chuan Hao, Ran Tao, Xianglong Liu, Wayne Xin Zhao, Mingjie Tang, Weifeng Lv, Ming Zhou, Bryan Dai

机构 * Beihang University（北京航空航天大学） ； IQuest Research ； Langboat（浪波） ； Renmin University of China（中国人民大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出并行循环Transformer（PLT）并研究循环次数选择，发现两循环变体在代码生成等任务上显著提升，而三循环以上性能下降，揭示了增益-成本权衡。

Selection Without Signal, Recovery Through Expression: A Measurement Study of Post-Hoc Falsification Operators for Frozen Small Code Models

无信号下的选择，通过表达恢复：冻结小代码模型的事后伪造操作符的测量研究

Mehmet Iscan

机构 * PythaLab, Yıldız Technical University, Istanbul, Turkey（Pytha实验室，伊兹密尔技术大学，伊斯坦布尔，土耳其） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究测量了冻结小代码模型的事后语义操作符（如选择、验证、修复）的有效性，发现它们均未优于Best-of-N，并揭示了覆盖墙、能力剪刀和共识陷阱等机制原因；而表达层恢复（M1）通过鲁棒提取和签名对齐提升了准确率。

Comments 33 pages, 4 figures, 8 tables

Why Sampling Is Not Choosing: Intentionality, Agency, and Moral Responsibility in Large Language Models

为什么采样不是选择：大语言模型中的意向性、能动性与道德责任

Joseph Keshet

机构 * Joseph Keshet（约瑟夫·凯舍特） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文论证大语言模型不具备道德责任所需的承诺性能动性，其输出源于概率映射而非内在意向性，随机采样不等于选择。

Speculative Rollback Correction for Quality-Diverse Web Agent Imitation

面向质量多样性的Web智能体模仿的推测性回滚修正

Longkun Hao, Hongyu Lin, Hao Li, Zhichao Yang, Haojie Hao, Dongshuo Huang, Haitao Yang, Hongyu Ge, Ming jie Xie, Yanjun Wu, Zi Hao Yin, Yan Bai, Yihang Lou

机构 * Beihang University（北京航空航天大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； The Hong Kong University of Science and Technology（香港科技大学） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出推测性回滚修正（SRC）框架，通过固定视野分支审查和回滚机制，在减少教师查询的同时保持轨迹多样性，在WebArena-Infinity上收集了977条通过验证的轨迹和9183个下一步动作示例。

Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

打破熵界：通过带拒绝采样的多令牌预测加速强化学习训练

Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou

机构 * Qwen Team, Alibaba Inc（阿里巴巴集团 Qwen 团队） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对强化学习训练中多令牌预测接受率因熵波动而下降的问题，提出Bebop方法，采用概率拒绝采样和端到端TV损失优化，实现高达95%接受率和1.8倍加速。

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding

VIA-SD：通过模型内路由进行推测解码的验证

Yuchen Xian, Yang He, Yunqiu Xu, Yi Yang

机构 * ReLER, The State Key Lab of Brain Machine Intelligence, Zhejiang University（脑机智能国家重点实验室，浙江大学） ； College of Artificial Intelligence, Zhejiang University（人工智能学院，浙江大学） ； CFAR, Agency for Science, Technology and Research, Singapore（科学与技术研究局，新加坡） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出VIA-SD多级验证框架，利用从完整验证器派生的精简验证器处理中等置信度令牌，减少大模型调用，在多个任务上实现10-20%加速。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

IntElicit: Eliciting and Assessing Contextualized Creativity via Dialogue Policy Optimization

IntElicit: 通过对话策略优化引出和评估情境化创造力

Mingjia Li, Jin Wu, Hong Qian, Wenhao Huang, Yiyang Huang, Yiwen Zhang, Chanjin Zheng, Xiangfeng Wang, Aimin Zhou, Jiajun Guo

机构 * East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出IntElicit框架，通过分解过程奖励机制优化对话策略，在交互中减少非创造性混淆因素，从而更有效地引出和评估情境化创造力。

The Power of Test-Time Training for Approximate Sampling

测试时训练对近似采样的威力

Noah Golowich, Ankur Moitra, Dhruv Rohatgi

机构 * Microsoft Research NYC（微软研究院纽约分校） ； MIT（麻省理工学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文形式化测试时训练（TTT）为从已知分布类中采样的问题，证明查询复杂度的二次下界，并展示在分布类大小受限时可规避该下界，为TTT提供理论框架。

Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops

通过对抗性黑客-修复者循环强化智能体基准测试

Ziqian Zhong, Ivgeni Segal, Ivan Bercovich, Shashwat Saxena, Kexun Zhang, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Fewshot Corp（Fewshot公司） ； Independent Researcher（独立研究员） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出黑客-修复者循环方法，通过LLM代理交替攻击和修补验证器，自动生成抗利用的验证器，将KernelBench攻击成功率从62%降至0%。

SPADE: Speculative Decoding for Precise and Low Cost Distributed Edge Cloud Inference

SPADE：用于精确且低成本分布式边缘云推理的推测解码

Divya Jyoti Bajpai, Kishan Kumar Upadhyay, Manjesh Kumar Hanawal

机构 * IIT Bombay（印度理工学院孟买分校） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 SPADE是一种集成推测解码的分布式边缘云推理框架，通过边缘草稿模型与云端验证模型的协作，减少76%云端模型调用且不损失准确率，降低了LLM部署的成本与推理时间。

NaviDC-OCR: Navigating Document Parsing Across Digital and Camera-Captured Documents

NaviDC-OCR：面向数字文档与相机拍摄文档的解析导航

Peng Cai, Zhaofan Zou, Shifa Liu, Yikun Wang, Jiawei Tang, Kaicheng Yang, Meng Tong, Zhongjiang He, Hao Sun

机构 * China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 针对现有文档解析方法的两大挑战，本文提出NaviDC-OCR框架，通过形变感知学习、自适应采样及内容-结构解耦学习策略，在多基准测试中取得最优性能并获ICDAR 2026相关挑战第一。