大模型推理能力

Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code

机器会在人类感到困难的地方也遇到困难吗？大语言模型与人类对混淆代码的理解

Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 基于人类对混淆代码理解的研究，评估大语言模型是否共享人类在混淆代码下的失败模式，发现推理调优模型与人类困难模式显著对齐，而指令调优模型相关性接近零。

Comments 13 pages, 15 figures

The strength of clinical evidence is recoverable from language model representations but not from their stated grades

临床证据强度可从语言模型表示中恢复，但无法从其陈述的等级中恢复

Soroosh Tayebi Arasteh

机构 * Lab for AI in Medicine（医学人工智能实验室） ； RWTH Aachen University（亚琛工业大学） ； University Hospital RWTH Aachen（亚琛大学医院） ； Stanford University（斯坦福大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过构建临床声明数据集，测试22个开源大语言模型，发现模型内部表示可编码证据强度（中位AUROC 71.8%），但模型陈述的等级接近随机（低于估计器25-27个百分点），且该信号主要来自词汇特征，不随规模提升。

From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models

从结构到协同：多模态大语言模型中视觉-语言感知范式演进综述

Haoxiang Sun, Tao Wang, Li Yuan, Jian Zhao, Jiancheng Lv

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI）） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。

When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models

当距离干扰：BT损失中表示距离偏差对奖励模型的影响

Tong Xie, Andrew Bai, Yuanhao Ban, Yunqi Hong, Haoyu Li, Cho-Jui Hsieh

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 分析BT损失中表示距离导致的梯度偏差，提出NormBT自适应归一化方案，提升奖励模型在细粒度区分上的性能。

Comments ICML 2026

Late-Layer Fusion is Enough: Dual-Path Vision Token Routing for Multimodal Large Language Models under Visual Saturation

晚期融合足矣：面向视觉饱和的多模态大语言模型的双路径视觉令牌路由

Siyuan Liu, Jinyang Wu

机构 * School of Mechanics and Engineering Science, Peking University（北京大学力学与工程科学学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多模态大语言模型中视觉令牌在深层饱和的问题，提出双路径视觉令牌路由（DPVR-LF），在饱和点将视觉令牌路由至单层可训练分支，仅最后层融合，以约3%可训练参数保持性能并减少计算。

Comments 18 pages, 4 figures. Submitted to Pattern Recognition

Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories

应变连贯性：编码代理执行轨迹中的故障前信号

Marut Pandya, Kasey Zhang, Baiqing Lyu

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出“应变连贯性”模式，即编码代理识别到问题但仍按原计划行动，通过构建Claude Sonnet 4.6检测器在44条轨迹上实现94%故障预测精度，优于基线方法。

Payoff scaling shapes cooperation in LLM agents across languages

收益规模塑造跨语言LLM代理的合作行为

Trung-Kiet Huynh, Dao-Sy Duy-Minh, Thanh-Bang Cao, Phong-Hao Le, Hong-Dan Nguyen, Phu-Quy Nguyen-Lam, Minh-Luan Nguyen-Vo, Hong-Phat Pham, Phu-Hoa Pham, Thien-Kim Than, Chi-Nguyen Tran, Huy Tran, Gia-Thoai Tran-Le, Alessio Buscemi, Le Hong Trang, The Anh Han

机构 * Faculty of Information Technology, University of Science (HCMUS), Ho Chi Minh City, Vietnam（信息技术学院，科学大学（HCMUS），胡志明市，越南） ； Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT), Ho Chi Minh City, Vietnam（计算机科学与工程学院，胡志明市技术大学（HCMUT），胡志明市，越南） ； Vietnam National University – Ho Chi Minh City (VNU-HCM), Ho Chi Minh City, Vietnam（越南国家大学——胡志明市（VNU-HCM），胡志明市，越南） ； Luxembourg Institute of Science and Technology (LIST), Luxembourg（卢森堡科学与技术研究所（LIST），卢森堡） ； School of Computing, Engineering and Digital Technologies, Teesside University, Middlesbrough, United Kingdom（计算、工程与数字技术学院，泰赛德大学，米德尔斯布罗，英国） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过监督分类器识别重复囚徒困境中的策略，结合演化博弈论基线，发现随着收益增加，LLM反而更合作，与演化预测相反，表明对齐训练和人类推理模式的影响。

Comments 44 pages, 17 figures, 4 tables

Self-Augmenting Retrieval for Diffusion Language Models

扩散语言模型的自增强检索

Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google Research（谷歌研究院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SARDI框架，利用扩散语言模型去噪过程中丢弃的低置信度标记作为前瞻信号指导检索，无需训练且与检索器无关，在多跳问答基准上以高达8倍吞吐量超越现有方法。

Comments ICML 2026

You Only Index Once: Cross-Layer Sparse Attention with Shared Routing

仅索引一次：具有共享路由的跨层稀疏注意力

Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨层稀疏注意力（CLSA），通过共享KV缓存和路由索引，在保持token稀疏注意力精度的同时减少路由开销，显著提升长上下文LLM的解码效率。

Supportive Token Revealing for Fast Diffusion Language Model Decoding

支持性标记揭示：快速扩散语言模型解码

Giries Abu Ayoub, Mario Barbara, Lluís Pastor-Pérez, Tanja Bien, Aneesh Barthakur, Alaa Maalouf, Loay Mualem

机构 * Department of Computer Science, University of Haifa（海法大学计算机科学系） ； Institute for AI, University of Stuttgart（斯图加特大学人工智能研究所） ； IMPRS-IS 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AXON模块，通过选择注意力、不确定性和置信度信号中的锚点标记来改善扩散语言模型并行解码的质量-延迟权衡。

Prototype Transformer: Towards Language Model Architectures Interpretable by Design

原型Transformer：迈向可解释设计的语言模型架构

Yordan Yordanov, Matteo Forasassi, Bayar Menzat, Ruizhi Wang, Chang Qi, Markus Kaltenberger, Amine M'Charrak, Tommaso Salvatori, Thomas Lukasiewicz

机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出原型Transformer（ProtoT），一种用线性代价原型模块替代二次代价自注意力的自回归语言模型架构，原型自动捕获可命名概念，提升可解释性并支持行为编辑。

Comments Accepted at ICML 2026. Equal contribution: Yordan Yordanov and Matteo Forasassi. 40 pages, 28 figures, 22 tables

Skill Availability and Presentation Granularity in Large-Language-Model Agents: A Controlled SkillsBench Study

大型语言模型代理中的技能可用性与呈现粒度：一项受控的SkillsBench研究

Xiaonan Xu, Wenjing Wu

机构 * Computer Information Technology, Northern Arizona University（计算机信息科技，北亚利桑那大学） ； Computer Science, University of Colorado Boulder（计算机科学，科罗拉多大学博尔德分校） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过受控实验研究技能知识的呈现粒度对下游任务成功率的影响，发现技能可用性显著提升成功率，而呈现粒度变化影响较小且不确定。

MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models

MemGuard：防止长期记忆增强型大语言模型中的记忆污染

Hyeonjeong Ha, Jeonghwan Kim, Cheng Qian, Jiayu Liu, William M. Campbell, Yue Wu, Yuji Zhang, Kathleen McKeown, Dilek Hakkani-Tur, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Capital One 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MemGuard，一种类型感知的记忆框架，通过显式分配功能角色、维护类型隔离记忆间的关联并选择性组合必要类型的证据，防止异构记忆污染，提升记忆可靠性最高28.27%并减少检索token数最高5.8倍。

The Future of Facts: Tracing the Factual Generation-Verification Gap

事实的未来：追踪事实生成-验证差距

Tim R. Davidson, Anja Surina, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过训练阶段分析，发现语言模型在事实知识上存在生成-验证差距，验证能力先于生成能力习得且更稳健，事实更新可能导致模型处于“多宇宙”状态。

Comments Code for this project is available at https://github.com/anjasurina/factgap , blog post at https://www.trdavidson.com/fact-gap

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory

学习面向运行时智能体记忆的查询感知预算层级路由

Haozhen Zhang, Haodong Yue, Tao Feng, Quanyu Long, Jianzhu Bao, Bowen Jin, Weizhi Zhang, Xiao Li, Jiaxuan You, Chengwei Qin, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出 BudgetMem 框架，通过强化学习训练的轻量级路由器实现查询感知的预算层级路由，以在运行时平衡任务性能与记忆构建成本。

Comments Accepted by ICML 2026. Code is available at https://github.com/ViktorAxelsen/BudgetMem

Automatic Pruning Discovery for Large Language Models

大型语言模型的自动剪枝发现

Haidong Kang, Lihong Lin, Enneng Yang, Hongning Dai, Hao Wang

机构 * Northeastern University, Shenyang, China（东北大学（沈阳）） ； Hebei Key Laboratory of Marine Perception Network and Data Processing, Northeastern University at Qinhuangdao 066004, Hebei Province, China（河北省海洋感知网络与数据处理重点实验室，秦皇岛东北大学066004，河北省） ； Sun Yat-sen University, Shenzhen, China（深圳大学） ； Hong Kong Baptist University, Hongkong, China（香港 Baptist 大学） ； Xidian University, Xian, China（西安电子科技大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出AutoPrune方法，利用LLMs自动设计剪枝算法，并通过图驱动思维链优化提示，结合偏态感知动态稀疏分配解决高剪枝率下的异常值问题，在主流基准上超越现有方法。

Comments 15 pages, 10 figures

Retrospective Sparse Attention for Efficient Long-Context Generation

回顾性稀疏注意力用于高效长上下文生成

Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。

Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy

消除行动瓶颈：由令牌级能量指导的代理强化学习

Langzhou He, Junyou Zhu, Yue Zhou, Zhengyao Gu, Junhua Liu, Wei-Chieh Huang, Henry Peng Zou, David Wipf, Philip S. Yu, Qitian Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） ； Technical University of Berlin（柏林技术大学） ； University of Southern California（南加州大学） ； University of Hong Kong（香港大学） ； Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ActFocus方法，通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题，显著提升性能。

Comments Preprint

LLMs Should Express Uncertainty Explicitly

大型语言模型应显式表达不确定性

Junyu Guo, Shangding Gu, Ming Jin, Costas Spanos, Javad Lavaei

机构 * University of California, Berkeley（加州大学伯克利分校） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究通过训练使模型在回答时显式表达不确定性，以减少过度自信的错误，提升回答质量，并通过检索增强生成技术改进最终响应。

RDMA: Cost Effective Agent-Driven Rare Disease Mining from Electronic Health Records

RDMA: 低成本的代理驱动罕见病挖掘从电子健康记录

John Wu, Adam Cross, Jimeng Sun

机构 * Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Department of Pediatrics, University of Illinois College of Medicine Peoria（伊利诺伊大学皮奥里亚医学院儿科系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RDMA通过代理框架在电子健康记录中挖掘罕见病，无需特定任务训练，提升性能并降低部署成本。

Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind

对LLM心理自我建模能力的有选择性缺陷的测试：基于行为的理论自我认知测试

Christopher Ackerman

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过行为测试探讨LLM在理论自我认知任务中的能力，发现较早的LLM无法完成任务，而较新的LLM在他人认知建模上表现接近人类，但自我建模仍存在缺陷，除非使用推理轨迹辅助。

Comments 22 pages, 13 figures, 1 table

MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing

MAVEN：具有步骤内认知审计的多智能体验证-扩展网络

Yinsheng Yao, Jiehao Tang, Zhaozhen Yang, Dawei Cheng

机构 * Tongji University（同济大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MAVEN通过显式角色解耦将LLM转化为有意识的推理者，采用对抗性Skeptic-Researcher-Judge循环，生成可验证的模块化推理轨迹，提升多任务推理质量。

Comments 24 pages, 2 figures

When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment

语言模型何时做出承诺？一种有限答案理论的预言语承诺

Long Zhang, Wei-neng Chen, Feng-feng Wei, Zi-bo Qin

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型在生成最终答案前的推理过程，通过有限答案偏好稳定化理论分析模型在回答前的承诺时间，发现其在可解析前稳定，且信号可从隐藏状态恢复。

RSAT: Structured Attribution Makes Small Language Models Faithful Table Reasoners

RSAT：结构化归因使小型语言模型成为可信表格推理器

Jugal Gajjar, Kamalasankari Subramaniakuppusamy

机构 * Department of Computer Science, The George Washington University, USA（计算机科学系，乔治·华盛顿大学，美国） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RSAT通过结构化归因提升小型语言模型的表格推理可信度，采用SFT和GRPO阶段训练，显著提高推理忠实度并确保引用有效性。

Comments 8 pages, 8 tables, 9 figures, and a 3-page Appendix. Accepted at the SURGeLLM Workshop at ACL 2026 and will be included in the proceedings

Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes

可解码但无法通过固定残差-流线性引导进行纠正：来自医疗LLM失败模式的证据

Ming Liu

机构 * Amazon（亚马逊） 纠错

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了LLM隐藏状态中线性可解码的失败信号能否用于纠正失败，通过Overthinking现象发现线性引导无法有效纠正，但可解码的失败结构支持生成后可靠性估计。

Comments 22 pages (14 main + 8 appendix), 5 figures, 7 tables. Under review

Mapping how LLMs debate societal issues when shadowing human personality traits, sociodemographics and social media behavior

映射LLMs在模仿人类性格特征、社会人口统计数据和社会媒体行为时如何辩论社会问题

Ali Aghazadeh Ardebili, Massimo Stella

机构 * CogNosco Lab, University of Trento, Department of Psychology and Cognitive Science（CogNosco实验室，特伦托大学心理学与认知科学系） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过CDS数据集研究LLMs在不同社会和情境提示下生成的辩论内容变化，分析其社会议题立场和情感表达。

AgentSim: A Platform for Verifiable Agent-Trace Simulation

AgentSim：可验证代理跟踪模拟平台

Saber Zerhoudi, Michael Granitzer, Jelena Mitrovic

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出AgentSim平台，通过多模型验证和主动人工参与流程，生成可验证的代理推理轨迹，构建了覆盖三个信息检索基准的Agent-Trace Corpus，并揭示了先进模型在信息检索中的系统性差异。

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), July 20--24, 2026, Melbourne, VIC, Australia

Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

始终告诉我概率：细粒度条件概率估计

Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种最先进的模型，用于在上下文条件下对命题进行细粒度概率估计。通过结合人类和合成数据创建与评估、扩大模型规模和改进监督，提出了一系列强而精确的概率估计模型，在依赖条件概率估计的任务中表现优异。

Transformers Can Learn Connectivity in Some Graphs but Not Others

变换器在某些图中可以学习连接性，但在其他图中不行

Amit Roy, Abulhair Saparov

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了变换器在推断传递关系任务中的能力，发现其在网格状图中能有效推断连接性，但对非网格图尤其是具有多个不连通组件的图表现较差。

Comments This paper contains some assumption which is not correct

Task-Stratified Knowledge Scaling Laws for Post-Training Quantized Large Language Models

任务分层的知识扩展规律用于训练后量化的大语言模型

Chenxi Zhou, Pengfei Cao, Jiang Li, Bohan Yu, Jinyu Ye, Jun Zhao, Kang Liu

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出任务分层的知识扩展规律，通过统一模型大小、位宽和细粒度因素，验证了293种不同的训练后量化配置，揭示了不同知识能力对精度、规模和校准的敏感性。

Comments Accepted to Findings of ACL 2026