大模型推理能力

The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

日式儿童谜语作为机器洞察与元认知的基准

Masaharu Mizumoto, Dat Nguyen, Zhiheng Han, Xingfu Li, Yo Nakawake, Le Minh Nguyen

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract_cn)；分类 cs.AI

AI总结 该研究通过日本儿童谜语构建基准，揭示机器在洞察推理和元认知控制方面的不足，为提升AI的自我评估能力提供新方向。

Glance, Scrutinize, and Think: Advancing Video Anomaly Detection from Training-Free to Agentic Reasoning

扫视、审视与思考：将视频异常检测从无训练推进到智能体推理

Shibo Gao, Peipei Yang, Xu-Yao Zhang, Linlin Huang

机构 * Beijing Jiaotong University（北京交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 该研究针对视频异常检测的“何时-何事”脱节问题，提出无训练框架GtS及工具增强型智能体方法，扩展基准并引入联合评估指标，实现了更高的异常检测准确性与推理速度。

Comments 34 pages, 8 figures, 8 tables. Journal extension of our AAAI 2026 paper (arXiv:2507.21507)

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

面向编码智能体的需求澄清、规划与代码生成的统一问题解决基准

Xin Zhou, Chun Yong Chong, Kisub Kim, Yun Peng, Rui Shu, Zihan Wu, Xu Han, Guowen Yuan, Zeyang Zhuang, Jounghoon Kim, Jeongjin Ju, Seongmin Ju, Taein Yoon, David Lo

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 该研究推出SWE-RPG编码智能体基准，评估发现主流编码智能体在该基准上平均解决率仅31.5%，隐性需求恢复是主要瓶颈，为改进编码智能体提供了方向。

Comments 9 pages

MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models

MonitorBench: 一个用于大型语言模型链式思维可监控性的综合基准

Han Wang, Yifan Sun, Brian Ko, Mann Talati, Jiawen Gong, Zimeng Li, Naicheng Yu, Xucheng Yu, Wei Shen, Vedant Jolly, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Washington（华盛顿大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.AI

AI总结 本文提出MonitorBench，通过1514个测试实例和两种压力测试设置，评估LLM链式思维的可监控性，发现决策关键因素对中间推理过程的影响程度影响可监控性，更高级的LLM表现出更低的可监控性。

Comments COLM 2026

SciTaRC: A Plan-Annotated Scientific Tabular QA Benchmark for Language Reasoning and Complex Computation

SciTaRC：基于科学表格数据的问答基准测试，需语言推理与复杂计算

Hexuan Wang, Yaxuan Ren, Srikar Bommireddypalli, Shuxian Chen, Adarsh Prabhudesai, Rongkun Zhou, Elina Baral, Philipp Koehn

机构 * Center for Language and Speech Processing（语言与语音处理中心） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL

AI总结 SciTaRC是一个针对科学表格数据的问答基准测试，揭示了现有AI模型在语言推理和复杂计算任务上的不足。

Comments COLM 2026 (Conference on Language Modeling). Camera-ready version

The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents

视界差距：长视界大语言模型智能体的规划、记忆、执行、训练与评估

Mingguang Chen, Licheng Wang, Bo Qu

机构 * DeepGrounding（深地研究机构） ； AlphaAvatar（阿尔法 Avatar 公司） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.CL

AI总结 本文提出长视界大语言模型智能体存在的视界差距，调研1547篇相关论文，厘清长视界等属性，分析领域应对措施并提出开放测量问题。

Comments 39 pages, 6 figures

FAS-R1: A Unified Multi-Task MLLM for Reasoning Face Anti-Spoofing

FAS-R1：用于推理人脸防伪的统一多任务多模态大语言模型（MLLM）

Hongyang Wang, Yichen Shi, Hongrui Li, Yiru Huo, Jun Feng, Zitong Yu

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.AI

AI总结 本文提出面向推理的两阶段多任务MLLM框架FAS-R1，结合DSA与DA-GRPO优化，在人脸防伪的分类、识别、定位任务中表现优异，性能优于对比系统且具备良好缩放性。

MapTab: A Diagnostic Benchmark for Long-Horizon Multi-Criteria Multimodal Reasoning on Heterogeneous Topological Graphs

MapTab: MLLMs 是否已准备好在异构图中进行多标准路线规划？

Ziqiao Shang, Ling-Yue Ge, Zian Xu, Zi-Jian Cheng, Shi-Yu Tian, Zhenyu Huang, Wenbo Fu, Weiming Wu, Yang Chen, Xiangwen Zhang, Yulan Hu, Bin Liu, Lan-Zhe Guo

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； AMAP, Alibaba Group（阿里集团AMAP） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出MapTab基准测试，用于评估多模态大语言模型在多标准路线规划任务中的综合推理能力，发现当前模型在多模态推理方面存在显著挑战。

SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

SAFE-MEME：用于表情包中鲁棒性仇恨言论检测的结构化推理框架

Palash Nandi, Shivam Sharma, Tanmoy Chakraborty

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 研究表情包中仇恨言论检测难题，提出SAFE-MEME框架及其两个变体，通过构建新型数据集进行基准测试，实验表明SAFE-MEME-QA和SAFE-MEME-H能有效检测仇恨言论，且不同方法在常规和混淆场景各有优势，还分析了错误案例。

Comments 44 pages, 27 figures, 6 tables

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 推理评测 ：verifier(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

When a Name Is Not a Name: A Benchmark Dataset and Distilled Reasoning for Culturally Entangled Bangla Homographs in Low-Resource LLMs

当一个名字并非名字时：低资源语言模型中文化纠缠的孟加拉语同形异义词的基准数据集和提炼推理

Md. Asaduzzaman Shuvo

机构 * United International University（联合国际大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 研究针对低资源语言模型中孟加拉语同形异义词文化纠缠问题，构建基准数据集。发现模型有主导意义偏差，特定模型失败。提出对比性思维链提示及提炼文化解释，能减少偏差，让小模型正确推理，提升系统性能。

Latency-Response Theory Model: Evaluating Large Language Models via Response Accuracy and Chain-of-Thought Length

延迟-响应理论模型：通过响应准确性和思维链长度评估大语言模型

Zhiyu Xu, Jia Liu, Yixin Wang, Yuqi Gu

机构 * Department of Statistics, Columbia University（哥伦比亚大学统计系） ； Department of Statistics, University of Michigan（密歇根大学统计系） 纠错

专题命中 推理评测 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.AI

AI总结 针对大语言模型评估问题，提出延迟-响应理论（LaRT）模型，联合考虑响应准确性和思维链长度，通过引入关键参数建模，推导高效算法估计参数，经理论和模拟研究验证其优势，实际数据评估中表现优于项目反应理论（IRT）。

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

NeSy-Route：一种用于遥感约束路径规划的神经符号基准

Ming Yang, Zhi Zhou, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo, Yu-Feng Li

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； School of Artifical Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 NeSy-Route是一个大规模神经符号基准，用于评估遥感中的约束路径规划能力，通过自动化数据生成框架和三级评估协议，全面测试多模态大语言模型的感知、推理和规划能力。

Comments Accepted by ECCV2026

TRACE: An Operational Reasoning Schema for Auditable Agentic Commitments

TRACE：可审计的智能体承诺的操作推理模式

Edward Y. Chang, Emily J. Chang

机构 * Stanford University（斯坦福大学） ； Quadrivium AI（四元数人工智能） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出TRACE模式用于记录推理轨迹，通过字段和测试应对推理不在语言模型中的问题，给出参考程序和操作规范，借助记录-消费者契约形成操作接口，通过示例展示应用，贡献了模式及其契约。

Comments 46 pages, 18 tables, 4 figures

Policy-Driven CT-Agent: Modeling Phase-Aware Diagnostic Control for Clinically Consistent CT Reasoning

策略驱动的CT智能体：为临床一致的CT推理建模阶段感知诊断控制

Yanmeng Dong, Han Li, Yujia Li, Jingsong Liu, Xun Ma, Yanzhu Hu, Zhengyang Xu, Zhicheng Li, Nassir Navab, Shaohua Kevin Zhou

机构 * University of Science and Technology of China（中国科学技术大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.LG

AI总结 研究针对CT诊断阶段选择协议差异及现有方法局限，提出策略驱动的CT智能体（PD-CTAgent）。通过临床结构抽象模块和知识引导诊断控制模型，实现阶段感知诊断推理，实验验证其在多数据集上的有效性与临床一致性。

Comments 8 pages, 4 figures

Towards Robust Speech Deepfake Detection via Human-Inspired Reasoning

通过人类启发的推理实现稳健的语音深度伪造检测

Artem Dvirniak, Evgeny Kushnir, Dmitrii Tarasov, Artem Iudin, Oleg Kiriukhin, Mikhail Pautov, Dmitrii Korzh, Oleg Y. Rogov

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出HIR-SDD框架，结合大音频语言模型与人类启发推理，提升语音深度伪造检测的鲁棒性和可解释性。

TacReasoner: A Dynamic Tactile-Language Framework for Interactive Reasoning in Real-World Scenarios

TacReasoner：面向真实场景交互推理的动态触觉-语言框架

Kailin Lyu, Di Wu, Long Xiao, Jianning Zeng, Jianwei He, Chang Lin, Lianyu Hu, Lin Shu, Jie Hao, Ce Hao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Zhongguancun Academy（北京中关村科学城） ； Nanyang Technological University（南洋理工大学） ； Guangdong Institute of Artificial Intelligence and Advanced Computing（广东省人工智能与先进计算研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 针对动态触觉信号建模不足、触觉基础模型易幻觉的问题，提出含动态触觉编码器的TacReasoner框架，配套构建TouchCoT-10k数据集与DynTac-Bench基准，推理性能优于主流大模型。

Comments 8 pages, 7 figures. Accepted at IROS 2026

RTSGameBench: An RTS Benchmark for Strategic Reasoning by Vision-Language Models

RTSGameBench: 视觉语言模型战略推理的RTS基准

San Kim, Daechul Ahn, Reokyoung Kim, Hyeonbeom Choi, Seungyeon Jwa, Jonghyun Choi

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 提出RTSGameBench，基于Beyond All Reason游戏，通过多样化对战、迷你游戏诊断和自进化生成框架，评估视觉语言模型在实时策略游戏中的战略推理能力。

Comments First two authors contributed equally

MIRAGE: Auditing Anti-Muslim Bias in Frontier LLMs Across Reasoning, Agentic, and Time-Coupled Conditions

MIRAGE: 审计前沿大语言模型在推理、智能体与时间耦合条件下的反穆斯林偏见

Noor Islam S. Mohammad, Tamim Sheikh

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 提出MIRAGE基准，包含1200个提示，覆盖直接完成、思维链推理和模拟智能体决策三种部署场景，发现思维链放大偏见、智能体决策存在不对称性、偏见与检索新闻时间耦合，现有缓解措施效果有限。

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

基于多模态大语言模型的移动用户体验推理：任务、基准与方法

Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 提出UXBench基准（2000个VQA样本）评估多模态大模型在UI推理上的能力，并设计UI-UX模型，通过奖励路由和不对称过渡奖励机制在UXBench上达到0.7963准确率，超越Claude-4.5-Sonnet。

Comments 10 pages, 6 figures, Accepted at CVPR 2026 Findings

KCSAT-ML: Probing Reasoning Models with Nationwide-Cohort Human Difficulty

KCSAT-ML: 用全国队列人类难度探测推理模型

Sanghee Park, Geewook Kim, Kee-Eung Kim

机构 * NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国科学技术院人工智能系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 提出KCSAT-ML基准（含664道韩国高考数学题及339道带官方错误率的核心题）和难度对齐推理增益（DRG）指标，揭示视觉语言模型在人类高错误率题目上准确率崩溃、测试时缩放非单调以及同一模型族内反缩放与过度思考并存的现象。

Comments 18 pages, 14 figures, 8 tables

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

AI科学家的能力取决于其证据：药物资产估值中专有数据与推理技能的分层消融研究

Yinan Wang

机构 * Noah AI Research（Noah AI研究） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.AI

AI总结 通过分层消融实验，发现药物资产估值中AI科学家的决策上限由专有证据集决定，而非仅依赖推理框架；加入专有数据后决策质量显著提升。

Comments Preprint; 2 figures, 5 tables

Sample-Efficient LLM-Based Detection of Malicious Web Server Logs with Forensically Explainable Reasoning

基于大语言模型的恶意Web服务器日志检测与取证可解释推理的样本高效方法

Bernhard Kneip, Nhien-An Le-Khac, Hong-Hanh Nguyen-Le

机构 * University of Tuebingen（图宾根大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出CEF-Log策略，通过五步推理模板使大语言模型学习日志分析方法，在CSIC 2010数据集上仅用4个示例达到F1=0.99，样本效率提升10倍，并引入新数据集ForenWebLog。

Causal Scaffolding for Physical Reasoning: A Benchmark for Causally-Informed Physical World Understanding in VLMs

物理推理的因果支架：面向视觉语言模型中因果启发的物理世界理解基准

Tianyi Tang, Zhuoyi Lin, Zeyu Feng, Tianyi Ma, Yew-Soon Ong, Ivor Tsang, Haiyan Yin

机构 * CFAR（因果推理研究所） ； IHPC（信息技术研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出CausalPhys基准（含3000+视频/图像问题及因果图），并设计因果图度量评估VLM推理，进一步提出因果理性微调（CRFT）提升推理准确性与可解释性。

Comments Accepted by KDD 2026 Dataset and Benchmark Track

PlanBench-V: A Spatial Planning Map Benchmark for Vision-Language Models

PlanBench-V: 面向视觉语言模型的空间规划地图基准

Minxin Chen, He Zhu, Junyou Su, Wen Wang, Yijie Deng, Wenjia Zhang

机构 * Behavioral and Spatial AI Lab（行为与空间人工智能实验室） ； Tongji University（同济大学） ； Peking University（北京大学） ； College of Architecture and Urban Planning（建筑与城市规划学院） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.CL

AI总结 为评估视觉语言模型在空间规划地图解读中的能力，构建了专家标注数据集SPMD，并提出基于感知、推理、关联、实施四阶段认知框架的基准PlanBench-V，实验表明当前模型在实施类任务上存在显著局限。

GRADE: Generalizable Reasoning-Aware Dialogue Evaluation for AI Tutors

GRADE: 面向AI导师的通用推理感知对话评估

Parth Bhalerao, Jeromy Chang, David Chou, Oana Ignat

机构 * Santa Clara University（圣克拉拉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.CL

AI总结 提出GRADE框架，通过系统比较五种开源模型的零样本推理、LoRA微调、合成增强及思维链推理等配置，证明精心选择的LoRA流水线在关键教学维度上可媲美专有系统。

Comments 16 pages, 7 figures

From Answers to States: Verifiable Process-Level Evaluation of Chemical Reasoning in Large Language Models

从答案到状态：大语言模型中化学推理的可验证过程级评估

Hongyu Guo, Hao Li, He Cao, Gongbo Zhang, Li Yuan

机构 * Peking University, Shenzhen Graduate School（北京大学深圳研究生院） ； International Digital Economy Academy (IDEA)（国际数字经济学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.AI

AI总结 提出ChemCoTBench-V2基准，通过确定性规则和参考轨迹验证结构化化学推理步骤，揭示模型在最终答案正确性与推理状态一致性之间的差距。

Comments 23 pages, 6 figures, 14 tables

Framing Migration News with LLMs: Structured CoT as a Support for Human Interpretation

使用LLM构建移民新闻框架：结构化思维链作为人类解释的支持

David Alonso del Barrio, Jing Wen, Daniel Gatica-Perez

机构 * Idiap Research Institute（日内瓦研究所） ； University of Geneva（日内瓦大学） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 推理评测 ：CoT(title)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究提出结构化思维链（SCoT）提示方法，利用本地可部署的开源LLM（Llama3-8B）辅助移民新闻的框架分析，在单GPU上提升分类性能，并通过人类评估验证其逻辑性和对解释的影响。

VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies

VisualThink-VLA：用于高效低延迟视觉-语言-动作策略的视觉中间推理

Mingjian Gao, Wenqiao Zhang, Yuqian Yuan, Yang Dai, Binhe Yu, Zheqi Lv, Haoyu Zheng, Jiaqi Zhu, Zhiqi Ge, Zixuan Wan, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Cornell University（康奈尔大学） ； National University of Singapore（新加坡国立大学） ； Xi'an University of Electronic Science and Technology（西安电子科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出VisualThink-VLA框架，通过视觉中间推理和选择性路由机制，在保持高精度的同时将推理延迟从数秒降至亚秒级。

VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora

VeriTrip: 面向非结构化网络语料的旅行规划智能体可验证基准

Yuting Xu, Jiayi Tian, Jian Liang, Xin Xiong, Hang Zhang, Mu Xu, Xiao-Yu Zhang

机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学技术大学网络安全学院） ； Amap, Alibaba Group（阿里巴巴集团阿地图） ； NLPR & MAIS, Institute of Automation, CAS（中国科学院自动化研究所神经信息处理实验室及机器智能研究所） ； School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 提出VeriTrip基准，通过多模态检索库和可验证知识库，评估智能体在非结构化网络语料中基于证据推理的旅行规划能力，揭示检索-推理权衡问题。

Comments 10 pages, 4 figures