大模型推理能力

Where Instruction Hierarchy Breaks: Diagnosing and Repairing Failures in Reasoning Language Models

指令层级失效之处：诊断与修复推理语言模型的故障

Sanjay Kariyappa, G. Edward Suh

机构 * NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出白盒诊断框架，将指令层级失效定位为指令识别、冲突解决和响应实现三个环节，并设计两种免训练自监控机制，将违规率降低81-99%。

Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation

简单性悖论：揭穿关于大语言模型评估中提示和数据集的神话

Inder Preet, Shuxin Lin, Dhaval Patel

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型评估中提示和数据集相关问题，通过对8种提示技术在10个MCQA数据集上的实证研究，发现基线提示常优于复杂技术，还研究了相关关键现象，表明LLM评估社区或使提示工程过复杂，存在性能差距，为模型改进提供机会。

Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

回归基础：通过SMILES-图翻译提升大语言模型中的分子理解

Wenda Wang, Jinjia Feng, Zhewei Wei

机构 * Gaoling School of Artificial Intelligence（中关村人工智能学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对分子大语言模型缺乏可靠结构基础的问题，提出MolBasic框架，通过SMILES-图翻译加强结构理解，用多级结构感知基准和渐进学习方案，提升了结构理解及下游任务表现。

PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality

PeerCheck: 提升大语言模型生成的学术评审至人类水平质量

Zeyuan Chen, Ziqing Yang, Yihan Ma, Michael Backes, Yang Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出PeerCheck框架，分析LLM与人类评审差异，采用思维链和检索增强生成提升评审质量，发现思维链显著改善但RAG存在悖论。

DeFAb: A Verifiable Benchmark for Defeasible Abduction in Foundation Models

DeFAb：基础模型中可废止溯因的可验证基准

Patrick Cooper, Alvaro Velasquez

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出DeFAb基准，通过将知识库转换为可验证的溯因实例，评估基础模型在可废止推理中的创造力与理论推理能力，发现前沿模型准确率远低于符号求解器。

Comments 33 pages, 14 figures, 23 tables. Dataset: https://huggingface.co/datasets/PatrickAllenCooper/DeFAb ; code and evaluation harness: https://github.com/PatrickAllenCooper/blanc

ChartProbe: A Diagnostic Study on Visual Reasoning through Perception, Grounding, and Simple Reasoning

ChartProbe：通过感知、定位与简单推理开展视觉推理的诊断研究

Mahsa Khoshnoodi, Sarah Adel Bargal

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出诊断框架ChartProbe，发现视觉-语言模型可通过单独监督感知、定位等简单技能，在无需复杂推理数据的情况下提升复杂图表推理能力。

How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning?

基础模型在纵向MRI疾病进展推理中的表现如何？

Wafa Al Ghallabi, Ritesh Thawkar, Sara Ghaboura, Omkar Thawakar, Numan Saeed, Dana Al Nuaimi, Ajnas Alkatheeri, Salman Khan, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Health Abu Dhabi（阿布扎比卫生部） ； Fatima College of Health Sciences（法蒂玛健康科学学院） ； Linköping University（林雪平大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究推出Time-Aware Multi-View MRI基准，评估16个视觉-语言模型在纵向MRI疾病进展推理中的表现，发现模型在变化方向识别等方面存在缺陷，多视角输入对模型性能有特定影响。

Comments Accepted at MICCAI 2026 (Early Accept). 11 pages, 3 figures, 2 tables

Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation

Pseudo2CodeQA：面向基于大语言模型的代码生成中结构化算法推理的基准测试

Shadikur Rahman, Umme Ayman Koana, Syed Muhammad Danish

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出Pseudo2Code基准测试及Pseudo2Code Agentic Framework，实验表明该框架性能优于现有基线，验证了结构化伪代码对代码生成的提升作用。

Comments 8 pages, 3 figures

GraphVerse: A Comprehensive Visual Graph Reasoning Benchmark for Multimodal Large Language Models

GraphVerse：面向多模态大语言模型的综合性视觉图推理基准

Yuanfu Sun, Yuanhang Ren, Kang Li, Chuanhao Ji, Jiaxi Li, Jiajin Liu, Ninghao Liu, Qiaoyu Tan

机构 * New York University（纽约大学） ； Sensetime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； New York University Shanghai（上海纽约大学） ； University of Georgia（佐治亚大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对现有多模态大语言模型（MLLMs）评估缺乏结构化视觉推理测试的问题，提出GraphVerse基准，通过以图为中心的图像编辑（GIE）策略和VGR-Score指标，评估MLLMs在单/配对图像场景下的视觉图推理能力，揭示其相关局限并验证方法有效性。

Comments 33 pages, 16 figures

OneEmo: A Unified Multimodal Reasoning Model for Emotion Perception, Understanding, and Interaction

OneEmo：用于情感感知、理解与交互的统一多模态推理模型

Jiahao Huang, Zheng Lian, Jingyi Zhang, Zhide Chen, Xiaojiang Peng, Shaonan Wang

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对现有情感智能多模态模型忽略任务协同的问题，研究人员提出统一多模态情感模型OneEmo，构建EmoWorld-130K数据集并采用Emo-Chord强化学习策略，其性能优于同规模基线模型，参数远少于商业模型且结果具竞争力。

Beyond Relevance: Bayesian Evidence Acquisition for Agentic Whole-Slide Image Reasoning

超越相关性：面向智能体的全切片图像推理的贝叶斯证据获取

Bryan Wong, Xun Xu, Huazhu Fu, Nancy F. Chen, Mun Yong Yi

机构 * A*STAR（新加坡科技研究局） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本研究提出BEACON框架，将WSI推理建模为贝叶斯证据获取问题，通过最大化预期信息增益减少诊断不确定性，在五个WSI-VQA基准的零样本实验中，其性能优于同类无训练智能体框架，提升了证据获取效率。

A multi-agent AI classroom based on dual-process reasoning hazards: a pilot with prospective physics teachers

基于双加工推理风险的多智能体AI课堂：面向未来物理教师的试点研究

Eugenio Tufino

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本研究构建基于双加工理论风险框架的多智能体AI模拟课堂，用于培养未来物理教师回应学生推理的能力，发现其能显著提升诊断分数，且可揭示教师知与行的发展差距，为物理教师培养提供支持。

Comments 16 pages, 4 figures, 3 tables

VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation

VIPER：用于物理上合理的视频生成的视觉上下文物理推理

Tianxiao Chen, Hanmo Chen, Huajin Chen, Bo Li, Qi Ye, Peng-Tao Jiang

机构 * Zhejiang University（浙江大学） ； vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对视频生成模型控制物理行为难的问题，提出VIPER框架，利用多模态大语言模型提取物理线索，通过分层训练引导图像到视频生成器，构建VIPER-19K数据集，实验证明该框架能实现物理行为转移且效果良好。

Comments tech report

Three-Body Alignment: Aligning Chess Agent with Human Reasoning through Reranked Rationale

三体对齐：通过重新排序的理由将国际象棋智能体与人类推理对齐

Jaymari Chua, Chen Wang, Liming Zhu, Lina Yao

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究如何通过国际象棋中的“三体对齐”，分析人类专家、引擎辅助评论员和大语言模型产生的理由间语义差异，构建多源理由数据集，进行实证分析与实验，开发数据集结构并开源，以改善智能体与人类对齐及决策的可解释性。

RS-RIE-Bench: Benchmarking Reasoning-Guided Remote Sensing Image Editing

RS-RIE-Bench：推理引导的遥感图像编辑基准测试

Zihan Qin, Boao Xu, Zhao Dong, Yingping Sun, Ziheng Jiao, Junying Wang, Hongwei Wang

机构 * Huawei（华为） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究针对遥感图像编辑，引入RS-RIE-Bench基准，将任务分类，通过特定评估协议和方法评估模型，经实验发现当前模型在推理引导的遥感编辑中有局限，为未来模型提供了基准和研究方向。

FinanceComplexQA: Benchmarking Agentic Reasoning on Industrial-grade Financial Documents

FinanceComplexQA：对工业级金融文档进行智能体推理的基准测试

Xianfu Cheng, Shiwei Zhang, Jiyu Zhao, Jian Yang, Xinyuan Wang, Ming Zhou, Weixiao Zhou, Xiangyuan Guan, Xiang Li, Zhenhe Wu, Ziyi Ni, Zhoujun Li, Bingjing Xu

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对金融文档智能体推理性能差异问题，设计Finance-LaTeX SKILL生成金融文档和问答对，引入FinanceComplexQA基准测试，对领先系统和工具全面评估，通过分析失败案例研究其在多方面的能力。

Comments 27 pages, 9 tables, 2 figures

Orientation Reading by Production Vision-Language Models on Optotype Charts: A Controlled Multi-Model Evaluation Across Reasoning Modes, Prompts, and Access Modalities

通过生产视觉语言模型在视标图表上进行方向读取：跨推理模式、提示和访问方式的受控多模型评估

Shahryar Wasif, Avneek Sandhu, Bin Hu

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究通过消费者聊天界面评估四个视觉语言模型在视标图表上读取方向的能力，在多种推理模式、提示变体下运行，发现各模型准确率有差异，错误有特定方向，单一准确率掩盖问题，强调应多轴评估视觉语言模型。

Comments 4 figures, 4 supplementary figures

Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs

认识自我，理解世界：用于基于多模态大语言模型的无人机时空推理的双认知基准测试

Like Liu, Zhengzheng Xu, Haitao He, Hongzhe Li, Shuchang Zhang, Dian Shao

机构 * Northwestern Polytechnical University（西北工业大学） ； China University of Petroleum（中国石油大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究针对多模态大语言模型在无人机场景双认知能力评估不足的问题，提出UAV-DualCog基准测试，涵盖图像和视频任务，通过自动化管道构建数据，评估发现现有模型存在瓶颈，该基准测试有价值。

Comments 11 pages, 4 figures, 7 tables. Project website: https://uav-dualcog.lozumi.com

HoloGeo: Mitigating Landmark Bias in Geo-localization via Evidence-Driven Reasoning

HoloGeo：通过证据驱动推理减轻地理定位中的地标偏差

Pengcheng Zhou, Xuanyu Liu, Yanchen Yin, Bobo Li, Shengqiong Wu, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； Shandong University of Science and Technology（山东科技大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对视觉语言模型地理定位易受地标偏差影响的问题，提出证据驱动推理框架HoloGeo，借助高质量数据集，通过多维度奖励实现平衡关注与联合推理，经实验验证其在多个数据集上能有效减轻地标偏差，提升地理定位性能。

CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models

CoRe：视觉语言模型中跨图像比较推理的综合框架

Lin Peng, Cong Wan, Zeyu Guo, SongLin Dong, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对视觉语言模型跨图像比较推理难题，提出CoRe框架，含自动构建的训练集CoRe-20K、结构化奖励框架TriSR及基准CoRe-Bench，实验显示其在CoRe-Bench上大幅超越现有模型，在标准基准上也有竞争力。

Comments Accepted by ACMMM2026

RetroHolmes: When Semantic Plausibility Fails Retrospective Physical Process Reasoning

RetroHolmes：当语义合理性失效时的回顾性物理过程推理

Ruoxuan Zhang, Qiyun Zheng, Siyu Wu, Ling Zou, Hongxia Xie, Zhiyu Zhou, Jian-Yu Jiang-Lin, Zihan Li, Zhengguang Wang, Bin Wen, Ling Lo, Jianlong Fu, Meibao Yao, Juncheng Hu, Wen-Huang Cheng

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对视觉语言模型物理推理评估不足问题，引入回顾性物理过程推理范式，提出RetroHolmes基准，通过它分析模型，发现失败模式，还展示综合分析实例，验证其诊断价值，凸显物理基础中间表示对物理推理的重要性。

DentiAsk: A VQA Benchmark for Multimodal Reasoning in Panoramic Dental Radiographs

DentiAsk：全景牙科X光片中多模态推理的视觉问答基准测试

Debesh Jha, Tapas Kumar Dutta, Roshan Paudel, Onkar Kishor Susladkar, Aashish Ghimire, Anupam Dhakal, Sabin Adhikari, Nand Kumar Yadav, Deepak Ranjan Nayak, Pravin Pawar, William C. W. Chen, Glenda Reynolds

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究旨在解决现有医学视觉问答基准测试无法充分体现全景牙科X光片解读复杂性的问题，引入DentiAsk基准测试，涵盖多种病变和推理层次，对10种模型测试发现其在空间定位等方面存在局限，为推进医学成像多模态推理提供挑战基准。

Retrieval over Reasoning: A Cost-Controlled Benchmark of Language Models for Energy-Retrofit Recommendation

基于推理的检索：用于能源改造推荐的语言模型成本控制基准

Eliseo Curcio

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究为建筑推荐节能措施问题，通过树集成解决EUI预测，发现推荐任务框架影响模型选择，对八个大语言模型基准测试，表明其过度推荐，检索可缩小差距，还给出成本控制下模型的效果。

OmniLayout: A Schematic-Coupled Multimodal Benchmark for Constraint-Aware Geometric Reasoning in PCB Layout

OmniLayout：用于印刷电路板布局中约束感知几何推理的原理图耦合多模态基准测试

Taiting Lu, Kaiyuan Lin, Mingjia Wang, Haolin Ye, Runze Liu, Yuxin Tian, Vahe Melkonyan, Haoyu Wang, Muchuan Wang, Chufan Hong, Yifan Yang, Sung-Liang Chen, Yi-Chao Chen, Yicheng Jin, Mahanth Gowda

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research（微软研究院） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 介绍OmniLayout基准测试，用于评估大语言模型在印刷电路板布局放置推理。含1681个工业级原理图耦合PCB布局及四项任务，揭示当前大语言模型在PCB布局放置上有诸多局限。

A Temporal Reasoning Benchmarking Framework for LRMs via Difficulty-controlled and Dynamic Test Generation

通过难度控制和动态测试生成对语言推理模型进行时间推理基准测试框架

Shide Zhou, Kailong Wang, Ling Shi, Haoyu Wang

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对语言推理模型定义推理边界和确保可靠性的挑战，引入TRACE框架，将时间推理建模为约束满足问题，构建TRACEBench基准，评估模型，揭示推理问题及规模相关失败模式。

Comments Accepted to ISSTA 2026. 23 pages including references, 3 figures

Beyond Scene Priors: Fine-Grained Traffic Scene Reasoning with Benchmarking and Query-Guided Small-Object Focus

超越场景先验：通过基准测试和查询引导的小目标聚焦进行细粒度交通场景推理

Waikit Xiu, Qiang Lu, Zian Wang, Xinjie Yang, Zhiwei Chen, Chen Sun, Xiying Li

机构 * The University of Hong Kong（香港大学） ； Sun Yat-Sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对安全关键交通场景中复杂问题，提出细粒度交通推理基准FGTR - Bench和文本引导小目标推理MLLM（TSR - MLLM），解决视觉语言对齐中关键小目标被忽视问题，提升模型性能。

KARMA: Knowledge graph-based Automated Reasoning Materialization and Alignment

KARMA：基于知识图谱的自动推理实例化与对齐

Jinkyeong Choi, Chaebin Jeong, Donghyeon Park

机构 * Sejong University（世宗大学） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对基于模板对比合成的问题，提出KARMA方法，通过枚举知识图谱路径生成对比候选，用解耦槽级目标进行偏好监督，在多领域基准测试中表现优于基线。

Comments First version, 20 pages

Characterizing and Bridging the Diagnostic Gap in eBPF Verifier Rejections

表征和弥合eBPF验证器拒绝中的诊断差距

Yusheng Zheng, Zhengjie Ji, Weichen Tao, Xiangyu Gao, Jianchang Su, Wei Zhang, Andi Quinn, Dan Williams

专题命中 推理评测 ：verifier(title,abstract)

AI总结 研究eBPF验证器拒绝程序时的诊断差距，通过对235次拒绝进行实证研究量化问题。提出bpfix工具重建证明过程，构建75个LLM修复任务基准评估，发现定位证明丢失位置对修复关键，bpfix可提升修复成功率。

Comments Yusheng Zheng, Zhengjie Ji, Weichen Tao have equal contribution to the paper

ChargeBD: Character-Aware Heterogeneous Agent Reasoning for Guided Engineering in Battery Development

ChargeBD：面向电池开发中引导工程的字符感知异构智能体推理

Rui Huang, Zekun Jiang, Mengran Hou, Xingyu Niu, Yuqiang Li, Qinying Gu, Tianhang Zhou

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出ChargeBD框架，通过MBTI启发的角色智能体矩阵，结合异构推理，解决液流电池多尺度多目标研发中的自适应问题。

Cache Merging as a Convergent Replicated State for Multi-Agent Latent Reasoning

缓存合并作为多智能体潜在推理的收敛复制状态

Carlos Baquero, Luís Brito

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出CanonicalMerge方法，通过按内容排序KV缓存实现交换律合并，确保多智能体潜在推理中缓存合并的确定性，在保持准确率的同时提供结构保证。