大模型推理能力

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

NeSy-Route：一种用于遥感约束路径规划的神经符号基准

Ming Yang, Zhi Zhou, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo, Yu-Feng Li

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； School of Artifical Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学） 纠错

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 NeSy-Route是一个大规模神经符号基准，用于评估遥感中的约束路径规划能力，通过自动化数据生成框架和三级评估协议，全面测试多模态大语言模型的感知、推理和规划能力。

Comments Accepted by ECCV2026

DREA: Decoupled Reasoning and Exploration Agents for Repository-Level Vulnerability Detection

DREA：用于仓库级漏洞检测的解耦推理与探索代理

Mingyang Sun, Guozhu Meng

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 研究针对大语言模型用于仓库级漏洞检测时的不足，提出DREA框架，通过规划与探索代理解耦，实现目标导向上下文获取。构建RepoPairBench评估，提升配对正确性，降低成本，还发现安全推理质量是当前大语言模型的瓶颈。

Comments Accepted for presentation at Internetware 2026. 12 pages, 4 figures, and 5 tables

SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification

SingGuard-NSFA：通过生成式推理和实时分类实现的可扩展智能体人工智能护栏

SingGuard Team

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对智能体人工智能系统操作威胁，提出NSFA分类法构建基准套件，开发双模式方法，发布四个不同参数模型，在基准测试和跨源评估中表现出色，证明方法可扩展性与通用性。

When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation

当推理有害：面向临床SOAP笔记生成的前沿LLM源感知评估

Faizan Faisal

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过源感知基准测试，评估推理增强型LLM在临床SOAP笔记生成中的表现，发现推理能力反而降低GPT-5.4的质量，而相同源RAG带来模型依赖的小幅提升。

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

GDP.pdf：针对专业PDF文档的基础多模态推理基准测试

Suhaas Garre, Emily Ritchie, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf，由专业人员编写问题-文档对，通过严格筛选保留问题，有详细评分标准和能力分类。评估七个前沿模型，发现多数错误源于特定模式，公开了完整基准测试。

Comments 9 pages. v2: results updated to July 2026 leaderboard (17 models). Accepted at the 2nd Workshop on Knowledge-Intensive Multimodal Reasoning (KnowledgeMR) at CVPR 2026 (non-archival), under the former title "PDFParse: A Benchmark for Grounded Multimodal Reasoning over Professional PDF Documents". Dataset: https://huggingface.co/datasets/surgeai/GDP.pdf ; Code: https://github.com/surge-ai/gdp-pdf

Breaking Déjà Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

打破似曾相识：通过视觉语言推理对视觉场所识别进行独立审计

Sania Waheed, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） ； School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰科技大学电气工程与计算机科学学院） ； School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对视觉场所识别中图像匹配阈值在环境变化下不可靠的问题，引入视觉场所识别审计框架，利用视觉语言模型通过联合推理评估检索匹配，经实验验证该方法有效提升召回率并降低误接受率。

UniCode: Augmenting Evaluation for Code Reasoning

UniCode: 增强代码推理的评估

Xinyue Zheng, Haowei Lin, Shaofei Cai, Yaodong Yang, Zilong Zheng, Yitao Liang

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 UniCode通过多维增强和自动化测试生成框架，揭示了大语言模型在代码推理中的性能下降问题，强调模型对捷径的依赖而非真正的推理能力。

Quantum Circuit Vision: Cost-Aware Evaluation of Visual AI Agents for Quantum Code Generation

量子电路视觉：用于量子代码生成的视觉人工智能代理的成本感知评估

Dongping Liu, Aoyu Zhang, Luyao Zhang

机构 * Amazon Web Services（亚马逊网络服务） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 研究人工智能代理对量子电路图的理解及代码生成成本，提出量子电路视觉评估框架，构建基准并评估模型，发现中级模型在成本-准确性上平衡最佳，电路深度是失败主因，提出级联路由策略并开源数据集及代码。

JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

JobHop v2：一个来自非结构化简历的大规模职业轨迹数据集

Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

机构 * AIDA-IDLab, Department of Electronics and Information Systems, Ghent University, Ghent, Belgium（AIDA-ID实验室，电子与信息系统系，根特大学，根特，比利时） ； AIDA-IDLab, Department of Electronics（AIDA-ID实验室，电子系） ； Information Systems, Ghent University, Ghent, Belgium（信息系统，根特大学，根特，比利时） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL

AI总结 该研究提出JobHop v2数据集，通过端到端大语言模型从大量简历中提取职业轨迹。它扩大了覆盖范围与注释丰富度，引入新提取管道、模式及评估协议，最好提取器接近注释者间一致性上限，数据集和代码公开助力职业轨迹研究。

The Refusal Residue: When Probes Catch Alignment Faking and When They Don't

拒绝残差：探测何时能捕捉到对齐造假以及何时不能

Aman Mehta

机构 * Snowflake AI Research（Snowflake AI 研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究对齐造假中隐藏状态能否揭示输出隐藏内容，对13个模型扫描，发现Qwen3 - 32B和Llama - 3.1 - 8B存在自然造假及不对称拒绝残差，样本检测有模型条件性，还发布五控制测量框架用于对齐造假检测。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026. 12 pages, 4 figures

Bringing Back Rule Induction to Fluid Intelligence Research? An Initial Validation of the ARC-AGI Benchmark in Humans

将规则归纳带回流体智力研究？人类中ARC-AGI基准的初步验证

Jasmin Thelen, Oliver Wilhelm

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究围绕流体智力测量的两种观点，以含100名参与者的研究初步验证ARC-AGI基准用于人类流体智力测量的有效性，发现其与图形流体智力显著相关，为相关研究提供支持并建议嵌入人工智能基准以促进评估与合作。

Defining and Evaluating Physical Safety for Large Language Models

定义和评估大语言模型的物理安全性

Yung-Chen Tang, Pin-Yu Chen, Tsung-Yi Ho

机构 * The Chinese University of Hong Kong（香港中文大学） ； IBM Research（IBM研究院） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种无人机控制的全面基准，评估大语言模型在物理安全方面的风险与权衡，揭示了模型在安全性和实用性之间的不理想平衡。

Journal ref Communications of the ACM, 2026

High-Order Question Generation in a Multilingual Educational Context

多语言教育背景下的高阶问题生成

Suna-Şeyma Uçar, Itziar Aldabe, Nora Aranberri, Orphée De Clercq

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究在多语言教育背景下，针对高阶问题生成的挑战，引入基于主张-证据-推理和发散性提问的提示，对比布鲁姆分类法。结果显示开源和专有模型能生成多语言问题，部分问题被教师认可为高阶，替代框架可补充布鲁姆分类法。

Comments This paper was accepted at the 15th edition of the Language Resources and Evaluation Conference (LREC 2026)

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 760-769

How Far Can Root Cause Analysis Go on Real-World Telemetry Data?

根因分析在实际遥测数据上能走多远？

Athira Gopal, Ashwanth Krishnan

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究生产微服务故障根因分析难题，提出结构化多智能体RCA管道，性能超现有方法。引入反向推理智能体和自动规则挖掘管道，发现故障证据多，瓶颈在智能体推理能力，模型推理和领域知识是主要限制，进步需模型改进。

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

无需基础的准确性：诊断视频语言模型基准测试中的视觉依赖解离

Jae Joong Lee

机构 * Purdue University（普渡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究视频语言模型基准测试中视觉依赖问题，引入视觉依赖差距（VDG），通过实验表明准确性与视觉依赖可分离，任务类型排名稳定，帧多样性贡献大，H.264实验有新发现，VDG可作标准审查，推动相关研究。

Comments Accepted, ACM International Conference on Multimedia 2026 (ACM MM)

NeMo: Needle in a Montage for Video-Language Understanding

NeMo：视频语言理解中的蒙太奇之针

Zi-Yuan Hu, Shuo Liang, Duo Zheng, Yanyang Li, Yeyao Tao, Shijia Huang, Wei Feng, Jia Qin, Jianguang Yu, Jing Huang, Meng Fang, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。

VulWeaver: Weaving Broken Semantics for Grounded Vulnerability Detection

VulWeaver: 修补断裂语义以实现基于事实的漏洞检测

Yiheng Cao, Yihao Chen, Xin Hu, Bihuan Chen, Jiayi Deng, Zhuotong Zhou, Susheng Wu, Yiheng Huang, Xueying Du, Xingman Chen, Miaohua Li, Xin Peng

专题命中 推理评测 ：reasoning(abstract)

AI总结 VulWeaver通过整合确定性规则与LLM语义推理构建增强依赖图，提取完整漏洞上下文，利用元提示和专家指南提升LLM推理能力，实验显示其在PrimeVul4J数据集上F1得分达0.75，优于现有方法。

A Comparative Evaluation of Large Vision-Language Models for 2D Object Detection under SOTIF Conditions

大型视觉-语言模型在SOTIF条件下2D目标检测的比较评估

Ji Zhou, Yilin Ding, Yongqi Zhao, Jiachen Xu, Dong Bi, Johannes Betz, Arno Eichberger

机构 * Institute of Automotive Engineering, Graz University of Technology（汽车工程研究所，格拉茨技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文评估了大型视觉-语言模型在SOTIF条件下2D目标检测的性能，发现其在复杂场景中召回率显著优于传统方法，但几何精度仍有一定优势。

Comments 8 pages, 11 figures