大模型推理能力

Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad

化学思维链函数作为易产生幻觉的分子草稿本

Jiatong Li, Yuxuan Ren, Weida Wang, Xiaoyong Wei, Yatao Bian

机构 * Blue Whale Lab, National University of Singapore（新加坡国立大学蓝鲸实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；chain-of-thought(title,abstract)；reasoning(abstract)；分类 cs.CL

AI总结 研究化学推理语言模型中思维链的作用，发现其在多个模型和任务中易产生幻觉且与答案正确性无关，存在共享草稿本功能，如Chem-R依赖SMILES草稿，干扰其草图会影响生成，表明化学CoT是易产生幻觉的分子草稿本，提醒不能仅以CoT判断推理可靠性。

Comments 16 pages, 6 figures

Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts

量化语言模型推理中的无声失败：基于分类法的空洞收敛和失败模式转移分析

Renuka Oladri, Mohan Vamsi Varadaraju Priya, Jerry Wu

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 研究量化大语言模型推理中的无声失败，用六类失败分类法对五个模型在三种精度和四个基准下的思维链输出分类，发现空洞收敛等问题有精度和基准依赖性，且无法从文本特征可靠检测，揭示了标准评估管道未捕捉到的失败模式。

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 推理评测 ：verifier(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces

什么是好的？从大语言模型推理痕迹中提取并测试文学质量的隐含理论

Birger Moëll

机构 * Uppsala University（乌普萨拉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 研究通过构建含30篇文本的基准从大语言模型推理痕迹提取文学质量隐含理论，经五次复制实验得模型判断写作质量的相关结论；还通过对经典散文段落退化探究该理论，发现其判断整体、作者特定且对结构更敏感，对相关领域有启示。

SciTrek: Evaluating and Improving Long-Context Numerical Reasoning over Scientific Articles

谁被引用最多？在科学文章上基准测试长上下文数值推理

Miao Li, Alexander Gurung, Irina Saparina, Mirella Lapata

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 SciTrek基准测试通过长上下文科学文章问题探索LLM的数值推理能力，发现即使最佳模型在长上下文下也面临显著挑战，尤其在处理引用和复合逻辑问题时表现不佳。

Comments 26 pages

ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues

ImplicitBBQ: 通过基于特征的提示对大语言模型中的隐性偏见进行基准测试

Bhaskara Hanuma Vedula, Darshan Anghan, Ishita Goyal, Ponnurangam Kumaraguru, Abhijnan Chakraborty

机构 * International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴） ； Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImplicitBBQ基准测试，通过基于特征的提示评估大语言模型中的隐性偏见，发现隐性偏见在模糊情境中比显性偏见高六倍，现有方法难以有效缓解。

An Evaluation Framework for Structured Audio Captions Validated by Controlled Perturbations

一种通过受控扰动验证的结构化音频字幕评估框架

Liang-Yuan Wu, Sripathi Sridhar, Mark Cartwright, Magdalena Fuentes

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 研究针对结构化音频字幕评估难的问题，提出多轴评估框架，结合大语言模型判断与计算指标，在五个正交轴上评估，通过受控扰动测试协议验证可靠性，能区分释义与损坏。

Comments submitted to DCASE 2026

AISE-Bench: A Full-Cycle Curated Benchmark for Information Seeking on Academic Knowledge Graphs

AISE-Bench：用于学术知识图谱信息检索的全周期精选基准测试

Fanjin Zhang, Zhengyang Wang, Ruixuan Huang, Kefan Zhang, Amy Xin, Yuanchun Wang, Shu Zhao, Evgeny Kharlamov, Jie Tang, Juanzi Li

机构 * Renmin University of China（中国人民大学） ； Anhui University（安徽大学） ； Z-Lab Z.ai ； Tsinghua University（清华大学） ； Bosch Center for AI（博世人工智能中心） ； University of Oslo（奥斯陆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 研究针对学术知识图谱信息检索基准测试不足的问题，引入AISE-Bench，通过定制工作流程和综合评估协议构建基准测试，为多步API使用的大语言模型智能体提供新测试平台，助力评估与改进。

Comments 9 pages, accepted by KDD 2026

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '26), August 09-13, 2026, Jeju Island, Republic of Korea

AI Assistants Overassist

人工智能助手过度协助

Verona Teo, Raghav Jain, Tobias Gerstenberg, Max Kleiman-Weiner

机构 * Stanford University（斯坦福大学） ； University of California, San Diego（加利福尼亚大学圣地亚哥分校） ； University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨大语言模型作导师时，其干预方式对学习的影响。介绍Int-Bench基准，模拟学生解题、教师决定干预。在多领域评估大语言模型教师干预情况，并与人类对比，发现其干预频繁且倾向提供完整方案，表明为短期成功而非深层学习优化。

Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation

用于 CUDA 内核生成的具有结构和性能感知奖励的多轮强化学习

Quazi Ishtiaque Mahmud, Nesreen K. Ahmed, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Cisco AI Research（思科人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对 CUDA 内核生成，提出 CudaPerf 框架，结合可验证执行奖励与结构代码感知奖励，分离线排序和在线训练两阶段，利用执行反馈迭代细化，通过实验证明其显著优于基线，在加速和正确性上有大幅提升。

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

NVIDIA实验室的OO智能体：原生Python面向对象智能体

Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, Elisa Martinez Abad, Christian Schüller, Razvan Dinu, Alessio Devoto, Pascal Berard, Gal Kaplun, Elad Sarafian, Riccardo Roveri, Leon Derczynski, Ricardo Silveira Cabral

机构 * NVIDIA-labs（英伟达实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出NOOA这一Python框架构建可靠AI智能体，采用智能体即Python对象的编程模型，结合六个面向模型的理念，证明当前模型能有效使用此接口并在相关测试中表现良好，为智能体开发提供新途径。

StabilityBench: Benchmarking Instability in LLMs

StabilityBench：评估大语言模型中的不稳定性

Emma Kondrup, Zachary Yang, Anne Imouza, Reihaneh Rabbany

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型实际行为难测、现有评估协议有局限的问题，提出StabilityBench基准测试工具，通过注入现实模拟增强现有基准，应用于四个基准测试评估九个模型，发现性能不稳定，还提出StabilityBench-Mini以实现更现实评估。

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

ConfidenceBench：评估大语言模型中的置信度校准

Matthew ffrench-Constant, Daniel Yang, Xinmeng Huang, Sanyam Kapoor

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型在特定场景下仅靠准确性不足的问题，提出ConfidenceBench校准基准，用Brier分数评估15个前沿LLMs口头置信度，经实验发现模型准确性与校准差异大，证明口头置信度校准是LLM可靠性重要维度，补充了基于准确性的评估。

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

电信-GAIA：电信领域智能体的双语基准测试

Dmitrii Khizbullin, Zaid Alyafeai, Abdelrahman Eldesokey, Nourah AlSultan, Raghad Alshalan, David R. Pugh, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； stc（沙特电信公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍电信-GAIA双语多模态基准测试，含100个人工验证问答任务，需多跳推理，跨越多种异构源。以沙盒化Docker环境提供，通过规范化精确字符串匹配评分。评估发现其具有挑战性，为企业智能体提供测试平台和构建基准测试的模板。

Automated Synthesis and Adversarial Validation of Executable Causal Research Pipelines

可执行因果研究管道的自动合成与对抗验证

Irena Girshovitz, Dan Zeltzer, Ran Gilad-Bachrach

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究聚焦自动化研究系统隐性失败问题，核心方法是提出ARA框架，集成多环节到统一管道，将自然语言问题转化为可执行代码并评估。主要贡献是改变失败模式，强调有效性优先的自动化科学系统评估应综合考量答案准确性及因果声明合理性。

CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

CRAG-MM诊断：实现对知识密集型视觉问答的逐阶段分析

Hanseok Oh, Parishad BehnamGhader, Benno Krojer, Hyunji Lee, Paul Liang, Siva Reddy, Verna Dankers

机构 * New York University（纽约大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； MIT（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究知识密集型视觉问答流程，引入CRAG-MM-Diagnostics诊断基准，通过逐阶段数据注释分离子问题，评估VLM并进行细粒度分析，指出知识检索和推理是主要瓶颈，还提出改进流程提升准确率。

Comments Accepted to ECCV 2026

QuantiBias: Benchmarking Quantization-Induced Bias in LLMs

QuantiBias：量化大语言模型中量化诱导偏差的基准测试

Emilio Ferrara

机构 * University of Southern California（南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型量化中的偏差问题，提出QuantiBias基准测试，通过结合多种控制和对比有无推理的构建来评估偏差，发现量化器按无偏差预防信号的数据分配精度，推理对部分偏差有减半效果，强调需重新评估量化模型的开放式偏差。

Comments Benchmark protocol on Hugging Face: https://huggingface.co/datasets/emilioferrara/quantibias

Representing Entity Importance in AI Knowledge Systems: A Dual-Signal Framework of Audience Evaluation and Structural Authority

在人工智能知识系统中表示实体重要性：受众评估与结构权威的双信号框架

Shen Xu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究人工智能知识系统中实体重要性表示，提出受众评估与结构权威双信号框架，经电影实体实验验证，表明两维度是不可冗余信号，贡献是最小知识表示框架及维度必要性实证测试，支持任务感知AI知识系统。

Comments 12 pages, 3 figures, 4 tables

Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

标记错误症状：评估医学文本中的大语言模型水印

Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林夏里特医学院柏林健康研究所） ； Deutsches Herzzentrum der Charité – Medical Heart Center of Charité and German Heart Institute Berlin（柏林夏里特医学院德国心脏中心与柏林德国心脏研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究LLM水印对医学性能的影响，在11个LLM和7个VLM上对5种水印方案进行多任务基准测试，引入人类专家验证管道补充评估，发现水印会致多种退化，特定领域评估是医学中水印模型安全部署的前提。

OpenSkillRisk: Benchmarking Agent Safety When Using Real-World Risky Third-Party Skills

开放技能风险：使用现实世界中的危险第三方技能时对智能体安全性进行基准测试

Qiyuan Liu, Tingfeng Hui, Kun Zhan, Kaike Zhang, Ning Miao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究基于语言模型的智能体使用第三方危险技能时的安全问题，构建OpenSkillRisk基准测试，涵盖多种不安全场景并能细粒度分析。实验发现当前系统处理危险技能能力不足，揭示三种失败模式，强调需改进语言模型风险推理和智能体框架执行控制。

Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text

展示而非讲述：在生成像素而非语言模型文本中评估空间认知

Xu Wang, Kaixiang Yao, Miao Pan, Xiaohe Zhou, Xuanyu Liu, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究图像生成模型空间认知评估问题，提出ProVisE框架及SpatialGen - Bench基准，通过统一设置评估相关模型，发现图像生成模型在像素空间直接外化答案时有竞争力，文本输出语言模型在组合空间推理中有优势，揭示了两者互补优势并建立测试平台。

Comments 36 pages, 14 figures. Project page: https://zju-omniai.github.io/ProVisE/

TransBiolab: A Real-World Multi-View Dataset of Cluttered Transparent Biomedical Objects

TransBiolab：一个杂乱透明生物医学物体的真实世界多视图数据集

Ke Ma, Yifei Wang, Meng Wang, Tian Xia

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； College of Design and Innovation, Tongji University（同济大学设计创意学院） ； Shanghai Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能无人系统研究院） ； School of Software and Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对自主生物医学实验室透明物体视觉感知数据稀缺问题，提出TrainsBiolab真实世界多视图数据集，含多物体杂乱、遮挡场景数据及多种注释，定义相关基准并评估，为自主实验室操作视觉任务提供资源。

Comments 9 pages, 10 figures, accepted by ACM Multimedia 2026

MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement

MVEI与EmObserver：通过情感陈述判断增强面向MLLM的视觉情商

Daiqing Wu, Dongbao Yang, Jiashu Yao, Hongrui Zhang, Can Ma, Yu Zhou, Sicheng Zhao

机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； Beijing Institute of Technology（北京理工大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究针对多模态大语言模型视觉情商评估缺失问题，引入情感陈述判断公式ESJ，开发INSETS及MVEI基准，构建EmObserver模型。通过实验评估，确立了ESJ、MVEI和EmObserver在推进面向MLLM的视觉情商方面的作用。

ViSTR-Bench: Can MLLMs Reason from Continuous Visual Cues in Dynamic Scenes?

ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？

Han Li, Si Liu, Zehao Huang, Dongxin Lyu, Longfei Xu, Jiahui Fu, Daxin Tian, Yuliang Xiu, Naiyan Wang

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。

Comments 37 pages, 37 figures

endoExplain: A reproducible protocol for auditing score-localisation discordance in colonoscopy image classifiers

超越人工智能辅助结肠镜检查中的置信度：一种用于内镜人工智能审查的空间、时间和质量感知审计框架

Roberto Alcaraz Machado, Ana Lucía Rodríguez Blanco

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究针对AI辅助结肠镜检查中仅置信度不能全面评估预测的问题，提出EndoExplain审计框架，整合多种要素。通过实验展示了分类器和分割器的性能，还验证了归因方法等，该框架能分离多种信号，为临床审查提供支持，是回顾性研究原型。

Comments 18 pages, 5 figures, 5 tables. Substantially revised version with a new title and scope; added calibration analysis, paired multi-CAM evaluation, random-deletion controls, architecture and seed robustness analyses, and frozen external spatial transfer

An Agentic Approach Towards Replication Package Quality Evaluation

面向复制包质量评估的智能体方法

Maximilian Alexander Amougou Mbida, Florian Angermeir

专题命中 推理评测 ：planning(abstract)

AI总结 提出一种多智能体方法，将开放科学指南转化为机器可验证标准，自动检查复制包质量并生成改进报告，初步评估显示高一致性和正确性。

Sifting the Noise: A Comparative Study of LLM Agents in Vulnerability False Positive Filtering

筛选噪声：LLM代理在漏洞假阳性过滤中的比较研究

Yunpeng Xiong, Ting Zhang

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文比较了三种先进的LLM代理框架在漏洞假阳性过滤中的性能，展示了LLM代理在减少SAST噪声方面的有效性，但指出其效果依赖于模型和漏洞类型，且存在计算成本差异。

Comments To appear in Proceedings of the 35th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026)