大模型推理能力

RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation

RusFinChain：面向金融领域可验证思维链推理的俄语基准与模糊对齐评估

M. K. Arabov

机构 * Kazan Federal University（喀山联邦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出首个俄语金融可验证思维链推理基准RusFinChain，包含5280个参数化示例和模糊对齐评估指标，揭示模型在步骤对齐与最终答案正确性之间存在显著差距。

Comments Preprint

IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

IsoSci: 用于评估LLM中推理与知识检索的同构跨域科学问题基准

Samir Abdaljalil, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 提出IsoSci基准，通过逻辑结构相同但领域知识不同的科学问题对，分离推理能力与领域知识检索，发现91.3%的推理增益依赖于知识而非结构，挑战了思维链推理提升科学问题解决的假设。

TUDUM: A Turkish-Thinking Reasoning Pipeline for Qwen3.5-27B

TUDUM：面向Qwen3.5-27B的土耳其语思维推理流水线

Baran Bingol, Bahaeddin Turkoglu

机构 * Department of Artificial Intelligence and Data Engineering（人工智能与数据工程系） ； Faculty of Engineering（工程学院） ； Ankara University（安卡拉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出TUDUM流水线，通过SFT和GRPO强化学习将Qwen3.5-27B适配为土耳其语思维模型，使推理过程本身使用土耳其语，而非仅输出本地化答案。

MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings

MedCase-Structured：用于在临床真实EHR环境中基准测试诊断推理的文本到FHIR数据集

Valentina Bui Muti, Eugénie Dulout, Ziquan Fu

机构 * System Inc.（系统公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一个从非结构化文本生成临床真实HL7 FHIR R4数据集的流水线，构建MedCase-Structured数据集，发现LLMs在结构化FHIR输入上的诊断准确性低于纯文本，强调部署对齐基准测试的重要性。

Comments Accepted to ICML 2026 Structured Data for Health Workshop

Reasoning effort, not tool access, buys first-try reliability in agentic code generation: an observational study

推理努力，而非工具访问，决定了智能体代码生成的首试可靠性：一项观察性研究

Achint Mehta

机构 * TrendAI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究通过90次独立智能体运行构建同一应用，发现推理努力（从高到极高）将首试完美运行率从28%提升至89%，而测试工具虽增加成本却未改善功能得分或可靠性。

Comments 22 pages, 5 figures, 10 tables. Dataset and evaluation artifacts: https://doi.org/10.5281/zenodo.21134406

AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG

AgenticRAGTracer：用于诊断Agentic RAG中多步检索推理的跳数感知基准

Qijie You, Wenkai Yu, Wentao Zhang

机构 * University of Science and Technology Beijing（北京科技大学） ； Peking University（北京大学） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security (Peking University)（北京市数据智能与安全重点实验室（北京大学）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 提出首个由大语言模型自动构建的Agentic RAG基准AgenticRAGTracer，包含1305个跨领域数据点，支持逐跳验证，揭示模型在多步推理中推理链扭曲的问题。

Comments Accepted at ACL 2026 Findings

Cache Merging as a Convergent Replicated State for Multi-Agent Latent Reasoning

缓存合并作为多智能体潜在推理的收敛复制状态

Carlos Baquero, Luís Brito

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出CanonicalMerge方法，通过按内容排序KV缓存实现交换律合并，确保多智能体潜在推理中缓存合并的确定性，在保持准确率的同时提供结构保证。

Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?

多模态大语言模型是否需要推理来从语音中分类痴呆症？

Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文评估了多模态大语言模型在自动痴呆症分类中的推理能力，发现基于文本理由的策略会导致幻觉和不一致，并提出DeTAiL框架，通过非线性适配器和强化学习利用内部表示，在两个数据集上优于基线方法。

CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering

CaST-Bench：面向视频问答的因果链时空推理基准

Mingfang Zhang, Jingjing Pan, Ashutosh Kumar, Rajat Saini, Mustafa Erdogan, Hsuan-Kung Yang, Caixin Kang, Yifei Huang, Yoichi Sato, Quan Kong

机构 * Woven by Toyota（丰田公司） ； The University of Tokyo（东京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出CaST-Bench基准，通过构建包含因果链时空标注的数据集和评估指标，系统评测视觉语言模型在视频因果推理中的细粒度证据定位能力。

Comments CVPR 2026

A rubric-based controlled comparison of frontier language models on expert-authored clinical reasoning tasks

基于评分量表的专家级临床推理任务中前沿语言模型的受控比较

Samiha A. Ismail, Fan X. Chen, Ali Merali

机构 * Prime Analytics Consulting Limited（普林特分析咨询有限公司） ； Talbert House（塔尔伯特大楼；托马斯·莫尔大学） ； Thomas More University（MAKZ） ； MAKZ 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 通过5个专家编写的临床场景和加权评分量表，评估GPT、Claude和Gemini三个前沿模型，发现关键标准通过率低（32-42%），而低权重标准通过率高（80-90%），52%的关键标准无模型通过。

Comments 13 pages, 4 tables

Office Comprehension Benchmark

办公室理解基准

Firoz Shaik, Mateus Picanço Lima Gomes, Tanvir Aumi, Jingci Wang, Milos Milunovic, Filip Basara, Ivana Jovanovic, Vishwas Suryanarayanan, Neha Nandan Kenkare, Weiyao Xie, Zhipeng Han, Zheng Zhang, Waleed Shahid, Jay Rathi, Russell Scherer, Thong Q. Nguyen, Michael Bentley, Tamara Stankovic, Rasika Chakravarthy, Vishal Chowdhary

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Office Comprehension Bench，首个联合评估LLM对Word Excel和PowerPoint文件理解的基准，包含文件保真度问答和领域问答两个赛道，测试结构与视觉感知及多领域推理能力。

COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows

COMFYCLAW：面向图像生成工作流的自进化技能工具包

Zongxia Li, Dawei Liu, Fuxiao Liu, Yuhang Zhou, Xiyang Wu, Jingxi Chen, Jing Xie, Xiaomin Wu, Lichao Sun

机构 * University of Maryland（马里兰大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nvidia（英伟达） ； Lehigh University（里海大学） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 提出COMFYCLAW框架，通过类型化图编辑、区域级VLM验证器和渐进式技能库进化，提升ComfyUI工作流构建的代理可靠性和性能，在多个基准上取得最佳平均评分。

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

Human Capital, Not Model Benchmarks, Predicts Hybrid Intelligence in Forecasting

人力资本而非模型基准预测预测中的人机混合智能

Vivienne Ming

机构 * UCL Global Business School for Health（伦敦大学学院全球健康商学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过真实货币预测市场实验，发现人机协作效果取决于个体的人力资本（如视角转换、知识谦逊和好奇心），而非认知能力或模型基准，表现为三模态分布：多数人依赖或盲从模型，少数人实现互补推理并达到或超越市场准确率。

Comments 4 pages, 1 figure, PNAS brief style

AnyGroundBench: A Specialized-Domain Benchmark for Video Grounding in Vision-Language Models

AnyGroundBench: 视觉语言模型中视频定位的专业领域基准

Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji, Hiroki Kajita, Shigeki Sakai, Hideo Saito, Ryo Hachiuma

机构 * Keio University（庆应大学） ； Keio AI Research Center（庆应人工智能研究中心） ； Keio University School of Medicine（庆应大学医学部） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AnyGroundBench基准，将STVG评估从零样本转向领域适应，涵盖五个专业领域，评估15个VLM的零样本和上下文学习能力，发现现有模型在专业领域表现不佳。

EduArt: An educational-level benchmark for evaluating art history knowledge in large language models

EduArt：评估大型语言模型艺术史知识的教育级基准

Gianmarco Spinaci, Lukas Klic, Giovanni Colavizza

机构 * University of Bologna（博洛尼亚大学） ； Villa i Tatti – The Harvard University Center for Italian Renaissance Studies（哈佛大学意大利文艺复兴研究中心（I Tatti）） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出EduArt基准，包含871道人工出题的艺术史题目，评估多模态大模型在不同格式和语言下的知识掌握与推理能力，发现格式显著影响表现，多选题高估模型能力。

Traceable Fault Diagnosis for Battery Energy Storage Systems via Retrieval-Augmented Multi-Agent O&M Assistant

基于检索增强的多智能体运维助手实现电池储能系统可溯源故障诊断

Jiangdi Ru, Bing Li, Yage Huang, Ding Wang, Keru Hua

机构 * Corporate Research Center, Midea Group（美的集团企业研发中心） ； New Energy Business Division, Midea Group（美的集团新能源业务部） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出一种结合检索增强多智能体推理的BESS故障诊断助手，通过任务路由、模式约束数据库访问、混合文本-图像检索和基于证据的答案合成，实现可溯源的故障诊断。

Probabilistic Low-Voltage Peak Load Forecasting with Time Series Foundation Models Evaluated on Application-Oriented Metrics

基于时间序列基础模型的概率低压峰值负荷预测及其面向应用的评估指标

Benedikt Kaas, Manuel Treutlein, Hannes Benedikt Gerber, Oliver Neumann, Cheewan Phatthanakhuha, Oliver Resch, Ralf Mikut, Veit Hagenmeyer

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） ； Netze BW GmbH（Netze BW有限公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.LG

AI总结 本研究评估时间序列基础模型在200个实际低压馈线短期净负荷预测中的性能，提出面向应用的指标连接峰值预测与电网资产规划中的成本-风险权衡。

Comments A poster abstract of this publication will be available at the 15th DACH+ Conference on Energy Informatics (2026 in Linz, Austria)

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院生物医药与健康工程研究院） ； Chinese Medicine Guangdong Laboratory（广东省中医药实验室） ； Beijing Normal University（北京师范大学） ； First Hospital of Hebei Medical University（河北医科大学第一医院） ； Lishui Hospital of Zhejiang University（浙江大学丽水医院） ； XiaoMing TCM Hospital（小明中医医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MMIR-TCM框架，结合多模态大模型、记忆增强分割与检索增强生成，解决中医舌诊中的主观性和语义鸿沟问题，在MedTCM数据集上优于GPT-4o等模型。

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

MMBench-Live：一个持续演进的多模态模型基准

Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； PRIS-CV 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。

Meta-Benchmarks for Financial-Services LLM Evaluation

金融服务大语言模型评估的元基准

Blair Hudson

机构 * Commonwealth Bank of Australia（澳大利亚联邦银行） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对公共排行榜忽略金融服务特定认知需求的问题，提出元基准框架，将452个基准映射到41个O*NET工作活动和38个BIAN银行业务领域，采用乘法加权方案和Elo锦标赛生成可比较的工作活动与业务领域得分。

Comments 27 pages, 13 figures, 3 tables

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

谁获得奖励 & 谁受到责备？面向多LLM智能体的评估对齐训练信号

Chih-Hsuan, Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 推理评测 ：分类 cs.CL、cs.AI；reasoning(comments)；planning(comments)

AI总结 提出一个理论框架，结合合作博弈归因与过程奖励建模，将系统级评估转化为智能体信用和消息级信号，用于多LLM智能体训练。

Comments Accepted at the NeurIPS 2025 Workshop on Bridging Language, Agent, and World Models for Reasoning and Planning (LAW 2025)

LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

LASER: 通过视觉注意力保持与沉没抑制为LVLMs提供矫正透镜

Bowen Yuan, Zijian Wang, Yadan Luo, Shijie Wang, Zi Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对大型视觉语言模型在长序列解码中视觉遗忘的问题，提出LASER后训练框架，通过视觉接地奖励和沉没抑制奖励调节注意力轨迹与分布，在8个基准上超越强基线。

Comments The 19th European Conference on Computer Vision (ECCV 2026)

STRUCTSURVEY: Structured Agentic Retrieval for Automated Survey Paper Generation

STRUCTSURVEY: 结构化智能检索用于自动生成综述论文

Paolo Pedinotti, Enrico Santus

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出STRUCTSURVEY分层多智能体框架，通过动态构建实体、关系和主题分类的图表示，将结构推理从生成阶段转移到检索阶段，在ACL综述基准上相比嵌入检索基线平均提升ROUGE-1召回率2.9、ROUGE-2召回率1.0，且不降低精确度。

Comments 8 pages, 1 figure, appendices, SurgeLLM, RAG4Reports, ACL

All Relations Lead to Rome: Automated Knowledge Graph Creation and Question Generation

所有关系通向罗马：自动化知识图谱构建与问题生成

Matthijs Jansen op de Haar, Tobias Stähle, Lorenzo Gatti

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出ARLtR框架，联合构建知识图谱、嵌入和基于事实的问答对，实现符号图与稠密检索的统一表示，并以罗马帝国历史数据集验证。

Comments 10 pages, 5 figures, version one

Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction

Omni-DuplexEval: 评估实时双工全模交互

Chaoqun He, Mingyang Xiang, Yingjing Xu, Bokai Xu, Junbo Cui, Jie Zhou, Yuan Yao, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。

Comments 21 pages, 6 figures

VERITAS: A Multi-Agent Co-Scientist for Verifiable Image-Derived Hypothesis Testing

VERITAS：通过智能系统进行图像派生假设检验的可验证认知推理

Lucas Stoffl, Benedikt Wiestler, Johannes C. Paetzold

专题命中 推理评测 ：reasoning(abstract)

AI总结 VERITAS通过多智能体系统自主测试自然语言假设，生成可审计的证据链，通过四阶段工作流和认知证据标签框架提升医学影像研究的可验证性，达到81.4%的准确率。

Comments 43 pages, 5 figures. Code available at https://github.com/LucZot/veritas

Video-Oasis: Rethinking Evaluation of Video Understanding

Video-Oasis：重新审视视频理解的评估

Geuntaek Lim, Sungjune Park, Jaeyun Lee, Inwoong Lee, Taeoh Kim, Dongyoon Wee, Minho Shim, Yukyung Choi

机构 * Sejong University（世宗大学） ； NAVER Cloud 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出Video-Oasis，通过系统评估现有评估方法，揭示视频理解中的时空挑战，发现54%的基准样本无需视觉输入即可解决，先进模型表现仅略超随机猜测。

Comments Accepted at ECCV2026; Project page: https://limgeuntaekk.github.io/Video-Oasis/

Evaluating Collective Behaviour of Hundreds of LLM Agents

评估数百个LLM代理的集体行为

Richard Willis, Jianing Zhao, Yali Du, Joel Z. Leibo

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出框架评估LLM代理在社会困境中的涌现行为，通过自然语言策略生成与代码翻译，分析行为指纹、自博弈福利及文化演化，发现大群体中文化演化收敛至低福利自私均衡。

Comments 18 pages, 5 figures