大模型推理能力

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院生物医药与健康工程研究院） ； Chinese Medicine Guangdong Laboratory（广东省中医药实验室） ； Beijing Normal University（北京师范大学） ； First Hospital of Hebei Medical University（河北医科大学第一医院） ； Lishui Hospital of Zhejiang University（浙江大学丽水医院） ； XiaoMing TCM Hospital（小明中医医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MMIR-TCM框架，结合多模态大模型、记忆增强分割与检索增强生成，解决中医舌诊中的主观性和语义鸿沟问题，在MedTCM数据集上优于GPT-4o等模型。

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

MMBench-Live：一个持续演进的多模态模型基准

Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； PRIS-CV 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。

Meta-Benchmarks for Financial-Services LLM Evaluation

金融服务大语言模型评估的元基准

Blair Hudson

机构 * Commonwealth Bank of Australia（澳大利亚联邦银行） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对公共排行榜忽略金融服务特定认知需求的问题，提出元基准框架，将452个基准映射到41个O*NET工作活动和38个BIAN银行业务领域，采用乘法加权方案和Elo锦标赛生成可比较的工作活动与业务领域得分。

Comments 27 pages, 13 figures, 3 tables

LongVQUBench: Benchmarking Long-Term Video Quality Understanding of Vision-Language Models

LongVQUBench：评估视觉语言模型的长期视频质量理解能力

Arpita Nema, Hanwei Zhu, Xi Zhang, Weisi Lin

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出LongVQUBench基准，包含1200+长视频和1500个问题，通过三级评估（局部、跨事件、全局）和针孔失真问答范式，揭示现有LVLMs在长视频质量理解上的局限性。

Comments Accepted at European Conference on Computer Vision 2026

AGI Maze as a Benchmark Framework for World-Modeling Agents

AGI Maze：作为世界建模智能体的基准框架

Alexey Potapov

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AGI Maze框架，通过部分可观测网格迷宫任务评估LLM构建世界状态表示的能力，发现标准LLM在推理时无法内部表示迷宫，即使借助工作记忆也难以可靠求解。

EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards

EgoSafetyBench：用于评估具身VLM作为运行时安全卫士的诊断性自我中心视频基准

Siddhant Panpatil, Arth Singh, Mijin Koo, Chaeyun Kim, Haon Park, Dasol Choi

机构 * AIM Intelligence（AIM智能研究所） ； Seoul National University（首尔国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出EgoSafetyBench，一个包含1200个机器人视角场景的自我中心视频基准，用于评估视觉语言模型在流式安全监控中的能力，通过情景和视觉通道两个轨道测试模型识别危险和应对误导性文本的鲁棒性。

Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study

在Scrum认证问题上提示GPT-5：一项实证准确性研究

Mirko Perkusich, Danyllo Albuquerque, João Paiva, Robson Vilar, Emanuel Dantas, Ademar França de Sousa Neto, Rohit Gheyi, Kyller Gorgônio, Angelo Perkusich

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 本研究通过三种提示技术（零样本、思维链、带源引用）测试GPT-5在993个PSM认证问题上的准确性，发现所有提示均达到85%以上准确率，其中带源引用最佳（89.1%），并分析了错误类型。

ATM: CID-Brokered Pre-Write Admission for Multi-Agent Code Co-Synthesis

ATM：基于CID的预写准入机制用于多智能体代码协同合成

Eagl Huang

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出ATM框架，通过CID代理和适配器引导的原子化，解决多智能体LLM系统中并发写意图的准入、组合与序列化问题，支持可审计性和有限恢复能力。

Comments 40 pages, 8 figures. Source code and supplementary artifact links are described in the manuscript appendix

Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting

识别和解决基于知识的VQA基准测试中的陷阱：审计、修复与增强

Qian Ma, S M Rayeed, Charles V. Stewart, Qiong Wu, Yao Ma

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； AT&T Chief Data Office（AT&T首席数据办公室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文审计现有KB-VQA基准测试，发现答案缺失/矛盾、问题不明确和视觉场景简单等系统性问题，导致准确率指标误导模型排名；提出审计-修复协议和多重实体增强协议，重新评估后性能趋势显著变化。

Comments Accepted to ECCV 2026. The datasets and code are available in https://github.com/VAN-QIAN/ECCV26-ARA

Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth

前沿大语言模型在阿拉伯文化与社会语言学知识上的基准测试：基于人类专家真实标注的交叉评估框架

Sajjad Abdoli, Ghassan Al-Sumaidaee, Ahmad ElShiekh, Clayton W. Taylor, Ahmed Rashad

机构 * Perle AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出一个交叉评估框架，通过人类专家标注的103个提示-评分标准对，评估前沿LLM在埃及和伊拉克阿拉伯语文化与社会语言学知识上的表现，发现GPT-5.4是最可靠的自动评判者，文化任务比语言任务更难评分，且模型在埃及提示上表现优于伊拉克提示。

MetaSyn: A Benchmark for LLM Agents on Meta-Analysis Articles from Nature Portfolio

对Nature Portfolio元分析文章进行LLM代理基准测试

Anzhe Xie, Weihang Su, Yujia Zhou, Yiqun Liu, Min Zhang, Qingyao Ai

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MetaSyn数据集，包含442篇专家策划的元分析，用于评估LLM代理在检索-筛选-综合全流程中的表现，发现当前系统在筛选阶段存在严重瓶颈。

Comments 17 pages, 8 figures, 11 tables. Code and evaluation: https://github.com/THUIR/MetaSyn Dataset: https://huggingface.co/datasets/THUIR/MetaSyn Model: https://huggingface.co/BFTree/MA-Retriever

Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

哪些Token重要？基于相对惊讶指数的自适应Token选择用于RLVR

Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen

机构 * ModelScope Team（ModelScope团队） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出相对惊讶指数（RSI）度量，通过自适应Token过滤方法RSI-S解决RLVR中高熵与低概率Token的矛盾，在AIME和AMC基准上提升avg@32准确率2-3个百分点。

Comments 13 pages, 4 figures

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously

AutoTrainess: 教语言模型自主改进语言模型

Zhaojian Yu, Penghao Yin, Shuzheng Gao, Shilin He, Kai Cai, Xiao-Ping Zhang

专题命中 推理评测 ：planning(abstract)；分类 cs.CL

AI总结 提出AutoTrainess智能体，通过外部化人类经验为工作流和约束，在PostTrainBench上超越CLI基线，平均得分从23.21提升至26.94。

HistoriQA-ThirdRepublic: Multi-Hop Question Answering Corpus for Historical Research, Parliamentary Debates from the French Third Republic (1870-1940)

HistoriQA-ThirdRepublic: 面向历史研究的多跳问答语料库——来自法兰西第三共和国（1870-1940）的议会辩论

Aurélien Pellet, Julien Perez, Marie Puren

机构 * LRE ； EPITA ； EPITECH ； Bpifrance ； CJM 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出一个法语多跳历史问答数据集，基于第三共和国议会辩论和报纸，由历史学家协作构建，涵盖跨源综合、时间推理等复杂推理模式，共1782个问题，用于评估检索增强和大型语言模型在特定领域的效果。

Journal ref LREC 2026: Language Resources and Evaluation Conference, ELRA Language Resources Association, May 2026, Palma de Mallorca, Spain

A Semantic-Layer-Mediated Agent for Natural Language to SQL over Heterogeneous Enterprise Databases

一种语义层中介的智能体，用于异构企业数据库的自然语言到SQL转换

Ha Jeong Kim, Saksonita Khoeurn, Ye Ji Yoon

机构 * DAQUV Corp.（DAQUV公司） ； Chungbuk National University（忠北大学） ； BigDataLabs, Co., Ltd.（BigDataLabs有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出一种通过语义层中介的NL2SQL智能体，利用语义模型查询（SMQ）解耦语义与物理SQL，在Spider2-snow基准上达到94.15%执行准确率，排名第三。

Comments Submitted to FITAT 2026 for peer review

Investigating Multi-Agent Deliberation in Law

法律中的多智能体审议研究

Cor Steging, Ludi van Leeuwen, Tadeusz Zbiegień

机构 * Bernoulli Institute of Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所） ； Department of Legal Theory, Jagiellonian University（雅盖隆大学法律理论系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文研究基于大语言模型的多智能体审议方法在法律推理任务中的应用，提出两种受法庭程序和论证启发的框架，实验表明其与基线模型性能相当但答案差异显著，尤其擅长需要多角度批判性思维的问题。

Comments This manuscript has been accepted for presentation at the AIDA2J Workshop during the 21st International Conference of AI & Law in Singapore, June 8 2026

OpenRCA 2.0: From Outcome Labels to Causal Process Supervision

OpenRCA 2.0：从结果标签到因果过程监督

Aoyang Fang, Yifan Yang, Jin'ao Shang, Qisheng Lu, Junjielung Xu, Rui Wang, Songhan Zhang, Yuzhong Zhang, Boxi Yu, Pinjia He

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对现有根因分析数据集仅标注结果而忽略因果传播路径的问题，提出PAVE协议重建因果路径，构建OpenRCA 2.0基准，发现LLM在根因定位中因果验证不足的缺陷。

Comments work in progress

RigorBench: Benchmarking Engineering Process Discipline in Autonomous AI Coding Agents

RigorBench: 自主AI编码代理中工程过程纪律的基准测试

Meher Bhaskar Madiraju, Meher Sai Preetam Madiraju

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出RigorBench基准，通过五个维度评估AI编码代理的过程纪律，实验表明结构化过程纪律使过程质量提升41%，结果正确性提升17%。

Comments 9 pages, 7 tables, 1 figure

Agent-Native Immune System: Architecture, Taxonomy, and Engineering

智能体原生免疫系统：架构、分类与工程

Bo Shen, Lifeng Chang, Tianyuan Wei, Yunpeng Li, Feng Shi, Yichen Han, Peijie Gao, Shiyi Kuang, Xin Chang, Dehui Li

机构 * Novo Ordo for AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出智能体原生免疫系统（ANIS），一种嵌入智能体认知循环的生物启发式内生防御架构，通过六层免疫塔、统一病毒疫苗分类和元认知自动化骨干实现运行时动态防护。

Towards Evaluation of Implicit Software World Models in Coding LLMs

面向编码大语言模型中隐式软件世界模型的评估

Egor Bogomolov, Yaroslav Zharov

机构 * JetBrains Research（JetBrains研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过预测执行资源（峰值内存、墙钟时间、分析器输出）扩展软件世界模型评估，发现前沿模型表现有限，表明对软件执行理解不足。

Comments Accepted to DL4Code workshop at ICML 2026

MedGuards: Multi-Agent System for Reliable Medical Error Detection and Correction

MedGuards: 用于可靠医疗错误检测与纠正的多智能体系统

Congbo Ma, Hu Wang, Yichun Zhang, Farah E. Shamout

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） ； Khalifa University（哈利法大学） ； New York University（纽约大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MedGuards框架，通过多智能体上下文学习与置信度引导仲裁机制，无需额外训练即可检测、定位和纠正医疗文本错误，并引入关键词优先纠正评分(KPCS)评估指标。

Agent-as-a-Router: Agentic Model Routing for Coding Tasks

Agent-as-a-Router: 面向编码任务的智能体模型路由

Pengfei Zhou, Zhiwei Tang, Yixing Ma, Jiasheng Tang, Yizeng Han, Zhenglin Wan, Fanqing Meng, Wei Wang, Bohan Zhuang, Wangbo Zhao, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； University of California, Berkeley（加州大学伯克利分校） ； The Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 提出Agent-as-a-Router框架，通过C-A-F循环积累执行经验，实现编码任务的动态模型路由，ACRouter在分布内任务上取得最低累积遗憾并泛化到分布外任务。

Comments 39 pages, 21 figures, a living technical report with a living benchmark that continuously updates

Artificial Intelligence Index Report 2026

人工智能指数报告2026

Sha Sajadieh, Loredana Fattorini, Raymond Perrault, Yolanda Gil, Vanessa Parli, Lapo Santarlasci, Juan Pava, Nestor Maslej, Russ Altman, Erik Brynjolfsson, Carla Brodley, Jack Clark, Virginia Dignum, Vipin Kumar, James Landay, Terah Lyons, James Manyika, Juan Carlos Niebles, Yoav Shoham, Elham Tabassi, Russell Wald, Toby Walsh, Dan Weld

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本报告追踪AI在推理、安全及现实任务执行方面的测试进展，分析治理框架、评估方法与技术发展之间的差距，并新增AI在科学与医学领域的独立章节。

Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes

以真实意图铺路：意图感知训练提升跨训练机制下的LLM安全分类

Jeremias Ferrao, Niclas Müller-Hof, Iustin Sîrbu, Traian Rebedea, Yftah Ziser

机构 * University of Groningen（格罗宁根大学） ； University Politehnica of Bucharest（布加勒斯特理工大学） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出意图感知训练方法，通过显式建模用户意图信号提升安全分类器鲁棒性，在多个训练机制下取得最优平均性能。

HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models

HarmVideoBench：大型多模态模型中有害视频理解的基准测试

Jiajun Wu, Haoyu Kang, Yining Sun, Jiacheng Hou, Heng Zhang, Danyang Zhang, Zhenjun Zhao, Haochi Zhang, Leixin Sun, Eric Hanchen Jiang, Yushan Li, Ruiyu Li, Mengkai Huang, Yan Gao, Xu Zhang, Guancheng Wan

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； ByteDance Inc（字节跳动公司） ； University of Zaragoza（阿拉维达大学） ； CosmosMind ； Wuhan University（武汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Southeast University（东南大学） ； Tencent（腾讯公司） ； Nankai University（南开大学） ； Supermicro Computer Inc（Supermicro计算机公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出HarmVideoBench，一个包含1379个视频和4137道选择题的多层次诊断基准，从三个维度评估模型对有害视频的深层理解，并引入BCR方法将宏平均准确率从61.7%提升至84.4%。

Confidence-Aware Tool Orchestration for Robust Video Understanding

置信度感知的工具编排用于鲁棒视频理解

Yangfan He, Yujin Choi, Jaehong Yoon

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对视频推理模型盲目信任所有帧的问题，提出Robust-TO框架，通过每帧可信度评分、统一证据接口和三阶段合成机制，在八项任务上实现56.4%准确率，超越最强开源基线10.6%，并在五种真实扰动下保持54.3%准确率。

Comments Project page: https://rova-v2.github.io/

The Capability Frontier: Benchmarks Miss 82% of Model Performance

能力前沿：基准测试遗漏了82%的模型性能

Bradley Fowler, Ryan Smith, Daniel Thi Graviet, William Myers, Joshua Greaves, Narmeen Fatimah Oozeer, Antía García, Philip Quirke, Amirali Abdullah, Fazl Barez, Shriyash Kaustubh Upadhyay

机构 * Martian ； University of Oxford（牛津大学） ； ThoughtWorks 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出能力前沿概念，通过帕累托前沿量化多模型多生成下的最佳性能，纠正单模型单次评估偏差，在16个基准上实现82%性能提升和85%成本降低。

Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection

感知、判断与进化：基于事后洞察的自优化取证智能体用于AI生成图像检测

Yangjun Wu, Keyu Yan, Yu Liu, Jingren Zhou, Fei Huang, Rong Zhang, Zhou Zhao, Fei Wu

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出ForeAgent框架，采用感知-判断架构融合多视图线索，并引入事后洞察驱动的自优化策略，通过采样-反思-进化范式持续提升检测能力，在多个基准上达到最优性能。

Comments 10 pages

Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

大型语言模型能否可靠地编码定性人道主义数据？一项针对人类专家裁决的基准研究

Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本研究通过对比46个大型语言模型与人类专家在150份高保真合成人道主义转录本上的编码表现，发现多个LLM在结构化提示和推理配置下能达到与经验丰富人类编码员相当的可靠性，但聚合可靠性指标不足以指导部署，模型在识别间接表达的需求、类别外需求及保护相关问题方面存在差异。

Comments 34 pages, 4 tables, 3 Annexes

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

WatchAct: 行为引导的机器人操作基准

Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出WatchAct基准，通过人类行为视频与指令配对，评估机器人对观察行为的推理能力，涵盖事件解析、程序推理、意图推断和情景记忆四个认知维度，实验显示现有系统性能远低于人类。