大模型推理能力

Reasoning for Social Audio-Visual Question Answering: Where Do We Stand?

社会视听问答的推理：我们处于什么阶段？

Koen P. de Vries, Xavier Alameda-Pineda, Estefanía Talavera, Stéphane Lathuilière

机构 * Inria（法国国家信息与自动化研究所） ； Univ. Grenoble Alpes（格勒诺布尔大学） ； CNRS（法国国家科学研究中心） ； University of Twente（特文特大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)

AI总结 本文针对社会视听问答研究，发现IntentBench存在高噪声，Vanilla SFT基线性能优于现有推理方法，仅用文本模态即可实现与视频相当的性能，并发布了IntentBench-Prime等资源。

Comments Accepted at HCMIW ECCV workshop. Code available here: https://github.com/koenv759/VanillaSFT

CRAFT: LLM-Based Iterative Refinement for Temporal Reasoning over Clinical Narratives

CRAFT：基于大语言模型的迭代优化用于临床叙事的时间推理

Chengyang He, Tahreem Arif, Marko Zivkovic, Lijing Wang, Yue Ning, Ping Wang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Genesis Research Group（创世纪研究集团） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 针对临床叙事中时间锚点稀疏导致的症状轨迹重建难题，提出基于大语言模型的CRAFT框架，通过生成器与约束验证器迭代优化，在MedTempo基准上提升了时间排序准确率。

Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models

面向大语言模型复杂图推理的统一多维度基准

Fali Wang, Ali Al-Lawati, Iliyas Bektas, Jinxuan Fang, Alek Melenski, Tianxiang Zhao, Yao Ma, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Rensselaer Polytechnic Institute（伦斯勒理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有图推理基准的局限，提出半自动框架构建含202个任务的统一多维度基准，评估LLM在不同推理模式下的表现，揭示模型局限并提供实证指导。

Comments Under review

MARC v1: An Open-Source Multi-Agent Framework for Clinical AI Reasoning and Coordination

MARC v1：一个用于临床AI推理与协作的开源多智能体框架

Saisha Shetty, Satvik Tripathi, Austin Lin, Colin Zhao, Theodore Kim, Don Enwerem, Jacinta Arnold, Shahriar Faghani, Tessa S Cook

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出开源多智能体框架MARC v1，以确定性多智能体编排替代整体式LLM提示用于临床推理，含角色专业化智能体与分解器模块，支持多部署方式，具备模型无关、可解释等特性。

Comments 13 pages, 4 figures

CityRiSE: Reasoning Urban Socio-Economic Status in Large Vision-Language Models via Reinforcement Learning

CityRiSE：基于强化学习的大视觉语言模型城市社会经济地位推理框架

Tianhui Liu, Hetian Pang, Xin Zhang, Jie Feng, Pan Hui, Yong Li

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心） ； Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出CityRiSE框架，结合强化学习与大视觉语言模型，提升城市社会经济感知的预测准确性与泛化能力，尤其在未见城市和指标上表现优异。

Comments Accepted by ACM MM 2026, https://github.com/tsinghua-fib-lab/CityRiSE

How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning?

基础模型在纵向MRI疾病进展推理中的表现如何？

Wafa Al Ghallabi, Ritesh Thawkar, Sara Ghaboura, Omkar Thawakar, Numan Saeed, Dana Al Nuaimi, Ajnas Alkatheeri, Salman Khan, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Health Abu Dhabi（阿布扎比卫生部） ； Fatima College of Health Sciences（法蒂玛健康科学学院） ； Linköping University（林雪平大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究推出Time-Aware Multi-View MRI基准，评估16个视觉-语言模型在纵向MRI疾病进展推理中的表现，发现模型在变化方向识别等方面存在缺陷，多视角输入对模型性能有特定影响。

Comments Accepted at MICCAI 2026 (Early Accept). 11 pages, 3 figures, 2 tables

Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation

超越局部准确率：面向受控大语言模型推理评估的协议级可识别性审计

Junhao Luo, Ning Huang, Ziqi Sha, Wenxuan Tang, Wei Deng

机构 * School of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学学院） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL

AI总结 该研究提出协议级可识别性审计方法，无需调用模型即可验证LLM评估协议的有效性，发现基础准确率与选择性响应保真度存在显著差异，还确定了冻结策略类的最小识别支持。

Comments 15 pages, 9 figures. Ning Huang, Ziqi Sha, and Wenxuan Tang contributed equally as second authors. Wei Deng is the corresponding author

Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

通过小型语言模型（SLMs）与边缘计算增强虚拟智能体：对思考与记忆过程的探索性评估

Aimilios Hadjiliasi, Louis Nisiotis

机构 * University of Central Lancashire（中央兰开夏大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文探索利用SLMs与边缘计算支持CEAA的“思考”“记忆”组件，在NVIDIA Jetson Orin NX上用Qwen2.5模型开发边缘虚拟智能体网关，经模拟实验验证其可高效运行部分CEAA过程，助力沉浸式虚拟世界具身智能体开发。

MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification

用于鲁棒跨数据集图像分类的MLLM路由异质集成模型

Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck

机构 * The Bredesen Center for Interdisciplinary Research and Graduate Education（布雷德森跨学科研究与研究生教育中心） ； University of Tennessee Knoxville（田纳西大学诺克斯维尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对跨数据集图像分类泛化难题，提出ARMDIL模型，通过MLLM智能体动态路由图像到适配的视觉骨干，兼具竞争力、高适应性与可解释性，为通用视觉系统奠定基础。

Comments 8 pages, 4 figures, 7 tables

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

视觉语言模型（VLMs）在失明或被误导时的表现如何？针对科学图表的VLMs行为评估

Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； International Institute of Information Technology Hyderabad（海德拉巴国际信息技术学院） ； University of Technology Nuremberg（纽伦堡工业大学） ； University of Southern California（南加利福尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究构建科学图表理解基准SciFigBench，提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性，发现高感知与推理准确性不代表行为可靠，不同模型表现存在显著差异。

Comments 25 pages including appendix. Project website: https://scifigbench.nlp4sci.com

Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

超越正确性：混合思维多模态大语言模型（MLLM）的响应行为基准测试与对齐

Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Large Language Model Department, Tencent（腾讯大语言模型部） ； University of Electronic Science and Technology of China（电子科技大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 该研究针对混合思维 MLLM 的思维与非思维模式响应错位问题，构建 PatternEval 基准并开发 PatternRL 方法，可减轻跨模式错位且任务性能损失极小。

Comments 8 tables and 6figures

SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries

SteerBench-Work：动作边界处智能体决策的基准测试

Oguz Serdar, Cuneyt Mertayak

机构 * AgentDock 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出职场智能体动作边界决策基准SteerBench-Work，发现模型在该任务中存在过度拒绝的显著偏差，且通用能力与引导校准并不等同。

Doctorina MedBench: A Dialogue-Based Benchmark and Evaluation Framework for Agent-Based Medical AI

Doctorina MedBench：基于真实医患交互的医疗AI端到端评估框架

Anna Kozlova, Stanislau Salavei, Pavel Satalkin, Hanna Plotnitskaya, Sergey Parfenyuk, Andy Nkansah

机构 * A.I. Doctor Medical Assist LTD（A.I. Doctor Medical Assist有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doctorina MedBench通过模拟真实医患对话评估医疗AI系统，包含诊断、观察、治疗和步骤计数四项指标，用于评估临床正确性和对话效率，同时支持多层级测试和质量监控。

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

OmniScientist：一种全模态全学科的AI科学家

Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出全模态AI科学家OmniScientist，通过端到端全模态流水线处理多学科异构原始证据，在36个真实案例中完成从原始数据到手稿的全流程，性能优于仅用预计算特征的系统，为通用AI科学家提供可行方案。

Comments 30 pages, 13 figures, 19 tables. Project page: https://omni-scientist.github.io/

Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists

评估大型语言模型作为合作科学家的研究完整性的诊断基础

Yash Tripathi, Silu Sharma, Sai Sidhanth Manoharan Jayanthi, Shivank Garg, Lin Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。

Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents

大语言模型是可靠的评审者吗？面向金融文档错误检测的基准测试

Ying He, Zhouhong Gu, Zhecheng Hu, Yubo Zhou, Hao Shen, Jiaqing Liang, Zhaoqian Dai, Shuguang Ma, Fei Yu, Yanghua Xiao, Zhixu Li

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； Ant Group（蚂蚁集团） ； School of Information and School of Smart Governance, Renmin University of China（中国人民大学信息学院与智慧治理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文构建首个金融错误检测基准FinED-Bench，评估发现当前LLMs难胜任高复杂度金融文档错误检测任务，监督微调可提升弱模型性能。

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

EgoMonth: A Month-Level Egocentric Video Benchmark for Long-Term Spatiotemporal Memory

EgoMonth：面向长期时空记忆的月级自我中心视频基准

Weitao Chen, Hu Jiaxin, Xie Tianyidan, Yang Li, Yuyi Qian, Banghao Xu, Ziheng Tang, Shenyi Wang, Mingyue Yu, Duo Li, Jiacheng Shi, Gao Wang, Zhan Xu, Zhicheng Qiu, Xuanfu Li, Jian Yang, Lanjun Wang, Zili Yi

机构 * Nanjing University（南京大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究人员推出首个月级自我中心视频基准EgoMonth，评估发现当前主流MLLMs的长期时空记忆能力远逊于人类，仅为有损总结器而非忠实记忆器。

Comments 21 pages, 4 figures, 6 tables, including appendices

The Embedder's Dilemma: LLMs Are Better, but at What Cost?

嵌入器的困境：大型语言模型（LLM）性能更优，但代价是什么？

Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee

机构 * Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究对比LLM与嵌入模型在37项任务的性能与成本，发现二者性能接近但LLM成本高、速度慢，建议嵌入模型用于通用任务，LLM用于推理密集型检索。

Comments Accepted to COLM 2026

Large Language Models Pass the History Exam But Miss the <<History>>: A Polish High School Exit Exam Matura Benchmark

大语言模型通过了历史考试却遗漏了《历史》：波兰高中毕业考试Matura基准测试

Adrian Trzoss, Kacper Dudzic, Wiktor Werner, Marcin Moskalewicz

机构 * Adam Mickiewicz University（亚当·密茨凯维奇大学） ； IDEAS Research Institute（IDEAS研究院） ； AMU Center for Artificial Intelligence（亚当·密茨凯维奇大学人工智能中心） ； Poznań University of Medical Sciences（波兹南医科大学） ； Maria Curie-Skłodowska University（玛丽·居里-斯克洛多夫斯卡大学） ； WSB Merito University（WSB梅里托大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究针对波兰Matura历史考试评估8款LLM，发现其总分远超人类考生，但存在波兰历史得分惩罚、源内容混淆等缺陷，推出了首个基于波兰国家课程的LLM历史基准。

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

PhysMaster: Building an Autonomous AI Physicist for Theoretical and Computational Physics Research

PhysMaster：构建一个自主的AI物理学家用于理论和计算物理学研究

Tingjia Miao, Wenkai Jin, Jinxin Tan, Muhua Zhang, Xianghe Pang, Zexi Liu, Yuwen Du, Tian Jin, Tu Guo, Zhengliang Zhang, Jingkun Liu, Yuelin Hu, Jiejun Zhang, Yunjie Huang, Yuhan Wang, Wenbo Li, Yinuo Gao, Shuo Chen, Rui Ye, Yuzhi Zhang, Linfeng Zhang, Kun Chen, Wei Wang, Weinan E, Siheng Chen

机构 * School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Physics and Astronomy（物理天文学院） ； State Key Laboratory of Dark Matter Physics（暗物质物理国家重点实验室） ； Tsung-Dao Lee Institute（李政道研究所） ； Zhiyuan College（智源学院） ； Institute of Theoretical Physics（理论物理研究所） ； Chinese Academy of Sciences（中国科学院） ； DP Technology（DP技术） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 PhysMaster通过结合抽象推理与数值计算，利用LANDAU数据宇宙提升决策可靠性，实现理论与计算物理学研究的自动化与自主发现。

Comments 23 pages, 4 figures

MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models

MOSAIC：揭示大型语言模型的道德、社会和个体维度

Erica Coppolillo, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Calabria and ICAR-CNR（卡利亚里大学和ICAR-CNR） ； Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MOSAIC首次提出评估大型语言模型道德、社会和个体维度的综合基准测试，通过九个问卷和四个游戏全面考察伦理推理能力，揭示MFT的局限性。

SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models

SpaRRTa：用于评估视觉基础模型空间智能的合成基准

Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

机构 * AGH University of Krakow（克拉科夫AGH大学） ； IDEAS NCBR 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 SpaRRTa通过评估视觉基础模型的空间推理能力，揭示其在不同空间任务中的表现差异，旨在推动更高效的空间意识视觉模型发展。

Comments Project page is available at https://sparrta.gmum.net/

SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang

SLAyiNG：一个经社群验证的多元酷儿俚语数据集

Leonor Veloso, Lea Hirlimann, Lucija Mihić Zidar, Philipp Wicke, Valentin Hofmann, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对酷儿语言处理偏差问题，本文提出首个经社群验证的英语酷儿俚语数据集Slaying，揭示语言模型对酷儿社群无表征偏差但存在语言偏差等发现，可提升酷儿用户NLP体验。

Comments Preprint

TIEM: Temporal Integration of Hypergraph Evidence and Skill Memory for Event-Driven Financial Forecasting

TIEM：用于事件驱动金融预测的超图证据与技能记忆的时间整合框架

Wenjin Liu, Shen Pang, Tiesunlong Shen, Zhe Cui, Xiaobao Wu, Anh Tuan Luu, Haoran Luo

专题命中 推理评测 ：reasoning(abstract)

AI总结 该研究针对事件驱动金融预测中大型语言模型智能体存在的证据鸿沟问题，提出带时间戳门控的TIEM框架，引入FinPURE基准，经多组金融基准验证其性能优于现有基线。

Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches

错误修复中的语义漂移：行为信号如何从报告传播到测试和补丁

Wendkûuni C. Ouédraogo, Yinghua Li, Xueqi Dang, Paweł Borsukiewicz, Liang Xiao, Lingfeng Bao, Anil Koyuncu, Jacques Klein, David Lo, Tegawendé F. Bissyandé

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究错误修复中行为信号跨工件传播的量化问题，核心方法是引入Desc2Fix框架，通过结构化行为锚等实现语义对齐，主要贡献是证明行为对齐可测且非相似性可比，能为测试和补丁相关工作提供可重现信号，助力多项错误修复任务。