大模型推理能力

Evaluating 21st-Century Competencies in Postsecondary Curricula with Large Language Models: Performance Benchmarking and Reasoning-Based Prompting Strategies

利用大语言模型评估21世纪能力在高等教育课程中的表现：性能基准测试与基于推理的提示策略

Zhen Xu, Xin Guan, Chenxi Shi, Qinhao Chen, Renzhe Yu

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)

AI总结 本研究利用大语言模型评估21世纪能力在高等教育课程中的表现，提出基于推理的提示策略提升课程分析效果。

Better LLM Reasoning via Dual-Play

通过双对抗提升大语言模型推理能力

Zhengxin Zhang, Chengyu Huang, Aochong Oliver Li, Claire Cardie

机构 * Department of Computer Science（计算机科学系） ； Cornell University（康奈尔大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PasoDoble通过双对抗训练框架提升大语言模型推理能力，无需外部监督，通过Proposer生成挑战性问题和Solver解决问题，共同训练以增强稳定性与性能。

Comments 33 pages, 17 figures, 17 tables

Beyond the Last Frame: Process-aware Evaluation for Generative Video Reasoning

超越最后一帧：面向生成视频推理的过程感知评估

Yifan Li, Yukai Gu, Yingqian Min, Zikang Liu, Yifan Du, Kun Zhou, Min Yang, Wayne Xin Zhao, Minghui Qiu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； School of Information, Renmin University of China（中国人民大学信息学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； ByteDance（字节跳动） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 本文提出VIPER基准和POC@r指标，用于评估生成视频推理中过程与结果的一致性，揭示现有模型在推理能力上的不足。

Comments Work in progress

MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations

MIRAGE：农业专家引导对话中多模态信息检索与推理的基准

Vardhan Dongre, Chi Gui, Shubham Garg, Hooshang Nayyeri, Gokhan Tur, Dilek Hakkani-Tür, Vikram S. Adve

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MIRAGE是一个用于农业专家引导对话中多模态信息检索与推理的基准，通过真实用户-专家交互数据，提供高保真的多模态推理评估平台。

Comments Accepted to NeurIPS 2025

Aletheia: Quantifying Cognitive Conviction in Reasoning Models via Regularized Inverse Confusion Matrix

Aletheia: 通过正则化逆混淆矩阵量化推理模型中的认知信念

Fanzhe Fu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Aletheia通过正则化逆混淆矩阵量化推理模型中的认知信念，探索AI科学诚信的测量方法。

Comments 6 pages, 2 figures

Contextual Integrity in LLMs via Reasoning and Reinforcement Learning

通过推理和强化学习实现大语言模型中的上下文完整性

Guangchen Lan, Huseyin A. Inan, Sahar Abdelnabi, Janardhan Kulkarni, Lukas Wutschitz, Reza Shokri, Christopher G. Brinton, Robert Sim

机构 * Purdue University（普渡大学） ； Microsoft（微软） ； National Univ of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过推理和强化学习方法，提升大语言模型在执行任务时的信息披露合理性，减少不适当信息泄露，同时保持任务性能。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

MMhops-R1: Multimodal Multi-hop Reasoning

MMhops-R1: 多模态多跳推理

Tao Zhang, Ziqi Zhang, Zongyang Ma, Yuxin Chen, Bing Li, Chunfeng Yuan, Guangting Wang, Fengyun Rao, Ying Shan, Weiming Hu

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 MMhops-R1通过动态规划和多模态知识整合，提升多跳推理能力，提出新型mRAG框架并提供挑战性基准。

Comments Acceped by AAAI 2026

Counterfactual Segmentation Reasoning: Diagnosing and Mitigating Pixel-Grounding Hallucination

反事实分割推理：诊断和缓解像素接地幻觉

Xinzhuo Li, Adheesh Juvekar, Jiaxun Zhang, Xingyou Liu, Muntasir Wahed, Kiet A. Nguyen, Yifan Shen, Tianjiao Yu, Ismini Lourentzou

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出反事实分割推理任务，通过反事实微调训练模型减少分割幻觉，实验表明其在减少幻觉和提升分割性能方面效果显著。

Comments Project webpage: https://plan-lab.github.io/hallusegbench/

Martingale Score: An Unsupervised Metric for Bayesian Rationality in LLM Reasoning

马尔可夫得分：一种用于大语言模型推理中贝叶斯理性性的无监督度量标准

Zhonghao He, Tianyi Qiu, Hirokazu Shirado, Maarten Sap

机构 * University of Cambridge（剑桥大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出马尔可夫得分，用于评估大语言模型推理中的贝叶斯理性性，通过检测信念更新的违反情况来衡量求真能力。

Comments NeurIPS 2025

OmniGuard: Unified Omni-Modal Guardrails with Deliberate Reasoning

OmniGuard：统一的多模态防护机制与刻意推理

Boyu Zhu, Xiaofei Wen, Wenjie Jacky Mo, Tinghui Zhu, Yanan Xie, Peng Qi, Muhao Chen

机构 * Fudan University（复旦大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OmniGuard通过统一的多模态防护机制与刻意推理能力，有效提升多模态安全防护的鲁棒性和泛化能力。

SUPERChem: A Multimodal Reasoning Benchmark in Chemistry

SUPERChem：化学领域的多模态推理基准

Zehua Zhao, Zhixian Huang, Junren Li, Siyu Lin, Junting Zhou, Fengqi Cao, Kun Zhou, Rui Ge, Tingting Long, Yuexiang Zhu, Yan Liu, Jie Zheng, Junnian Wei, Rong Zhu, Peng Zou, Wenyu Li, Zekai Cheng, Tian Ding, Yaxuan Wang, Yizhao Yan, Tingru Wei, Haowei Ming, Weijie Mao, Chen Sun, Yiming Liu, Zichen Wang, Zuo Zhang, Tong Yang, Hao Ma, Zhen Gao, Jian Pei

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SUPERChem通过多模态推理基准测试，评估LLMs在化学领域的能力，揭示模型对视觉信息的依赖，并区分高保真推理与启发式推理。

Comments 35 pages, 11 figures, 5 tables

MMPerspective: Do MLLMs Understand Perspective? A Comprehensive Benchmark for Perspective Perception, Reasoning, and Robustness

MMPerspective: 多模态大语言模型是否理解视角？一个全面的视角感知、推理和鲁棒性评估基准

Yolo Y. Tang, Pinxin Liu, Zhangyun Tan, Mingqian Feng, Rui Mao, Chao Huang, Jing Bi, Yunzhong Xiao, Susan Liang, Hang Hua, Ali Vosoughi, Luchuan Song, Zeliang Zhang, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 MMPerspective通过10个任务评估多模态大语言模型在视角感知、推理和鲁棒性方面的能力，揭示其在空间一致性维持和组合推理上的局限性。

Comments Accepted to NeurIPS 2025 DB Track. Rating: 5,5,5,5

PathAgent: Toward Interpretable Analysis of Whole-slide Pathology Images via Large Language Model-based Agentic Reasoning

PathAgent: 通过基于大型语言模型的代理推理实现全切片病理图像的可解释分析

Jingyun Chen, Linghan Cai, Zhikang Wang, Yi Huang, Songhan Jiang, Shenjin Huang, Hongpeng Wang, Yongbing Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Fudan University（复旦大学） ； Sichuan University（四川大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 PathAgent通过基于大型语言模型的代理推理，实现全切片病理图像的可解释分析，展现出强大的零样本泛化能力和临床应用潜力。

Comments 11 pages, 6 figures

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

思维的幻觉：通过问题复杂性的视角理解推理模型的优势与局限

Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, Mehrdad Farajtabar

机构 * Apple（苹果公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过问题复杂性分析，研究揭示大规模推理模型在不同复杂度任务中的表现差异及局限性。

Comments NeurIPS 2025. camera-ready version + additional discussion in the appendix

DynaSolidGeo: A Dynamic Benchmark for Genuine Spatial Mathematical Reasoning of VLMs in Solid Geometry

Changti Wu, Shijie Lian, Zihao Liu, Lei Zhang, Laurence Tianruo Yang, Kai Chen

机构 * East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Zhengzhou University（郑州大学） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments The code and dataset are available at \href{https://zgca-ai4edu.github.io/DynaSolidGeo/}{DynaSolidGeo}

Planetarium: A Rigorous Benchmark for Translating Text to Structured Planning Languages

Max Zuo, Francisco Piedrahita Velez, Xiaochen Li, Michael L. Littman, Stephen H. Bach

机构 * Brown University（布朗大学） 纠错

专题命中 推理评测 ：planning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NAACL Main Conference 2025

Journal ref Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)

RUST-BENCH: Benchmarking LLM Reasoning on Unstructured Text within Structured Tables

Nikhil Abhyankar, Purvi Chaurasia, Sanchit Kabra, Ananya Srivastava, Vivek Gupta, Chandan K. Reddy

机构 * Virginia Tech（弗吉尼亚理工大学） ； IGDTUW New Delhi（新德里IGDTUW） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning

Ming Li, Jike Zhong, Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Yuxiang Lai, Chen Wei, Konstantinos Psounis, Kaipeng Zhang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； University of Southern California（南加州大学） ； Emory University（埃默里大学） ； Chinese University of Hong Kong（香港中文大学） ； Rice University（德克萨斯大学奥斯汀分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

Comments Preprint

Assessing LLM Reasoning Steps via Principal Knowledge Grounding

Hyeon Hwang, Yewon Cho, Chanwoong Yoon, Yein Park, Minju Song, Kyungjae Lee, Gangwoo Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； University of Seoul（首尔大学） ； AWS AI Labs（AWS人工智能实验室） ； AIGEN Sciences（AIGEN科学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025 Findings

MedRECT: A Medical Reasoning Benchmark for Error Correction in Clinical Texts

Naoto Iwase, Hiroki Okuyama, Junichiro Iwasawa

机构 * Preferred Networks, Inc. ； School of Medicine, Nagoya University（Nagoya大学医学部） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Retrv-R1: A Reasoning-Driven MLLM Framework for Universal and Efficient Multimodal Retrieval

Lanyun Zhu, Deyi Ji, Tianrun Chen, Haiyang Wu, Shiqi Wang

机构 * City University of Hong Kong（香港城市大学） ； Tencent（腾讯） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)

Comments NeurIPS 2025

Generative Reasoning Recommendation via LLMs

Minjie Hong, Zetong Zhou, Zirun Guo, Ziang Zhang, Ruofan Hu, Weinan Gan, Jieming Zhu, Zhou Zhao

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

MIR-Bench: Can Your LLM Recognize Complicated Patterns via Many-Shot In-Context Reasoning?

Kai Yan, Zhan Ling, Kang Liu, Yifan Yang, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, Jiecao Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 39 pages, 11 figures. The paper is accepted at NeurIPS 2025 Datasets & Benchmarks Track, and the latest version adds modifications in camera-ready

Video-R1: Reinforcing Video Reasoning in MLLMs

Kaituo Feng, Kaixiong Gong, Bohao Li, Zonghao Guo, Yibing Wang, Tianshuo Peng, Junfei Wu, Xiaoying Zhang, Benyou Wang, Xiangyu Yue

机构 * CUHK MMLab（香港中文大学多模态实验室） ； CUHK (SZ)（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； UCAS（中国科学院大学） ； CUHK HCCL（香港中文大学高性能计算实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)

Comments NeurIPS 2025, Project page: https://github.com/tulerfeng/Video-R1

Training-Free Personalization via Retrieval and Reasoning on Fingerprints

Deepayan Das, Davide Talon, Yiming Wang, Massimiliano Mancini, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯瑟实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

BanglaMATH : A Bangla benchmark dataset for testing LLM mathematical reasoning at grades 6, 7, and 8

Tabia Tanzin Prama, Christopher M. Danforth, Peter Sheridan Dodds

专题命中 推理评测 ：reasoning(title,abstract)；logical reasoning(abstract)

BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception

Junyan Ye, Dongzhi Jiang, Jun He, Baichuan Zhou, Zilong Huang, Zhiyuan Yan, Hongsheng Li, Conghui He, Weijia Li

机构 * Sun Yat-sen University（中山大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； CUHK MMLab（香港中文大学多模态实验室） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

Comments Accepted to 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks

CausalVLBench: Benchmarking Visual Causal Reasoning in Large Vision-Language Models

Aneesh Komanduri, Karuna Bhaila, Xintao Wu

机构 * Department of Electrical Engineering and Computer Science University of Arkansas（电气工程与计算机科学系 奎萨克大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025 Main)

CaRDiff: Video Salient Object Ranking Chain of Thought Reasoning for Saliency Prediction with Diffusion

Yolo Yunlong Tang, Gen Zhan, Li Yang, Yiting Liao, Chenliang Xu

机构 * ByteDance（字节跳动） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)

Comments Accepted to AAAI 2025

TaTToo: Tool-Grounded Thinking PRM for Test-Time Scaling in Tabular Reasoning

Jiaru Zou, Soumya Roy, Vinay Kumar Verma, Ziyi Wang, David Wipf, Pan Lu, Sumit Negi, James Zou, Jingrui He

机构 * UIUC（伊利诺伊大学香槟分校） ； Amazon（亚马逊） ； Purdue University（普渡大学） ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG