大模型推理能力

RASTeR: Robust, Agentic, and Structured Temporal Reasoning

Dan Schumacher, Fatemeh Haji, Tara Grey, Niharika Bandlamudi, Nupoor Karnik, Gagana Uday Kumar, Jason Cho-Yu Chiang, Paul Rad, Nishant Vishwamitra, Anthony Rios

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to AACL 2025

mmJEE-Eval: A Bilingual Multimodal Benchmark for Evaluating Scientific Reasoning in Vision-Language Models

Arka Mukherjee, Shreya Ghosh

机构 * Kalinga Institute of Industrial Technology (KIIT)（喀里亚理工学院） ； Indian Institute of Technology (IIT), Bhubaneswar（印度理工学院（班加罗尔）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to IJCNLP-AACL Findings 2025

How Well Do LLMs Understand Drug Mechanisms? A Knowledge + Reasoning Evaluation Dataset

Sunil Mohan, Theofanis Karaletsos

机构 * CZI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments An earlier version of this paper appears in IEEE FLLM 2025. GitHub: https://github.com/czi-ai/DrugMechCounterfactuals

An Empirical Study of Reasoning Steps in Thinking Code LLMs

Haoran Xue, Gias Uddin, Song Wang

机构 * York University（约克大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

P-ReMIS: Pragmatic Reasoning in Mental Health and a Social Implication

Sneha Oram, Pushpak Bhattacharyya

机构 * Sneha Oram（独立研究者） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge

Heng Zhou, Ao Yu, Yuchen Fan, Jianing Shi, Li Kang, Hejia Geng, Yongting Zhang, Yutao Fan, Yuhao Wu, Tiancheng He, Yiran Qin, Lei Bai, Zhenfei Yin

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； London School of Economics（伦敦经济学院） ； BUPT（北京邮电大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； SUTD（新加坡科技设计大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

FinEval-KR: A Financial Domain Evaluation Framework for Large Language Models' Knowledge and Reasoning

Shaoyu Dou, Yutian Shen, Mofan Chen, Zixuan Wang, Jiajie Xu, Qi Guo, Kailai Shao, Chao Chen, Haixiang Hu, Haibo Shi, Min Min, Liwen Zhang

机构 * Ant Group（蚂蚁集团） ； Shanghai University of Finance and Economics（上海金融学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted by FinNLP@EMNLP2025

ViFP: A Framework for Visual False Positive Detection to Enhance Reasoning Reliability in VLMs

Ben Zhang, LuLu Yu, Lei Gao, QuanJiang Guo, Jing Liu, Hui Gao

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

MathOPEval: A Fine-grained Evaluation Benchmark for Visual Operations of MLLMs in Mathematical Reasoning

Xiaoyuan Li, Moxin Li, Wenjie Wang, Rui Men, Yichang Zhang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Under Review

When Modalities Conflict: How Unimodal Reasoning Uncertainty Governs Preference Dynamics in MLLMs

Zhuoran Zhang, Tengyue Wang, Xilin Gong, Yang Shi, Haotian Wang, Di Wang, Lijie Hu

机构 * Peking University（北京大学） ； Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能和数据分析实验室） ； King Abdullah University of Science and Technology（卡布斯大学） ； South China University of Technology（华南理工大学） ； Tsinghua University（清华大学） ； University of Georgia（佐治亚大学） ； MBZUAI（马克斯·普朗克人工智能研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 19 pages

An Evaluation of Interleaved Instruction Tuning on Semantic Reasoning Performance in an Audio MLLM

Jiawei Liu, Enis Berk Çoban, Zarina Schevchenko, Hao Tang, Zhigang Zhu, Michael I Mandel, Johanna Devaney

机构 * The Graduate Center, CUNY（CUNY研究生中心） ； Brooklyn College, CUNY（CUNY布鲁克林学院） ； Borough of Manhattan Community College, CUNY（CUNY曼哈顿社区学院） ； The City College of New York, CUNY（CUNY纽约城市学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

The Ouroboros of Benchmarking: Reasoning Evaluation in an Era of Saturation

İbrahim Ethem Deveci, Duygu Ataman

机构 * Department of Cognitive Science（认知科学系） ； Graduate School of Informatics（信息科学研究生院） ； Middle East Technical University（中东部技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to NeurIPS 2025 Workshop on LLM Evaluation (https://openreview.net/group?id=NeurIPS.cc/2025/Workshop/LLM_Evaluation)

Diversity-Aware Policy Optimization for Large Language Model Reasoning

Jian Yao, Ran Cheng, Xingyu Wu, Jibin Wu, Kay Chen Tan

机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学） ； The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

Beyond Empathy: Integrating Diagnostic and Therapeutic Reasoning with Large Language Models for Mental Health Counseling

He Hu, Yucheng Zhou, Juzheng Si, Qianning Wang, Hengheng Zhang, Fuji Ren, Fei Ma, Laizhong Cui, Qi Tian

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济发展实验室） ； SKL-IOTSC, CIS, University of Macau（澳门科学馆物联网与智慧城市研究中心） ； Shandong University（山东大学） ； Auckland University of Technology（技术大学（奥克兰）） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

MM-OPERA: Benchmarking Open-ended Association Reasoning for Large Vision-Language Models

Zimeng Huang, Jinxin Ke, Xiaoxuan Fan, Yufeng Yang, Yang Liu, Liu Zhonghan, Zedi Wang, Junteng Dai, Haoyi Jiang, Yuyu Zhou, Keze Wang, Ziliang Chen

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Jinan University（暨南大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

Comments NeurIPS 2025 Datasets and Benchmarks Track poster

PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning

Wanjia Zhao, Qinwei Ma, Jingzhe Shi, Shirley Wu, Jiaqi Han, Yijia Xiao, Si-Yuan Chen, Xiao Luo, Ludwig Schmidt, James Zou

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling

Fares Fawzi, Vinitra Swamy, Dominik Glandorf, Tanya Nazaretsky, Tanja Käser

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

SPARTA: Evaluating Reasoning Segmentation Robustness through Black-Box Adversarial Paraphrasing in Text Autoencoder Latent Space

Viktoriia Zinkovich, Anton Antonov, Andrei Spiridonov, Denis Shepelev, Andrey Moskalenko, Daria Pugacheva, Elena Tutubalina, Andrey Kuznetsov, Vlad Shakhuro

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank

Jiayu Liu, Wei Dai, Zhenya Huang, Ning Miao, Enhong Chen

机构 * School of Artificial Intelligence and Data Science, University of Science and Technology of China（人工智能与数据科学学院，中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学） ； Department of Data Science, City University of Hong Kong（数据科学系，香港城市大学） ； Hong Kong Institute of AI for Science, City University of Hong Kong（香港人工智能科学研究院，香港城市大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

BaZi-Based Character Simulation Benchmark: Evaluating AI on Temporal and Persona Reasoning

Siyuan Zheng, Pai Liu, Xi Chen, Jizheng Dong, Sihan Jia

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Journal ref WordPlay Workshop 2025

GRE Suite: Geo-localization Inference via Fine-Tuned Vision-Language Models and Enhanced Reasoning Chains

Chun Wang, Xiaojun Ye, Xiaoran Pan, Zihao Pan, Haofan Wang, Yiren Song

机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； NUS（国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Think before Recommendation: Autonomous Reasoning-enhanced Recommender

Xiaoyu Kong, Junguang Jiang, Bin Liu, Ziru Xu, Han Zhu, Jian Xu, Bo Zheng, Jiancan Wu, Xiang Wang

机构 * Taobao & Tmall Group of Alibaba, China（阿里巴巴集团淘宝与天猫事业部） ； National University of Singapore（新加坡国立大学） ； Institute of Dataspace, Hefei Comprehensive National Science Center（合肥综合国家科学中心数据空间研究院） ； Shanghai Key Laboratory of Data Science（上海数据科学重点实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments NeurIPS 2025 poster

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

机构 * KAIST（韩国国立科学技术院） ； Seoul National University Hospital（首尔国立大学医院） ； Seoul Medical Center（首尔医疗中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments Accepted at NeurIPS 2025 Datasets and Benchmarks Track

Activating Visual Context and Commonsense Reasoning through Masked Prediction in VLMs

Jiaao Yu, Shenwei Li, Mingjie Han, Yifei Yin, Wenzheng Song, Chenghao Jia, Man Lan

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 9 pages

Beyond Seeing: Evaluating Multimodal LLMs on Tool-Enabled Image Perception, Transformation, and Reasoning

Xingang Guo, Utkarsh Tyagi, Advait Gosai, Paula Vergara, Jayeon Park, Ernesto Gabriel Hernández Montoya, Chen Bo Calvin Zhang, Bin Hu, Yunzhong He, Bing Liu, Rakshith Sharma Srinivasa

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Reasoning Path Compression: Compressing Generation Trajectories for Efficient LLM Reasoning

Jiwon Song, Dongwon Jo, Yulhwa Kim, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

3DReasonKnee: Advancing Grounded Reasoning in Medical Vision Language Models

Sraavya Sambara, Sung Eun Kim, Xiaoman Zhang, Luyang Luo, Shreya Johri, Mohammed Baharoon, Du Hyun Ro, Pranav Rajpurkar

机构 * Department of Biomedical Informatics, Harvard Medical School（生物医学信息学系，哈佛医学院） ； Seoul National University Hospital（首尔国立大学医院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Benchmarking Reasoning Reliability in Artificial Intelligence Models for Energy-System Analysis

Eliseo Curcio

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

KoSimpleQA: A Korean Factuality Benchmark with an Analysis of Reasoning LLMs

Donghyeon Ko, Yeguk Jin, Kyubyung Chae, Byungwook Lee, Chansong Jo, Sookyo In, Jaehong Lee, Taesup Kim, Donghyun Kwak

机构 * Naver Cloud（Naver云） ； Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Does Reasoning Help LLM Agents Play Dungeons and Dragons? A Prompt Engineering Experiment

Patricia Delafuente, Arya Honraopatil, Lara J. Martin

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Published at the Wordplay: When Language Meets Games Workshop (EMNLP 2025)