大模型推理能力

PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning

Xinyu Zhang, Yuxuan Dong, Yanrui Wu, Jiaxing Huang, Chengyou Jia, Basura Fernando, Mike Zheng Shou, Lingling Zhang, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（新加坡科技研究局高性能计算研究所） ； Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； Ministry of Education Key Laboratory of Intelligent Networks and Network Security, China（中国教育部智能网络与网络安全重点实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China（陕西省大数据知识工程重点实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Beyond Safe Answers: A Benchmark for Evaluating True Risk Awareness in Large Reasoning Models

Baihui Zheng, Boren Zheng, Kerui Cao, Yingshui Tan, Zhendong Liu, Weixun Wang, Jiaheng Liu, Jian Yang, Wenbo Su, Xiaoyong Zhu, Bo Zheng, Kaifu Zhang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

CODE-DITING: A Reasoning-Based Metric for Functional Alignment in Code Evaluation

Guang Yang, Yu Zhou, Xiang Chen, Wei Zheng, Xing Hu, Xin Zhou, David Lo, Taolue Chen

机构 * College of Computer Science and Technology（计算机科学与技术学院） ； School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院） ； School of Software（软件学院） ； School of Software Technology（软件技术学院） ； School of Computing and Information Systems（计算与信息系统学院） ； School of Computing and Mathematical Sciences（计算与数学科学学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models

Varun Reddy, Yen-Ling Kuo

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI4Math: A Native Spanish Benchmark for University-Level Mathematical Reasoning in Large Language Models

Miguel Angel Peñaloza Perez, Bruno Lopez Orozco, Jesus Tadeo Cruz Soto, Michelle Bruno Hernandez, Miguel Angel Alvarado Gonzalez, Sandra Malagon

机构 * Centro de Investigación Científica y de Educación Superior de Ensenada（恩森亚达科学与高等教育研究中心） ； Facultad de Ciencias, UNAM（科学学院，国立自治大学） ； Facultad de Matemáticas, Universidad Veracruzana（数学学院，韦拉克鲁斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments 36 pages, 5 figures

HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning

Xiaoyuan Li, Moxin Li, Rui Men, Yichang Zhang, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu, Junyang Lin

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments ACL 2025 Findings

Reasoning Meets Personalization: Unleashing the Potential of Large Reasoning Model for Personalized Generation

Sichun Luo, Guanzhi Deng, Jian Xu, Xiaojie Zhang, Hanxu Hou, Linqi Song

机构 * Dongguan University of Technology（东莞理工大学） ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Guangzhou University（广州大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

CReSt: A Comprehensive Benchmark for Retrieval-Augmented Generation with Complex Reasoning over Structured Documents

Minsoo Khang, Sangjun Park, Teakgyu Hong, Dawoon Jung

机构 * Upstage AI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Reasoning Model is Stubborn: Diagnosing Instruction Overriding in Reasoning Models

Doohyuk Jang, Yoonjeon Kim, Chanjae Park, Hyun Ryu, Eunho Yang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

PhysicsArena: The First Multimodal Physics Reasoning Benchmark Exploring Variable, Process, and Solution Dimensions

Song Dai, Yibo Yan, Jiamin Su, Dongfang Zihao, Yubo Gao, Yonghua Hei, Jungang Li, Junyan Zhang, Sicheng Tao, Zhuoran Gao, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing Future Brain Education Technology Co., Ltd.（北京未来脑教育科技有限公司） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Under Review

GDI-Bench: A Benchmark for General Document Intelligence with Vision and Reasoning Decoupling

Siqi Li, Yufan Shen, Xiangnan Chen, Jiayi Chen, Hengwei Ju, Haodong Duan, Song Mao, Hongbin Zhou, Bo Zhang, Bin Fu, Pinlong Cai, Licheng Wen, Botian Shi, Yong Liu, Xinyu Cai, Yu Qiao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； School of Science and Engineering, The Chinese University of Hong Kong（香港中文大学科学与工程学院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

EcomScriptBench: A Multi-task Benchmark for E-commerce Script Planning via Step-wise Intention-Driven Product Association

Weiqi Wang, Limeng Cui, Xin Liu, Sreyashi Nag, Wenju Xu, Chen Luo, Sheikh Muhammad Sarwar, Yang Li, Hansu Gu, Hui Liu, Changlong Yu, Jiaxin Bai, Yifan Gao, Haiyang Zhang, Qi He, Shuiwang Ji, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（香港科技大学计算机科学与工程系） ； Amazon.com Inc（亚马逊公司） ； Department of Computer Science & Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系） 纠错

专题命中 推理评测 ：planning(title,abstract)；分类 cs.CL

Comments ACL2025

Think Only When You Need with Large Hybrid-Reasoning Models

Lingjie Jiang, Xun Wu, Shaohan Huang, Qingxiu Dong, Zewen Chi, Li Dong, Xingxing Zhang, Tengchao Lv, Lei Cui, Furu Wei

机构 * Microsoft Research（微软研究院） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Reinforced MLLM: A Survey on RL-Based Reasoning in Multimodal Large Language Models

Guanghao Zhou, Panjia Qiu, Cen Chen, Jie Wang, Zheming Yang, Jian Xu, Minghui Qiu

机构 * East China Normal University（东华师范大学） ； ByteDance（字节跳动） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset

Weiqi Wang, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments ACL2025

MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports

Kevin Wu, Eric Wu, Rahul Thapa, Kevin Wei, Angela Zhang, Arvind Suresh, Jacqueline J. Tao, Min Woo Sun, Alejandro Lozano, James Zou

机构 * Stanford University（斯坦福大学） ； University of Southern California（南加州大学） ； University of California, San Francisco（旧金山大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Computational Reasoning of Large Language Models

Haitao Wu, Zongbo Han, Joey Tianyi Zhou, Huaxi Huang, Changqing Zhang

机构 * Tianjin University（天津大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； A ∗ STAR Centre for Frontier AI Research（A STAR前沿人工智能研究中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Models

Shi Qiu, Shaoyang Guo, Zhuo-Yang Song, Yunbo Sun, Zeyu Cai, Jiashen Wei, Tianyu Luo, Yixuan Yin, Haoxu Zhang, Yi Hu, Chenyang Wang, Chencheng Tang, Haoling Chang, Qi Liu, Ziheng Zhou, Tianyu Zhang, Jingtian Zhang, Zhangyi Liu, Minghao Li, Yuku Zhang, Boxuan Jing, Xianqi Yin, Yutong Ren, Zizhuo Fu, Jiaming Ji, Weike Wang, Xudong Tian, Anqi Lv, Laifu Man, Jianxiang Li, Feiyu Tao, Qihua Sun, Zhou Liang, Yushu Mu, Zhongxuan Li, Jing-Jun Zhang, Shutao Zhang, Xiaotian Li, Xingqi Xia, Jiawei Lin, Zheyu Shen, Jiahang Chen, Qiuhao Xiong, Binran Wang, Fengyuan Wang, Ziyang Ni, Bohan Zhang, Fan Cui, Changkun Shao, Qing-Hong Cao, Ming-xing Luo, Yaodong Yang, Muhan Zhang, Hua Xing Zhu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments 34 pages ,12 figures, 7 tables, latest update in 2025/05/18

SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios

Weidong Zhan, Yue Wang, Nan Hu, Liming Xiao, Jingyuan Ma, Yuhang Qin, Zheng Li, Yixin Yang, Sirui Deng, Jinkun Ding, Wenhan Ma, Rui Li, Weilin Luo, Qun Liu, Zhifang Sui

机构 * Center for Chinese Linguistics, Department of Chinese Language and Literature, Peking University（北京大学中文语言文学系中文语言学中心） ； School of Computer Science, State Key Laboratory of Multimedia Information Processing, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室，中国） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution

Ruiyang Xu, Jialun Cao, Yaojie Lu, Ming Wen, Hongyu Lin, Xianpei Han, Ben He, Shing-Chi Cheung, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 18pages, Accepted to ACL 2025 Main Conference

Group Think: Multiple Concurrent Reasoning Agents Collaborating at Token Level Granularity

Chan-Jan Hsu, Davide Buffelli, Jamie McGowan, Feng-Ting Liao, Yi-Chang Chen, Sattar Vakili, Da-shan Shiu

机构 * MediaTek Research（联发科研究） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

DeepDistill: Enhancing LLM Reasoning Capabilities via Large-Scale Difficulty-Graded Data Training

Xiaoyu Tian, Sitong Zhao, Haotian Wang, Shuaiting Chen, Yiping Peng, Yunjie Ji, Han Zhao, Xiangang Li

机构 * a-m-team（a-m团队） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

R^3-VQA: "Read the Room" by Video Social Reasoning

Lixing Niu, Jiapeng Li, Xingping Yu, Shu Wang, Ruining Feng, Bo Wu, Ping Wei, Yisen Wang, Lifeng Fan

机构 * School of Intelligence Science and Technology, Peking University（北京理工大学智能科学与技术学院） ； College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院） ； State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence（一般人工智能国家重点实验室） ； Yuanpei College, Peking University（北京大学元培学院） ； Tsinghua University（清华大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Exploring the Potential of Offline RL for Reasoning in LLMs: A Preliminary Study

Xiaoyu Tian, Sitong Zhao, Haotian Wang, Shuaiting Chen, Yiping Peng, Yunjie Ji, Han Zhao, Xiangang Li

机构 * a-m-team（a-m团队） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

TEMPURA: Temporal Event Masked Prediction and Understanding for Reasoning in Action

Jen-Hao Cheng, Vivian Wang, Huayu Wang, Huapeng Zhou, Yi-Hao Peng, Hou-I Liu, Hsiang-Wei Huang, Kuang-Ming Chen, Cheng-Yen Yang, Wenhao Chai, Yi-Ling Chen, Vibhav Vineet, Qin Cai, Jenq-Neng Hwang

机构 * University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； National Yang Ming Chiao Tung University ； Microsoft（微软公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

ReasoningV: Efficient Verilog Code Generation with Adaptive Hybrid Reasoning Model

Haiyan Qin, Zhiwei Xie, Jingjing Li, Liangchen Li, Xiaotong Feng, Junzhan Liu, Wang Kang

机构 * National Key Laboratory of Spintronics, Hangzhou International Innovation Institute（国家磁电子重点实验室、杭州国际创新研究院） ； School of Integrated Circuit Science and Engineering, Beihang University（集成电路科学与工程学院、北京航空航天大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 9 pages, 4 figures

SARI: Structured Audio Reasoning via Curriculum-Guided Reinforcement Learning

Cheng Wen, Tingwei Guo, Shuaijiang Zhao, Wei Zou, Xiangang Li

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Moral Reasoning Across Languages: The Critical Role of Low-Resource Languages in LLMs

Huichi Zhou, Zehao Xu, Munan Zhao, Kaihong Li, Yiqiang Li, Hongtao Wang

机构 * Imperial College London（伦敦帝国学院） ； North China Electric Power University（华北电力大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments 5 pages, 2 figures

CipherBank: Exploring the Boundary of LLM Reasoning Capabilities through Cryptography Challenges

Yu Li, Qizhi Pei, Mengyuan Sun, Honglin Lin, Chenlin Ming, Xin Gao, Jiang Wu, Conghui He, Lijun Wu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Wuhan University（武汉大学） ； Renmin University of China（中国人民大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments Work in progress

MASR: Self-Reflective Reasoning through Multimodal Hierarchical Attention Focusing for Agent-based Video Understanding

Shiwen Cao, Zhaoxing Zhang, Junming Jiao, Juyi Qiao, Guowen Song, Rong Shen, Xiangbing Meng

机构 * Li Auto Inc.（利亚汽车公司） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI