大模型推理能力

HearSay Benchmark: Do Audio LLMs Leak What They Hear?

HearSay基准：音频大语言模型是否泄露所听内容？

Jin Wang, Liang Lin, Kaiwen Luo, Weiliu Wang, Yitian Chen, Moayad Aloqaily, Xuehai Tang, Zhenhong Zhou, Kun Wang, Li Sun, Qingsong Wen

机构 * XDU（北华大学） ； NTU（国立台湾大学） ； NCEPU（南京工程大学） ； BUPT（北京邮电大学） ； SHU（上海大学） ； UAEU（阿联酋大学） ； UCAS-IIE（中国科学院大学国际学院） ； Squirrel AI 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AI总结 HearSay基准研究发现音频大语言模型通过声纹泄露隐私，揭示其固有隐私风险及安全机制不足。

Project Ariadne: A Structural Causal Framework for Auditing Faithfulness in LLM Agents

Project Ariadne: 一种用于审计大语言模型代理忠实性的结构因果框架

Sourena Khanzadeh

机构 * Sourena Khanzadeh（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 Project Ariadne提出一种结构因果框架，通过因果干预评估大语言模型代理推理的忠实性，揭示代理推理与决策之间的因果脱节问题。

AI Agent Systems: Architectures, Applications, and Evaluation

AI代理系统：架构、应用与评估

Bin Xu

机构 * School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文综述了AI代理系统在架构、应用与评估方面的最新进展，探讨了代理组件、协调模式及部署设置，并分析了设计权衡与评估挑战。

From Failure to Mastery: Generating Hard Samples for Tool-use Agents

从失败到精通：为工具使用代理生成困难样本

Bingguang Hao, Zengzhuang Xu, Yuntao Wen, Xinyi Xu, Yang Liu, Tong Zhao, Maolin Wang, Long Chen, Dong Wang, Yicheng Chen, Cunyin Peng, Xiangyu Zhao, Chenyi Zhuang, Ji Zhang

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AI总结 本文提出HardGen方法，通过生成具有可验证推理的困难样本，提升工具使用代理的训练效果。

MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence

MMSI-Video-Bench: 一个面向视频基于空间智能的综合基准

Jingli Lin, Runsen Xu, Shaohao Zhu, Sihan Yang, Peizhou Cao, Yunlong Ran, Miao Hu, Chenming Zhu, Yiman Xie, Yilin Long, Wenbo Hu, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；planning(abstract)；分类 cs.AI

AI总结 MMSI-Video-Bench是一个综合评估视频基于空间智能的基准，通过多任务和多数据集评估25个MLLMs，揭示了人机推理差距和模型泛化不足的问题。

Gestura: A LVLM-Powered System Bridging Motion and Semantics for Real-Time Free-Form Gesture Understanding

Zhuoming Li, Aitong Liu, Mengxi Jia, Yubi Lu, Tengxiang Zhang, Changzhi Sun, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究院（TeleAI）） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments IMWUT2025

Towards Secure and Explainable Smart Contract Generation with Security-Aware Group Relative Policy Optimization

Lei Yu, Jingyuan Zhang, Xin Wang, Jiajia Ma, Li Yang, Fengjun Zhang

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗克琴特研究所） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒研究中心） ； Institute of Software, Chinese Academy of Sciences（软件研究所，中国科学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B

Nisar Ahmed, Muhammad Imran Zaman, Gulshan Saleem, Ali Hassan

机构 * Sparkverse AI Ltd（Sparkverse AI有限公司） ； Department of Informatics and Systems（信息学与系统系） ； University of Management and Technology（管理与技术大学） ； Faculty of Information Technology and Computer Science（信息科技与计算机科学学院） ； University of Central Punjab（旁遮普大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Program Synthesis Benchmark for Visual Programming in XLogoOnline Environment

Chao Wen, Jacqueline Staub, Adish Singla

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；logical reasoning(abstract)；分类 cs.AI

Comments ACL'25 paper

TAG-EQA: Text-And-Graph for Event Question Answering via Structured Prompting Strategies

Maithili Kadam, Francis Ferraro

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted in *sem 2025

PaVeRL-SQL: Text-to-SQL via Partial-Match Rewards and Verbal Reinforcement Learning

Heng Hao, Wenjun Hu, Oxana Verkholyak, Davoud Ataee Tarzanagh, Baruch Gutow, Sima Didari, Masoud Faraki, Hankyu Moon, Seungjai Min

机构 * Samsung SDSA（三星 SDSA） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments 10 pages

Making Qwen3 Think in Korean with Reinforcement Learning

Jungyup Lee, Jemin Kim, Sang Park, SeungJae Lee

机构 * Jungyup Lee, Jemin Kim, Sang Park, SeungJae Lee（作者） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；logical reasoning(abstract)；分类 cs.CL

TMIQ: Quantifying Test and Measurement Domain Intelligence in Large Language Models

Emmanuel A. Olowe, Danial Chitnis

机构 * School of Engineering The University of Edinburgh Edinburgh, UK（工程学院 伦敦大学爱丁堡分校 英国） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments accepted in IEEE I2MTC 2025

Journal ref 2025 IEEE International Instrumentation and Measurement Technology Conference (I2MTC)

VideoMind: An Omni-Modal Video Dataset with Intent Grounding for Deep-Cognitive Video Understanding

Baoyao Yang, Wanyun Li, Dixin Chen, Junxiang Chen, Wenbin Yao, Haifeng Lin

机构 * Guangdong University of Technology（广东工业大学） ； Wechat, Tencent（微信、腾讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments 7 pages; 14 figures

Causal Prompting for Implicit Sentiment Analysis with Large Language Models

Jing Ren, Wenhao Zhou, Bowen Li, Mujie Liu, Nguyen Linh Dan Le, Jiade Cen, Liping Chen, Ziqi Xu, Xiwei Xu, Xiaodong Li

机构 * School of Computing Technologies, RMIT University（RMIT大学计算机技术学院） ； Institute of Innovation, Science and Sustainability, Federation University Australia（联邦大学澳大利亚创新、科学与可持续性研究所） ； CSIRO’s Data61（CSIRO数据61） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Commonsense Generation and Evaluation for Dialogue Systems using Large Language Models

Marcos Estecha-Garitagoitia, Chen Zhang, Mario Rodríguez-Cantelar, Luis Fernando D'Haro

机构 * ETSI de Telecomunicación, Universidad Politécnica de Madrid（电信工程系，马德里理工大学） ； National University of Singapore（新加坡国立大学） ； Centre for Automation and Robotics UPM-CSIC（自动化与机器人中心 UPM-CSIC） ； Universidad Politécnica de Madrid（马德里理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

WiNGPT-3.0 Technical Report

Boqin Zhuang, Chenxiao Song, Huitong Lu, Jiacheng Qiao, Mingqian Liu, Mingxing Yu, Ping Hong, Rui Li, Xiaoxia Song, Xiangjun Xu, Xu Chen, Yaoyao Ma, Yujie Gao

机构 * WiNGPT Team（WiNGPT团队） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Around the World in 24 Hours: Probing LLM Knowledge of Time and Place

Carolin Holtermann, Paul Röttger, Anne Lauscher

机构 * University of Hamburg（汉堡大学） ； University of Bocconi（博科尼大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；logical reasoning(abstract)；分类 cs.CL

UBench: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions

Xunzhi Wang, Zhuowei Zhang, Gaonan Chen, Qiongyu Li, Bitong Luo, Zhixin Han, Haotian Wang, Zhiyu li, Hang Gao, Mengting Hu

机构 * College of Software, Nankai University（南开大学软件学院） ； Institute for Advanced Algorithms Research (Shanghai)（上海先进算法研究所） ； College of Artificial Intelligence, Tianjin University of Science and Technology（天津科技大学人工智能学院） ； Tianjin Key Laboratory of Software Experience and Human Computer Interaction（天津软件体验与人机交互重点实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments accepted by ACL Findings (2025)

EgoVLM: Policy Optimization for Egocentric Video Understanding

Ashwin Vinod, Shrey Pandit, Aditya Vavre, Linshen Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments Our Code can be found at https://github.com/adityavavre/VidEgoVLM

HEIE: MLLM-Based Hierarchical Explainable AIGC Image Implausibility Evaluator

Fan Yang, Ru Zhen, Jianing Wang, Yanhao Zhang, Haoxiang Chen, Haonan Lu, Sicheng Zhao, Guiguang Ding

机构 * Tsinghua University（清华大学） ； BNRist ； OPPO AI Center（OPPO人工智能中心） ； Peking University（北京大学） ； Hangzhou Zhuoxi Institute of Brain and Intelligence（杭州智行脑科学与人工智能研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；logical reasoning(abstract)；分类 cs.AI

Comments Accepted by CVPR 2025

Multilingual Question Answering in Low-Resource Settings: A Dzongkha-English Benchmark for Foundation Models

Md. Tanzib Hosain, Rajan Das Gupta, Md. Kishor Morol

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 24 pages, 20 figures

Mitigating Deceptive Alignment via Self-Monitoring

Jiaming Ji, Wenqi Chen, Kaile Wang, Donghai Hong, Sitong Fang, Boyuan Chen, Jiayi Zhou, Juntao Dai, Sirui Han, Yike Guo, Yaodong Yang

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Walking the Tightrope: Disentangling Beneficial and Detrimental Drifts in Non-Stationary Custom-Tuning

Xiaoyu Yang, Jie Lu, En Yu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faulty of Engineering and Information Technology（工程与信息技术学院） ； University of Technology Sydney（悉尼技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

Comments 17 pages, 5figures

IFShip: Interpretable Fine-grained Ship Classification with Domain Knowledge-Enhanced Vision-Language Models

Mingning Guo, Mengwei Wu, Yuxiang Shen, Haifeng Li, Chao Tao

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Journal ref Pattern Recognition, 166, 111672 (2025)

Heimdall: test-time scaling on the generative verification

Wenlei Shi, Xing Jin

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

SPORTU: A Comprehensive Sports Understanding Benchmark for Multimodal Large Language Models

Haotian Xia, Zhengbang Yang, Junbo Zou, Rhys Tracy, Yuqing Wang, Chi Lu, Christopher Lai, Yanjun He, Xun Shao, Zhuoqing Xie, Yuan-fang Wang, Weining Shen, Hanjie Chen

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments ICLR 2025 Poster

Revitalizing Saturated Benchmarks: A Weighted Metric Approach for Differentiating Large Language Model Performance

Bryan Etzine, Masoud Hashemi, Nishanth Madhusudhan, Sagar Davasam, Roshnee Sharma, Sathwik Tejaswi Madhusudhan, Vikas Yadav

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

Comments conference NAACL, TrustNLP Workshop

Journal ref TrustNLP workshop NAACL, 2025

Evaluating Large Language Models on Spatial Tasks: A Multi-Task Benchmarking Study

Liuchang Xu, Shuo Zhao, Qingming Lin, Luyao Chen, Qianqian Luo, Sensen Wu, Xinyue Ye, Hailin Feng, Zhenhong Du

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；planning(abstract)；分类 cs.CL

Benchmarking Foundation Models on Exceptional Cases: Dataset Creation and Validation

Suho Kang, Jungyang Park, Joonseo Ha, SoMin Kim, JinHyeong Kim, Subeen Park, Kyungwoo Song

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Comments EMNLP 2024 Workshop Genbench(https://genbench.org/workshop_programme/)