大模型推理能力

SkillReason: Reasoning-Enhanced Agent Skill Retrieval for Implicit User Requests

SkillReason：面向隐式用户请求的推理增强型智能体技能检索

Donghong Jiang, Endian Lin, Luoping Cui, Hanqing Liu, Mingjie Liu, Fan Yang, Hong Wang, Zhao Yang, Chuang Zhu

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 针对隐式用户请求的技能检索难题，提出两阶段框架SkillReason，结合推理增强训练，在SkillReason-Bench等三个基准上取得最优性能，缩小任务目标与技能能力的语义差距。

Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models

开放评估智能体：视觉生成模型的高效且可提示的评估

Shulin Tian, Ziqi Huang, Fan Zhang, Hongyuan Zhu, Yu Qiao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； Agency for Science, Technology and Research (A*STAR)（科学、技术与研究局（A*STAR）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出Evaluation Agent框架及基于其构建的Open-EA，可高效评估视觉生成模型，将评估时间减至传统方法的10%，还通过EA-CoT-10K和EA-3B减少对专有骨干的依赖，验证了其在多基准及跨家族的有效性。

Comments Journal extension of our ACL 2025 paper (arXiv:2412.09645). 12 pages. Code: https://github.com/Vchitect/Evaluation-Agent

CMU-Drive and V2V-VLA: Cooperative Multi-agent Unified Driving with Reasoning Benchmark and Vehicle-to-Vehicle Vision-Language-Action Models

CMU-Drive与V2V-VLA：具备推理能力的协同多智能体统一驾驶基准及车对车视觉-语言-动作模型

Hsu-kuang Chiu, Stephen F. Smith

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出协同多智能体统一驾驶基准CMU-Drive及车对车视觉-语言-动作模型V2V-VLA，解决现有VLA模型缺乏协同能力的问题，构建了协同自动驾驶研究的首个基准并将相关资源开源。

From Leaky Thoughts to Private Reasoning: Controlling What LRMs Say to Themselves

从泄露思维到私有推理：控制LRM对自己说的话

Haritz Puerto, Haonan Li, Xudong Han, Timothy Baldwin, Iryna Gurevych

机构 * Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对大型推理模型（LRM）推理过程中隐私泄露问题，提出通过指令跟随（IF）训练和分阶段解码策略（Staged Decoding）增强隐私保护，在IF和隐私基准上分别提升高达20.9和51.9个百分点。

ROM: Real-time Overthinking Mitigation via Streaming Detection and Intervention

ROM：通过流式检测和干预实时抑制过度思考

Xinyan Wang, Xiaogeng Liu, Ming Pei, Chaowei Xiao

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract_cn)；self-correction(abstract)

AI总结 ROM通过流式检测和干预框架减少大推理模型的过度思考，提升准确率并缩短响应长度，在多个数据集上均取得显著效果。

Comments Code is available at https://github.com/SaFo-Lab/ROM

A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents

面向编码智能体的需求澄清、规划与代码生成的统一问题解决基准

Xin Zhou, Chun Yong Chong, Kisub Kim, Yun Peng, Rui Shu, Zihan Wu, Xu Han, Guowen Yuan, Zeyang Zhuang, Jounghoon Kim, Jeongjin Ju, Seongmin Ju, Taein Yoon, David Lo

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)；分类 cs.AI

AI总结 该研究推出SWE-RPG编码智能体基准，评估发现主流编码智能体在该基准上平均解决率仅31.5%，隐性需求恢复是主要瓶颈，为改进编码智能体提供了方向。

Comments 9 pages

MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models

MonitorBench: 一个用于大型语言模型链式思维可监控性的综合基准

Han Wang, Yifan Sun, Brian Ko, Mann Talati, Jiawen Gong, Zimeng Li, Naicheng Yu, Xucheng Yu, Wei Shen, Vedant Jolly, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Washington（华盛顿大学） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.AI

AI总结 本文提出MonitorBench，通过1514个测试实例和两种压力测试设置，评估LLM链式思维的可监控性，发现决策关键因素对中间推理过程的影响程度影响可监控性，更高级的LLM表现出更低的可监控性。

Comments COLM 2026

SciTaRC: A Plan-Annotated Scientific Tabular QA Benchmark for Language Reasoning and Complex Computation

SciTaRC：基于科学表格数据的问答基准测试，需语言推理与复杂计算

Hexuan Wang, Yaxuan Ren, Srikar Bommireddypalli, Shuxian Chen, Adarsh Prabhudesai, Rongkun Zhou, Elina Baral, Philipp Koehn

机构 * Center for Language and Speech Processing（语言与语音处理中心） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL

AI总结 SciTaRC是一个针对科学表格数据的问答基准测试，揭示了现有AI模型在语言推理和复杂计算任务上的不足。

Comments COLM 2026 (Conference on Language Modeling). Camera-ready version

ZetaGPT: A Reference Implementation of Positional--Encoding--Free State--Space--Attention Language Models

ZetaGPT：无位置编码的状态空间注意力语言模型的参考实现

Róisín Luo

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 ZetaGPT是首款无显式位置编码的开源小型语言模型，它将因果状态空间方程与自注意力结合，提供全开源训练流水线，为无位置编码语言模型的研究提供紧凑可复现的参考实现。

BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

BDH-CQ：结合循环潜态推理的上下文学习

Björn Engdahl, Adrian Kosowski, Jan Chorowski, Zuzanna Stamirowska, Przemysław Uznański, Junlin Jiang, Rohan Phadke, Remigiusz Kinas, Richard Zhong

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出BDH-CQ模型，结合上下文学习与循环潜态推理，在ARC-AGI-1评估集上实现高成本效率，突破了该基准的成本-准确率帕累托前沿。

Comments https://github.com/pathwaycom/arc-task-gen

Hidden Language Consistency Phenomena in Reasoning LLMs

推理大语言模型中的隐藏语言一致性现象

Muhammad Ali Shafique, Kelly Marchisio

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究以PolyMath基准测试集探究推理模型的语言一致性，发现难度提升会导致多语言模型输出语言一致性骤降，量化对一致性的影响独立于准确率，多语言能力需结合准确率、一致性与难度评估。

Capability Provenance in Language Models: A Case Study in Social Reasoning

社会推理从何而来？语言模型中的能力来源

Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl

机构 * Georgia Institute of Technology, College of Computing（佐治亚理工学院计算学院） ； MATS Program（MATS项目） ； EleutherAI ； KAIST AI（韩国科学技术院人工智能学院） ； Georgia Tech AI Safety Initiative（佐治亚理工学院人工智能安全倡议） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 通过训练数据归因方法，发现OLMo3-7B中社会推理和STEM推理依赖于不同的预训练语料区域，且推理层面的差异比知识层面更显著。

Comments 120 pages. Published as a conference paper at COLM 2026

QuArch: A Benchmark for Evaluating LLM Reasoning in Computer Architecture

QuArch：评估计算机体系结构中大型语言模型推理的基准

Shvetank Prakash, Andrew Cheng, Mark Mazumder, Arya Tschand, Varun Gohil, Jeffrey Ma, Jason Yik, Zishen Wan, Jessica Quaye, Elisavet Lydia Alvanaki, Avinash Kumar, Chandrashis Mazumdar, Tuhin Khare, Alexander Ingare, Ikechukwu Uchendu, Radhika Ghosal, Abhishek Tyagi, Chenyu Wang, Andrea Mattia Garavagno, Sarah Gu, Alice Guo, Grace Hur, Luca P. Carloni, Tushar Krishna, Ankita Nayak, Amir Yazdanbakhsh, Vijay Janapa Reddi

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QuArch基准，用于评估LLM在计算机体系结构中的推理能力。它包含2671个问答对，发现前沿模型在高阶思维技能上有差距。经微调可提升内存层次结构设计任务性能，为构建和衡量LLM能力提供基础，推动计算系统创新。

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

SafeSceneReason: A Multimodal Reasoning Benchmark Connecting Industrial Hazards with Accident Knowledge

SafeSceneReason：连接工业危害与事故知识的多模态推理基准

Yuanchi Zhu, Kang An, Tengyue Wang, Zhongyu Yang, Chenxu Du, Xinqi Yang, Hebao Zhu, Bokai Zhao, Tianyu Liang, Ziliang Wang, Faqiang Qian, Yunli Yang, Weiyang Shi, Qibing Ren

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 SafeSceneReason是关联工业危害与事故知识的多模态推理基准，含两类问答对，评估发现现有视觉-语言模型在工业安全推理上存显著弱点。

CORDA: A Benchmark for Hierarchical Harm-Centric Moral Reasoning in Large Language Models

CORDA：面向大语言模型的以伤害为核心的分层道德推理基准

Siddarth Singh, Victoria Williams, Simon Rosen, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Benjamin Rosman, Geraud Nangue Tasse, Steven James

机构 * University of the Witwatersrand（威特沃特斯兰德大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究提出CORDA基准，评估大语言模型的以伤害为核心的分层道德推理，发现多数模型优先避免直接个人伤害，部分模型无法遵循指定优先级，该基准填补了LLM道德评估的核心空白。

Comments 8 pages, 6 figures. Accepted at the Fourth International Workshop on Value Engineering in AI (VALE 2026), affiliated with IJCAI-ECAI 2026

Counterfactual Benchmarking and Training for Factuality Consistency and Order-Robust Grounded Reasoning in LLMs over Heterogeneous Knowledge

针对异构知识下大语言模型事实一致性与顺序鲁棒接地推理的反事实基准测试与训练

Shibo Chu, Yuze Liu, Tiehua Zhang, Zhishu Shen, Lianghua He, Haofen Wang, Zhijun Ding

机构 * Tongji University（同济大学） ； Swinburne University of Technology（斯威本科技大学） ； Wuhan University of Technology（武汉理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究构建异构知识下LLM事实一致性基准TKFQA，提出训练框架ORLF，可提升LLM的推理与顺序鲁棒性，优于多种基线方法。

CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR

CliniCARE-Bench：电子健康记录中医疗推理的临床校准审计

Veronica Chatrath, Bryan Zhu, George Pu, Jingxuan Fan, Apaar Shanker, Varun Ursekar, Anahita Sharma, Jason Qin, Keqi Han, Soham Dinesh Tiwari, Soham Dan, Vijay Kalmath, Yuan Li, Daniel Yue Zhang, Chenguang Wang, Zainab Doctor, Zhijun Yin, Nigam H. Shah, Yuan Xue

机构 * Scale AI ； Emory University（埃默里大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Vanderbilt University Medical Center（范德堡大学医学中心） ； Stanford School of Medicine（斯坦福医学院） ； Stanford Health Care（斯坦福医疗保健系统） ； Clinical Excellence Research Center（临床卓越研究中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究推出首个面向部署的临床智能体基准CliniCARE-Bench，评估智能体对真实纵向电子健康记录的医疗推理，发现原始准确率夸大调查质量，无缺陷准确率更低且会重新排序排行榜。

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO: 通过多智能体粒子群优化进化智能体推理能力

Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 AgentPSO通过多智能体粒子群优化框架，使智能体在任务中进化推理能力，通过结合自身经验与群体最优技能，提升个体与集体推理性能，实验证明其优于静态单智能体和测试时多智能体方法。

Comments The 3rd AI for Math Workshop at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea, 2026

From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models

从推理到代理：大型语言模型强化学习中的信用分配

Chenchen Zhang

机构 * Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文探讨了大型语言模型强化学习中信用分配问题，总结了47种方法，并提出了可重用的资源，指出从推理到代理的转变使信用分配更加复杂，推动了新的方法发展。

Comments 50 pages, 4 figures. v3: expanded to a unified 69-paper corpus through July 31, 2026; adds restored-state identification results, blind coding of a 42-paper full-text subset, a source-located reporting audit, the CA-ID Card, and replay-fidelity analysis

MiraMind: Benchmarking Reliable Mental Health Reasoning beyond Answer Accuracy

MentraSuite：面向心理健康推理与评估的训练后大语言模型

Mengxi Xiao, Kailai Yang, Pengde Zhao, Enze Zhang, Ziyan Kuang, Zhiwei Liu, Weiguang Han, Shu Liao, Lianting Huang, Guojun Xiong, Victor Gutierrez Basulto, Jinpeng Hu, Min Peng, Qianqian Xie, Sophia Ananiadou

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言信息研究中心） ； The University of Manchester（曼彻斯特大学） ； School of Computer Science, Wuhan University（武汉大学计算机科学学院） ； Mount Holyoke College（马歇尔学院） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 MentraSuite通过训练后模型Mindora，提升心理健康推理的可靠性与一致性，适用于复杂的心理健康评估与诊断场景。

Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation

Pseudo2CodeQA：面向基于大语言模型的代码生成中结构化算法推理的基准测试

Shadikur Rahman, Umme Ayman Koana, Syed Muhammad Danish

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出Pseudo2Code基准测试及Pseudo2Code Agentic Framework，实验表明该框架性能优于现有基线，验证了结构化伪代码对代码生成的提升作用。

Comments 8 pages, 3 figures

ExpertVerse: A General-Purpose Benchmark for Expert-Level Reasoning in Knowledge-Intensive Visual Synthesis

ExpertVerse：知识密集型视觉合成中专家级推理的通用基准

Yuan Wang, Yongchao Du, Mengting Chen, Jinsong Lan, Jiaxuan Luo, Xuetao Feng, Xiaoyong Zhu

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 研究针对多模态生成模型在知识密集型生成的不足，开发ExpertVerse基准，涵盖多种认知能力和专家学科，生成相关数据集，训练KnowThinker并提出BPPO优化方法，揭示模型推理缺陷，强调知识密集型基准对下一代视觉生成的重要性。

Comments 14 pages, 6 figures

LAUDE: LLM-Assisted Unit Test Generation and Debugging of Hardware DEsigns

LAUDE: 基于LLM的硬件设计单元测试生成与调试

Deeksha Nandal, Riccardo Revalor, Soham Dan, Debjit Pal

机构 * Dept. of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电子与计算机工程系） ； Microsoft（微软公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 LAUDE利用大语言模型能力，实现硬件设计的单元测试生成与调试，有效检测和修复设计中的错误。

Comments 11 Pages, 9 Figures, 9 Tables Submitted to AAAI 2027

Reasoning about Intent for Ambiguous Requests

意图推理以应对歧义请求

Irina Saparina, Mirella Lapata

机构 * School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI

AI总结 本文提出生成结构化响应以枚举歧义请求的不同解释，通过强化学习训练模型提升覆盖有效解释的召回率和抑制虚假解释的精确率，实验表明方法在覆盖有效答案方面优于基线方法。

Comments COLM 2026

SmellCC: A Tool for Automated Code Smells Remediation

SmellCC：一种用于自动修复代码异味的工具

Xiaoting Zhang, Yujie Zhang, Zhipeng Gao, Xing Hu, Xin Xia

专题命中 推理评测 ：CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 SmellCC是一款Visual Studio Code扩展，结合SonarQube与LLM流水线，采用思维链和少样本学习，可一键修复Python前10种常见代码异味，清洁率96.8%、准确率91.3%，能提升软件可维护性。

mChartQA: A universal benchmark for multimodal Chart Question Answer based on Vision-Language Alignment and Reasoning

Jingxuan Wei, Nan Xu, Guiyong Chang, Yin Luo, BiHui Yu, Ruifeng Guo

专题命中 推理评测 ：reasoning(title)；分类 cs.AI

Journal ref Pattern Recognition 172 (2026) 112348

Avalon-ToM-Bench: Evaluating Fine-Grained Theory of Mind via Asymmetric Game Mechanics

Avalon-ToM-Bench：通过非对称游戏机制评估细粒度心理理论

Yen-Shan Chen, Yu Chian Duan, Chih-En Kuo, Jian-Bin Wu, Yun-Nung Chen

机构 * National Taiwan University（台湾大学） ； CyCraft AI Lab（CyCraft人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Avalon-ToM-Bench基准，基于阿瓦隆游戏机制评估大语言模型的细粒度心理理论，发现模型ToM能力不足源于推理策略而非知识或表征，推理训练比测试时思维链增益更显著。

ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons

ComboShoppingBench：评估大型语言模型智能体在带优惠券的预算约束组合购物篮任务中的表现

Adrian Li, Kelong Mao, Yudong Guo, Heming Xia, Xinwei Yang, Lirui Luo, Jace Wong, Pu Yao, Sulong Xu, Simiu Gu

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出ComboShoppingBench组合购物基准，通过探索智能体、LLM评判者及确定性验证，发现各类LLM智能体在该基准上表现不佳，凸显其在约束感知组合购物上仍有巨大改进空间。

WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management

WuYuEval：面向固体废物管理的大语言模型多级基准测试

Yi Zhang, Hongyang Wang, Zheng Hao Leong, Zihao Wu, Kaijun Lin, Zhixing Pan, Qixun Huangfu, Wei Ren, Wenyan Wu, Fangyun Wang, Wenting Yu, Hengyu Lin, Muling Yang, Zongguo Wen

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 WuYuEval是面向固体废物管理的多级基准测试，含基础与专家模块，评估33个LLM的SWM能力，发现其在专业任务表现差，为开发专用基础模型提供依据。