大模型推理能力

DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction

DiagChain：用于评估大语言模型智能体基于证据的攻击链重构的诊断基准

Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体攻击链重构基准的不足，提出DiagChain基准与ECRAG方法，经6种LLM评估发现模型在证据整合与排序环节存在瓶颈，为网络安全智能体改进提供了诊断依据。

Can LLM design high-quality experiments? A Comprehensive and Systematic Benchmark on Autonomous Experimental Design

大语言模型（LLM）能否设计高质量实验？一项针对自主实验设计的全面系统基准测试

Zejun Liu, Jian Wu, Ru Peng, Yuliang Ji, Dongyuan Li, Renhe Jiang, Yue Zhang

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本研究构建SCOPE基准评估LLM的自主实验设计能力，发现多数LLM无法直接设计高质量实验，低层配置存在瓶颈，进而提出OptED工作流缓解该瓶颈。

Comments 32 pages, 7 figures

Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

基准测试基准：测试常识基准的预测有效性

Ine Gevers, Walter Daelemans

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究评估了23种模型在多类常识基准、对照任务及下游推理任务上的表现，发现常识基准仅对少数下游任务有一致预测性，修改基准未提升预测能力，其仅提供任务相关的下游常识能力证据。

MoEGen: Mixture-of-Experts for Instance-Adaptive LoRA Generation

MoEGen：用于实例自适应LoRA生成的混合专家模型

Yiming Zeng, Lei Lu, Zexin Li, Zhuochun Li, Shuoqiu Li, Shuyi Liao, Xidong Wu, Zeyu Zhang, Minmei Wang, Yu Zhao, Tingting Yu, Shangqian Gao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 MoEGen是一种将MoE-based PEFT从专家选择转向专家条件参数生成的框架，通过将专家表示为可学习向量，解耦专家容量与适配器存储，在8个常识推理基准及医学、法律领域适配中均优于现有方法。

Don't Peek at the Answer: Outcome-Masked Group Relative Policy Optimization for Label-Free RLVR

请勿偷看答案：用于无标签RLVR的结果掩码组相对策略优化

Yongshi Ye, Liang Zhang, Yidong Chen, Xiaodong Shi, Biao Fu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对无标签RLVR中模型易强化答案标记的问题，提出OM-GRPO框架，解耦奖励估计与策略优化，结合对比增强奖励，在多推理基准及测试时训练场景中性能优于现有方法。

Comments 25 pages, 16 figures, and 9 tables

Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls

参数优化：面向大语言模型工具调用的难度分级基准与探测引导训练

Guoyao Yu, Xiaoqing Sun, Ziqi Huang, Shaojing Fan, Zhongyi Zhang, Xiaomeng Hu, Xiaobo Xue, Yangyang Shi, Xiong Xiao, Yang Song, Biao Lyu, Rong Wen, Xing Li, Qinming He, Shunming Zhu, Zhenguang Liu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对大语言模型工具调用参数填写关注度不足的问题，提出含PBT和PGR的探测引导框架，发布ParamBench基准，使5个开放模型在多基准上的参数生成平均精确匹配率从19.7%升至59.6%。

Comments 15 pages, 8 figures

UrbanAgent: A Tool-Augmented Agent for Cross-System Urban Tasks

UrbanAgent：面向跨系统城市任务的工具增强型智能体

Jiayu Cao, Xingyuan Zeng, feiyu Li, Zhijing Huang, Xujie Yuan, Rongxiang Chen, Shimin Di, Libin Zheng, Jian Yin

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对城市数字服务碎片化问题，提出工具增强型智能体UrbanAgent，结合大语言模型与多类工具，引入基准Urban-Eval评估，在多模型上任务成功率达71%，领先基线10个百分点。

Forecasting Revenue with its Customer-Base Drivers: When and Why Coordination Helps

基于客户群驱动因素的收入预测：协同何时及为何有帮助

Kyeongbin Kim, Daniel McCarthy, Dokyun Lee

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Maryland（马里兰大学） ； Boston University（波士顿大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.LG

AI总结 该研究针对收入预测无法拆解驱动因素的问题，开发CBMT模型，利用966家公司数据验证其准确性优于多数基准，发现客户群协同变动强时联合预测更有效，同时指出高波动下模型优势缩小。

GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits

GoT-CD：思维图因果发现与事后路径特定公平性审计的脆弱性

Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

机构 * University of California, Irvine（加利福尼亚大学欧文分校） ； University of Orléans（奥尔良大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出GoT-CD方法，其生成的DAG在因果发现基准中表现优异，但研究发现事后路径特定公平性审计对因果发现的结构误差较为脆弱，需结合结构发现开展路径特定公平性分析。

A Unified 2D Framework for DeepLesion Detection, Segmentation and Short Report Generation

用于DeepLesion检测、分割及简短报告生成的统一二维框架

Ruida Cheng, Tejas S. Mathai, Benjamin Hou, Qingqing Zhu, Zhiyong Lu, Matthew McAuliffe, Ronald M. Summers

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究开发了一个整合LLM推理、病变检测、分割及报告生成的统一二维框架，在DeepLesion数据集上取得了各项指标提升，解决了其分割难题并开源了相关资源。

Comments 18 pages, 8 figures

$S^3$: Improving Agent Safety through Multi-Stage Defense

$S^3$：通过多阶段防御提升智能体安全性

Zibo Xiao, Haoyu Wang, Jun Sun

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本研究针对LLM智能体工作流的跨阶段安全风险问题，提出多阶段防御框架$S^3$，引入阶段特定安全技能，构建MSRB基准，实验显示其安全有效性和效用保留均优于现有基线。

CUADebug: Diagnosing and Repairing Computer-Use Agent Failures

CUADebug：计算机使用智能体故障的诊断与修复

Weijia Zhang, Kunlun Zhu, Zeyi Liu, Yinting Chen, Tianyi Ma, Jiateng Liu, Jiaxun Zhang, Bingxuan Li, Xiangru Tang, Heng Ji, Jiaxuan You

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究提出CUADebug框架，含错误分类、CUAErrorBench基准与CUADebugger工具，可诊断修复计算机使用智能体故障，提升任务完成与重新执行成功率，证明其能提供可操作修复信号。

Comments 23 pages, 10 figures, 6 tables

Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation

指令堆叠崩溃：基准测试集与提示词编译的能力依赖价值

Atul Anand, Sourav Chattaraj

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 本研究构建了含24个指令的基准测试集，发现指令遵循率随堆叠指令数增加非线性下降，提出无需训练的指令编译器可提升较弱生产级LLM的指令遵循率，且该收益与模型能力相关。

Comments 13 pages, 11 figures. Benchmark, deterministic verifiers, and cached model responses released for full reproduction

Grounding Agentic VLMs with Dedicated Segmentation for Fine-Grained Vehicle Damage Assessment

基于专用分割模型实现具身智能视觉语言模型（Agentic VLMs）的细粒度车辆损伤评估

Vishwajeet Shivaji Hogale, Anjali Pai, Nitya Ravi

机构 * Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对VLMs空间定位不可靠问题，本文提出TinyDamage架构，将空间定位委托给专用多任务分割模型，集成至7节点LangGraph智能体流程，在车辆损伤评估中大幅降低报告虚构率。

Comments 8 pages, 2 figures

Antares: Foundation Models for Agentic Vulnerability Localization

Antares：用于智能体漏洞定位的基础模型

Supriti Vijay, Aman Priyanshu, Didier Chapoteau, Arthur Goldblatt, Jianliang He, Kimia Majd, Fraser Burch, Baturay Saglam, Takahiro Matsumoto, Zhuoran Yang, Amin Karbasi

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出基于IBM Granite的Antares系列紧凑语言模型，经两阶段训练用于智能体漏洞定位，其30亿参数版本性能接近GPT-5.5且远超更大模型，推理高效低成本。

Comments 57 pages, 12 figures, technical report for antares

Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification

基础模型能否识别声音的来源？针对闭集声源识别的音频-语言模型与传统分类器的分层基准测试

Sajjad Abdoli, Ghassan Al-Sumaidaee, Ahmad ElShiekh, Ahmed Rashad

机构 * Perle（珀尔） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 本研究构建涵盖11种音频分类方法的分层基准，在2242个音频片段的闭集声源识别任务中评估性能，发现Gemini-3.1-Pro-Preview表现最优，还分析了Gemini模型的思维链特性并给出方法选择指导。

TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving

TALSC：面向基础设施辅助自动驾驶的时效性感知大小视觉语言模型协作

Mengmeng Zhu, Yuxuan Sun, Wei Chen, Bo Ai

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对基础设施辅助自动驾驶中VLM协作的时效性问题，提出TALSC框架，通过李雅普诺夫漂移加估计惩罚算法优化调度，在nuScenes仿真中较最优基线实现Micro-F1最高12.6%的归一化提升。

Comments This paper has been accepted by IEEE GLOBECOM 2026

X-KGRank: A Knowledge Graph RAG Framework for Explainable Recommendations via Pattern Mining and LLM Re-Ranking

X-KGRank：一种基于知识图谱检索增强的推荐框架，通过模式挖掘与大语言模型重排序实现可解释推荐

Meenakshi Rajpurohit, Jainish Patel

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 X-KGRank是一种知识图谱检索增强推荐框架，结合协同过滤与LLM解释，在MovieLens-1M数据集上提升了推荐指标，且小参数LLM可实现相当的解释质量但更易产生事实错误。

Rethinking Generative AI Literacy: An Integrative, Developmental, and Dialectical Framework for K-12 Teacher Education

重新思考生成式AI素养：面向K-12教师教育的整合型、发展型与辩证型框架

Shahin Hossain, Sima Ahmadi, Leqi Li, Idowu David Awoyemi, Wei Huang, Chenxi Zhou, Jujia Li, Samaa Haniya, Shapla Khanam, Tasbirun Mashreka Subaha

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对GenAI素养滞后于技术扩散的问题，提出整合型、发展型、辩证型的RAIL-Ed框架，明确六大支柱与三级标准，为K-12教师教育及相关政策提供理论基础。

Comments 20 pages, 2 figures, 7 tables

GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks

GABench：用于评估大语言模型智能体图分析任务的综合基准

Jiarui Tan, Zhongjian Zhang, YaBo Guo, Jiawei Liu, Yujie Xing, Muhan Zhang, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出GABench这一综合基准，涵盖多类图类型与任务及84个可执行工具，构建10400个带可验证答案的任务，评估前沿LLM及智能体框架，发现现有智能体应对复杂图任务仍存局限等结论。

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

MRAFnd: Multimodal Retrieval-Augmented Framework for Zero-Shot Fake News Detection

MRAFnd：面向零样本假新闻检测的多模态检索增强框架

Lehan Zhang, Yinlei Cheng, Shiqi Hu Yiheng Zhou, Shangxi Li, Naidong Zhao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对零样本假新闻检测的现有方法无法识别重复虚假手段与跨模态差异的问题，本文提出多模态检索增强框架MRAFnd，经多智能体协作推理，在Weibo-21等数据集上准确率最高提升2.35%，优于现有方法。

Comments 14 pages, 6 figures, 2 tables, Presented at the MMM 2026

AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

AdvPlan-Bench：结构化计划生成智能体的对抗性评估基准

Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

专题命中 推理评测 ：planning(abstract)；分类 cs.LG

AI总结 本文提出AdvPlan-Bench，这一结构化计划生成智能体的对抗性评估离线基准，通过多维度指标开展实验验证，为相关研究提供可复现的基准支持。

Tracing the Cascade: A Topology-Aware Evaluation Framework for Scientific Agent Hallucinations

追踪级联：一种面向科学智能体幻觉的拓扑感知评估框架

Xinshun Feng, Ziqi Miao, Lijun Li, Jing Shao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对科学智能体幻觉的拓扑结构评估缺口，提出SCHEMA框架，通过构建科学概念图等方式评估，发现幻觉集中于知识枢纽、最终准确率与推理轨迹诚实性脱钩，为高风险科学应用提供机制级评估方案。

Comments 36 pages, 7 figures and 5 tables

TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs

TreeProbe：面向大型语言模型文化偏见的藏医药基准测试集

Jin Zhang, Linyu Li, Weili Jiang, Yuqing Cai, Yutong Liu, Guanquecairang, Yongbin Yu, Jingye Cai, Nyima Tashi, Gadeng Luosang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tibet University（西藏大学） ； Peking University（北京大学） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究针对大型语言模型的藏医药文化偏见问题，构建了首个基于藏医药“医学之树”框架的基准测试集TreeProbe，发现现有模型存在系统性本体漂移，为公平医疗AI开发提供了诊断基准。

Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark

面向智能体工作流的组合式元路由学习：一个可执行基准

Natan Vidra, Alina Kapanova, Arun Kanhai, Spurthi Setty

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出一个智能体工作流的可执行基准和感知预算的组合式元路由器，在保留测试集上实现100%成功率，成本比静态策略低43%，但在词汇偏移挑战任务上表现不佳，凸显词汇泛化是主要限制。

Comments 7 pages, 1 figure; AAAI 2027 anonymous submission

Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

本地部署大语言模型（LLMs）的能效：消费级硬件上的初步GPU功耗定量基准测试

Philipp M. Zähl, Anika Hennig

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对9款1B至7B参数的开源LLMs，在RTX 4060Ti 16GB GPU上开展能效基准测试，发现模型架构、量化策略等影响能效，gemma3:1b等模型能效最优，7B-Mistral能效最差，还需区分令牌生成模式。

Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation

Data Turnstile：面向函数调用数据生成的可扩展开源框架

Goutham Ramakrishnan, Megha Sharma

机构 * Amazon AGI（亚马逊AGI） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 该研究提出开源框架Data Turnstile，可基于用户定义API规范生成高质量函数调用合成训练数据，经其微调的小型语言模型在BFCL、τ²-bench等基准上性能大幅提升，缩小了与更大规模模型的差距。

Comments 16 pages

SciFigPlag-Bench: A Benchmark for Provenance-Aware Scientific Figure Plagiarism Detection

SciFigPlag-Bench：面向来源感知的科学图片抄袭检测基准

Zhiying Cui, Minghao Yang, Linlin Gao, Jie Liu, Pengyuan Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出SciFigPlag-Bench基准，用于科学图片的来源感知抄袭检测，含四类任务，实验发现视觉语言模型在细粒度来源推理等方面仍有挑战。

Comments 30 pages, 18 figures

Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

模型还是控制？一种以交互为中心的智能体故障定位分类法

Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He

机构 * Scale 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出以交互为中心的智能体故障分类法，将故障定位到交互及责任组件，适用于多类智能体架构，经评估具有良好可重复性与结构一致性。