AI Agent

GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks

GABench：用于评估大语言模型智能体图分析任务的综合基准

Jiarui Tan, Zhongjian Zhang, YaBo Guo, Jiawei Liu, Yujie Xing, Muhan Zhang, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出GABench这一综合基准，涵盖多类图类型与任务及84个可执行工具，构建10400个带可验证答案的任务，评估前沿LLM及智能体框架，发现现有智能体应对复杂图任务仍存局限等结论。

GISAgentBench: A Practitioner-Sourced Benchmark for Evaluating LLM Agents on GIS Tasks

GISAgentBench：面向GIS任务的、由从业者提供的用于评估大语言模型智能体的基准测试

Abhinav Pothuri, Zhe Jiang, Zelin Xu, Di Yang

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；workflow(abstract)；分类 cs.AI

AI总结 针对现有GIS智能体基准缺乏真实输出等问题，推出由从业者提供的GISAgentBench基准，含349项多步骤GIS任务，评估显示最佳智能体仅完成32.7%的任务，凸显真实GIS工作流的挑战性。

AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

AdvPlan-Bench：结构化计划生成智能体的对抗性评估基准

Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.LG

AI总结 本文提出AdvPlan-Bench，这一结构化计划生成智能体的对抗性评估离线基准，通过多维度指标开展实验验证，为相关研究提供可复现的基准支持。

SREGym: A Live Benchmark for AI SRE Agents with High-Fidelity Failure Scenarios

SREGym：面向AI SRE代理的实时基准测试平台，具有高保真的故障场景

Jackson Clark, Yiming Su, Saad Mohammad Rafid Pial, Yifang Tian, Lily Gniedziejko, Hans-Arno Jacobsen, Yinfang Chen, Tianyin Xu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；AI agent(abstract)；分类 cs.AI

AI总结 SREGym通过模拟真实云原生系统栈中的高保真故障场景，为AI SRE代理提供实时基准测试环境，包含90个真实挑战性SRE问题，评估前沿代理能力差异显著，可达40%。

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

SQBench：用于评估面向生产工作流程中语言模型代理任务交付的基准测试

Summer Sun

机构 * Shaqiu Community（沙丘社区） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；workflow(abstract)；分类 cs.AI

AI总结 研究面向生产工作流程中语言模型代理任务交付评估问题，核心方法是引入SQBench基准测试，包含多种任务并按特定方式评估，主要贡献是揭示功能完成度不能完全体现交付质量，风险判定需单独报告。

Comments 17 pages, 8 figures. Code and aggregate results: https://github.com/shaqiu-ai/SQBench

DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers

DynamicMCPBench：用于实时MCP服务器上的大语言模型智能体的基于轨迹的效果评分基准测试

Jerzy Kamiński, Ilya Galyukshev, Artem Kuznetsov, Sergey Chuprin, Kirill Redko, Aidar Shumbalov, Anna Kalyuzhnaya

机构 * ITMO University（俄罗斯圣彼得堡国立信息技术机械与光学大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对LLM智能体在MCP服务器上的评估基准问题，提出DynamicMCPBench框架，能生成目标、追踪轨迹并按效果评分。大规模测试发现智能体处理长多步任务能力不足，且该框架可重复运行，人工验证其自动评分可靠。

Sifting the Noise: A Comparative Study of LLM Agents in Vulnerability False Positive Filtering

筛选噪声：LLM代理在漏洞假阳性过滤中的比较研究

Yunpeng Xiong, Ting Zhang

专题命中 Agent评测 ：agent(abstract,abstract_cn)；agentic(abstract)；分类 cs.SE

AI总结 本文比较了三种先进的LLM代理框架在漏洞假阳性过滤中的性能，展示了LLM代理在减少SAST噪声方面的有效性，但指出其效果依赖于模型和漏洞类型，且存在计算成本差异。

Comments To appear in Proceedings of the 35th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026)

QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics

QwenPaw-数据：为自主企业数据分析搭建事实、方法与执行的桥梁

Tianjing Zeng, Yuntao Hong, Zhongjun Ding, Dandan Liu, Yinan Mei, Yunxiang Su, Yiming Wang, Xiaojian Zhang, Jingyu Zhu, Junhao Zhu, Zhuowen Liang, Jiazhen Peng, Lianggui Weng, Zhihao Ding, Kerui Yi, Qifeng Wang, Rong Zhu, Bolin Ding, Liyu Mou, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 研究针对企业数据分析在开放环境的特性，提出QwenPaw-Data系统，通过整合异构资产、转化自然语言请求为工作流，架构含三个协作子系统，实验证明该系统提升了数据访问和分析质量，为企业数据智能体提供基础。

SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints

SovereignPA-Bench：在演化意图、平台中介与同意约束下评估用户自有个人智能体

Dylan Zongmin Liu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；tool-use(abstract)；分类 cs.AI

AI总结 针对现有基准未考量个人智能体用户主权保护的问题，提出可执行基准SovereignPA-Bench，从多维度评估智能体主权能力，验证全主权框架可显著降低隐私泄露等风险。

Recursive Self-Evolving Agents via Held-Out Selection

通过保留集选择的递归自演化智能体

Michael Nguyen, Quoc Nguyen, Paul Vuong

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出RSEA递归自演化智能体，通过三层自然语言状态（策略、技能、规程）和严格保留集选择机制实现安全自演化，在四个基准上表现稳健。

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

Running the Gauntlet: 重新评估智能体在陌生环境中的能力

Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak, Shreyansh Padarha, Kumail Alhamoud, Zihao Fu, William Lugoloobi, Kai Rawal, Hanna Yershova, Xander Davies, Taras Rumezhak, Guohao Li, Fazl Barez, Baoyuan Wu, Arkadiusz Drohomirecki, Yarin Gal, Chris Russell, Christopher Summerfield, Adam Mahdi, Volodymyr Karpiv, Philip Torr, Adel Bibi

机构 * University of Oxford（牛津大学） ； SoftServe ； Massachusetts Institute of Technology（麻省理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； UK AI Security Institute（英国人工智能安全研究所） ； Ukrainian Catholic University（乌克兰天主教大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.LG

AI总结 提出GauntletBench基准，通过20个视觉密集型任务评估智能体在时间感知、图形理解和3D推理等未被充分探索的能力，发现最先进智能体成功率仅19.1%，远低于人类80%以上。

Qwen-AgentWorld: Language World Models for General Agents

Qwen-AgentWorld: 通用智能体的语言世界模型

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding

机构 * Qwen Team（Qwen团队） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出基于语言模型的世界模型Qwen-AgentWorld，通过三阶段训练（CPT、SFT、RL）模拟7个领域的智能体环境，并构建AgentWorldBench基准，实验表明其显著优于现有模型，且能作为环境模拟器和智能体基础模型提升下游性能。

ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End?

ORAgentBench: LLM代理能否解决具有挑战性的端到端运筹学任务？

Jiajun Li, Mingshu Cai, Yixuan Li, Yu Ding, Ran Hou, Guanyu Nie, Xiongwei Han, Wanyuan Wang

机构 * Southeast University（东南大学） ； Waseda University（早稻田大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出ORAgentBench基准，评估LLM代理在端到端运筹学任务中的表现，发现当前代理通过率仅35.51%，主要受策略性弱点限制。

Comments 31 pages, preprint, v1

LLM Consumer Behavior Theory: Foundations of a Novel Research Field

LLM消费者行为理论：一个新兴研究领域的基础

Manon Reusens, Sofie Goethals, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出LLM消费者行为理论，研究LLM代理在市场中代表人类消费决策的行为，整合经济学与自然语言处理，探讨偏好表达、市场聚合及理性假设的失效。

Benchmarking Emergent Coordination in Large-Scale LLM Populations: An Evaluation Framework on the MoltBook Archive

在大规模大语言模型群体中评估涌现协调：对MoltBook档案库的评估框架

Brandon Yee, Pairie Koh

机构 * Management Lab, Yee Collins Research Group（Yee Collins研究组管理实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出了一种评估框架，用于在开放代理环境中评估角色专业化、信息扩散和协作任务解决的涌现协调，通过MoltBook档案库的数据集展示了该框架，并建立了量化基准，揭示了核心-外围结构、重尾级联分布和去中心化任务解决中的严重协调开销。

Comments Substantial Revision Required

Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases

评估大型语言模型在标准化病人案例中的动态临床决策能力

Cheng Liang, Pengcheng Qiu, Ya Zhang, Yanfeng Wang, Chaoyi Wu, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.CL

AI总结 本文提出MedSP1000基准，通过标准化病人案例模拟动态临床交互，评估LLM在信息收集、治疗计划和长期管理中的表现，发现当前模型在过程级评估中远未达到临床安全标准。

PaperVoyager : Building Interactive Web with Visual Language Models

PaperVoyager：利用视觉语言模型构建交互式网页

Dasen Dai, Biao Wu, Meng Fang, Wenhao Wang

机构 * Vast Intelligence Lab（vast 智能实验室） ； UTS（UTS大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；tool use(abstract)；分类 cs.CL

AI总结 提出PaperVoyager框架，将研究论文自动转化为可执行的交互式网页系统，通过显式建模机制和交互逻辑，显著提升生成系统的质量。

Comments 9 pages, 5 figures

BlueFin: Benchmarking LLM Agents on Financial Spreadsheets

BlueFin: 在金融电子表格上对LLM智能体进行基准测试

Srivatsa Kundurthy, Clara Na, Colton Moraine, Anoushka Mohta, Case Winter, George Fang, John Ling, Emma Strubell, Zach Kirshner

机构 * Longitude Labs Inc.（Longitude Labs公司） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出BlueFin基准，通过131个真实金融电子表格任务评估LLM智能体的合成、操作和理解能力，并验证了LM评判与人类专家的一致性。

Comments 26 pages

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

DTBench：文档到表格提取的合成基准

Yuxiang Guo, Zhuoran Du, Nan Tang, Kezheng Tang, Congcong Ge, Yunjun Gao

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出DTBench合成基准，通过反向Table2Doc范式和多智能体合成流程生成文档，系统评估LLM在文档到表格提取中的多种能力。

Comments KDD26

IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents

IntentScore: 面向计算机使用智能体的意图条件动作评估

Rongqian Chen, Yu Li, Zeyu Fang, Sizhe Tang, Weidong Cao, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；planning(abstract)；分类 cs.AI

AI总结 提出IntentScore，一种基于计划感知的奖励模型，通过对比对齐和边际排序学习评估动作质量，在OSWorld上提升任务成功率6.9个百分点。

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

EgoBench：面向工具使用智能体的交互式自我中心多模态基准

Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出EgoBench，首个交互式自我中心多模态基准，通过1045个自我中心视频任务和用户-智能体-工具交互环境，联合评估视觉感知、工具增强多跳推理和动态交互能力，揭示当前最先进模型性能上限（平均准确率19.43%）。

Comments 68 pages, 6 figures

Position: AI Safety Requires Effective Controllability

立场：AI安全需要有效可控性

Yige Li, Yunhao Feng, Jun Sun

机构 * Singapore Management University（新加坡管理大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出AI安全应将可控性作为首要目标，通过定义可控性、引入基准测试ControlBench并分析现有对齐机制的不足，提出以控制为中心的架构框架。

Comments 23 pages

TowerMind: A Tower Defence Game Learning Environment and Benchmark for LLM as Agents

TowerMind: 一个用于LLM作为智能体的塔防游戏学习环境与基准

Dawei Wang, Chengming Zhou, Di Zhao, Xinyuan Liu, Marci Chi Ma, Gary Ushaw, Richard Davison

机构 * Newcastle University（新castle大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出TowerMind，一个基于塔防子类型的轻量级、多模态游戏环境，用于评估大语言模型在长期规划和决策中的能力，并揭示其与人类专家的性能差距及关键局限性。

Comments AAAI 2026 Oral

When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents

当手册撒谎：评估LLM智能体MCP投毒攻击的现实基准

Shi Liu, Xuehai Tang, Xikang Yang, Liang Lin, Biyu Zhou, Wenjie Xiao, Wantao Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。

Understanding Persuasion in Long-Running Agents

理解长期运行代理中的说服

Hyejun Jeong, Amir Houmansadr, Shlomo Zilberstein, Eugene Bagdasarian

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文研究了长期任务中代理受到用户说服影响的行为变化，提出了一种基于行为的评估框架，发现提前指定信念状态的代理在搜索和源访问上表现更高效，表明说服影响代理行为。

Comments Code available at https://github.com/HyejunJeong/persuasion-propagation

Ensemble Monitoring for AI Control: Diverse Signals Outweigh More Compute

为AI控制的集束监控：多样信号胜过更多计算

Eugene Koran, Yejun Yun, Samantha Tetef, Benjamin Arnav, Pablo Bernabeu-Pérez

机构 * Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文研究了通过结合多种监控信号来提高AI行为检测的性能，发现多样性的监控集合比单一或同质的监控集合更有效，且细调的监控方法在检测能力上更具优势。

PersonaArena: Dynamic Simulation for Evaluating and Enhancing Persona-Level Role-Playing in Large Language Models

PersonaArena: 用于评估和提升大语言模型层面角色扮演的动态模拟

Wenlong Shi, Jianxun Lian, Mingqi Wu, Haiming Qin, Mingyang Zhou, Xing Xie, Naipeng Chao, Hao Liao

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Microsoft Research Asia（微软亚洲研究院） ； Microsoft Gaming（微软游戏） ； Provincial Key Laboratory of Intelligent Communication and Digital Society Governance, Shenzhen University（深圳大学省级智能通信与数字社会治理重点实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出PersonaArena框架，通过动态模拟评估和提升大语言模型在角色扮演层面的能力，利用用户生成的社会内容构建细致的个性库，并在模拟社交环境中进行多轮上下文丰富的交互，通过多代理辩论裁判实现全面公正的评估。

Comments ACL 2026 Findings

TOBench: A Task-Oriented Omni-Modal Benchmark for Real-World Tool-Using Agents

TOBench：面向真实世界工具使用代理的任务导向多模态基准

Zhiqiang Liu, Wenhui Dong, Yilang Tan, Yuwen Qu, Haochen Yin, Chenyang Si

机构 * Nanjing University（南京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Southwest Jiaotong University（西南交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出TOBench，一个面向真实世界工具使用代理的多模态基准，通过闭环多模态验证设计，评估和推动下一代多模态工具使用代理的发展。

Comments Github: https://github.com/Pi3AI/TOBench

Curb Your Attention: Causal Attention Gating for Robust Trajectory Prediction in Autonomous Driving

抑制注意力：因果注意力门控用于自动驾驶中的鲁棒轨迹预测

Ehsan Ahmadi, Ray Mercurius, Soheil Alizadeh, Kasra Rezaee, Amir Rasouli

机构 * University of Alberta（阿尔伯塔大学） ； Noah’s Ark Laboratory, Huawei Technologies Canada（华为加拿大诺亚实验室） ； Cornell University（康奈尔大学） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.LG

AI总结 本文提出CRiTIC模型，通过因果发现网络识别agent间因果关系，并引入因果注意力门控机制提升轨迹预测的鲁棒性和泛化能力，实验表明模型在对抗非因果扰动时鲁棒性提升54%。

Comments Accepted ICRA 2025

MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility

MLReplicate：用于机器学习可重复性自主研究系统的基准测试

Sasi Kiran Gaddipati, Diyana Muhammed, Farhana Keya, Gollam Rabby, Sören Auer

机构 * TIB—Leibniz Information Centre for Science and Technology（蒂宾根-莱比锡信息科学与技术研究中心） ； L3S Research Center, Leibniz University Hannover（莱比锡大学汉诺威分校L3S研究中心） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；workflow(abstract)；分类 cs.LG

AI总结 本文提出MLReplicate基准测试，评估自主研究系统在机器学习可重复性方面的性能，发现计算规模并非决定性因素，且系统间存在显著差距。