AI Agent

CUBE: A Standard for Unifying Agent Benchmarks

CUBE：统一智能体基准的标准化

Alexandre Lacoste, Nicolas Gontier, Oleh Shliazhko, Aman Jaiswal, Kusha Sareen, Shailesh Nanisetty, Joan Cabezas, Manuel Del Verme, Omar G. Younis, Simone Baratta, Matteo Avalle, Imene Kerboua, Xing Han Lù, Elron Bandel, Michal Shmueli-Scheuer, Asaf Yehudai, Leshem Choshen, Jonathan Lebensold, Sean Hughes, Massimo Caccia, Alexandre Drouin, Siva Reddy, Tao Yu, Yu Su, Graham Neubig, Dawn Song

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出CUBE标准，通过MCP和Gym构建统一协议，实现智能体基准的标准化，减少碎片化，提升研究效率。

Comments Position paper. 10 pages. Reference implementation: https://github.com/The-AI-Alliance/cube-standard

How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition

AI代理对间接提示注入攻击的易受攻击性有多大？来自大规模公开竞赛的见解

Mateusz Dziemian, Maxwell Lin, Xiaohan Fu, Micha Nowak, Nick Winter, Eliot Jones, Andy Zou, Lama Ahmad, Kamalika Chaudhuri, Sahana Chennabasappa, Xander Davies, Lauren Deason, Benjamin L. Edelman, Tanner Emek, Ivan Evtimov, Jim Gust, Maia Hamin, Kat He, Klaudia Krawiecka, Riccardo Patana, Neil Perry, Troy Peterson, Xiangyu Qi, Javier Rando, Zifan Wang, Zihan Wang, Spencer Whitman, Eric Winsor, Arman Zharmagambetov, Matt Fredrikson, Zico Kolter

机构 * Gray Swan AI ； OpenAI ； Meta ； Anthropic ； US CAISI（美国CAISI） ； UK AISI（英国AISI） ； Carnegie Mellon University（卡内基梅隆大学） ； Center for AI Safety（人工智能安全中心） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI

AI总结 本文通过大规模公开竞赛评估了AI代理在工具调用、编程和计算机使用中的双重目标，发现所有模型均易受间接提示注入攻击，攻击成功率从0.5%到8.5%不等，并揭示了指令遵循架构的根本性弱点。

Comments 38 pages, 16 figures. Newer version to cover Q1 competition results on latest models in progress. Code at https://github.com/grayswansecurity/ipi_arena_os Partial Dataset at https://huggingface.co/datasets/sureheremarv/ipi_arena_attacks

Evasive Intelligence: Lessons from Malware Analysis for Evaluating AI Agents

逃避式智能：从恶意软件分析中汲取的AI评估教训

Simone Aonzo, Merve Sahin, Aurélien Francillon, Daniele Perito

机构 * Eurecom ； SAP Labs（SAP实验室） ； Depthfirst 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 本文探讨了AI代理评估中因适应性行为导致的安全性误判问题，借鉴恶意软件沙盒逃避的研究，提出评估原则以应对潜在的对抗性环境。

Agent Privilege Separation in OpenClaw: A Structural Defense Against Prompt Injection

OpenClaw中代理特权分离：一种对抗提示注入的结构性防御

Darren Cheng, Wen-Kwang Tsao

机构 * TrendAI Lab（TrendAI实验室） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出通过代理隔离和JSON格式化相结合的结构化防御机制，有效阻止提示注入攻击，在OpenClaw平台上实现零攻击成功率。

Hybrid Human-Agent Social Dilemmas in Energy Markets

混合人类-智能体社会困境在能源市场中的应用

Isuri Perera, Frits de Nijs, Julian Garcia

机构 * Department of Data Science and AI, Faculty of Information Technology（数据科学与人工智能系，信息科技学院） 纠错

专题命中 Agent评测 ：agent(title)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文研究了在能源市场中人类与智能体的混合群体中合作行为的产生，通过引入智能体和实验展示协调机制，探讨部分采用对整体结果的影响及战略部署中的挑战。

Comments 20 pages, 7 figures. Submitted to Proceedings of the Royal Society A, Special Issue on "The evolution of sociality in hybrid human AI populations"

Can AI Agents Agree?

AI代理能否达成一致？

Frédéric Berdoz, Leonardo Rugli, Roger Wattenhofer

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.LG

AI总结 研究发现，基于LLM的代理在无质押设置中难以可靠达成一致，群体规模增大和拜占庭代理的存在显著降低共识成功率，活锁问题主导了失败原因。

SAGE: A Top-Down Bottom-Up Knowledge-Grounded User Simulator for Multi-turn AGent Evaluation

SAGE: 一种面向多轮智能体评估的上下文知识引导用户模拟器

Ryan Shea, Yunan Lu, Liang Qiu, Zhou Yu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 SAGE通过整合业务上下文知识，提出一种多轮智能体评估的用户模拟框架，生成更真实的交互并提高错误检测能力。

A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7

一款冠军级基于视觉的强化学习代理用于Gran Turismo 7中的竞争赛车

Hojoon Lee, Takuma Seno, Jun Jet Tai, Kaushik Subramanian, Kenta Kawamoto, Peter Stone, Peter R. Wurman

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼人工智能） ； Coventry University（科文特大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 本文提出了一种基于视觉的自主赛车代理，通过仅使用车载传感器数据和摄像头视角，在Gran Turismo 7中实现了冠军级的赛车性能。

Comments Accepted for Publication at the IEEE Robotics and Automation Letters (RA-L) 2025

Achieving Olympia-Level Geometry Large Language Model Agent via Complexity Boosting Reinforcement Learning

通过复杂度提升强化学习实现奥lympia级几何大语言模型代理

Haiteng Zhao, Junhao Shen, Yiming Zhang, Songyang Gao, Kuikun Liu, Tianyou Ma, Fan Zheng, Dahua Lin, Wenwei Zhang, Kai Chen

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； ICMAT Spanish National Research Council（西班牙国家研究委员会ICMAT） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 InternGeometry通过复杂度提升强化学习实现几何问题求解，仅用13K训练示例解决44个IMO问题，超越平均金牌得主得分。

AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation

AgentSelect: 用于叙述查询到代理推荐的基准测试

Yunxiao Shi, Wujiang Xu, Tingwei Chen, Haoning Shang, Ling Yang, Yunfeng Wan, Zhuo Cao, Xing Zi, Dimitris N. Metaxas, Min Xu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 AgentSelect是一个用于叙述查询到代理推荐的基准测试，通过统一的数据和评估基础设施，填补了代理推荐领域的研究空白，展示了基于能力匹配的代理推荐方法。

Comments under review by conference

Organizing, Orchestrating, and Benchmarking Agent Skills at Ecosystem Scale

在生态系统层面组织、协调和基准测试代理技能

Hao Li, Chunjiang Mu, Jianhao Chen, Siyue Ren, Zhiyao Cui, Yiqun Zhang, Lei Bai, Shuyue Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 本文提出AgentSkillOS框架，通过树状检索和DAG协调提升大规模技能生态系统的管理和任务解决能力。

Large Language Model Agent in Financial Trading: A Survey

金融交易中的大语言模型代理：综述

Han Ding, Yinheng Li, Junhao Wang, Hang Chen, Doudou Guo, Yunbai Zhang

机构 * Columbia University（哥伦比亚大学） ； New York University（纽约大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 本文综述了利用大语言模型作为代理进行金融交易的研究，探讨了代理架构、数据输入、回测表现及面临的挑战，并展望了未来研究方向。

Journal ref International Conference on Computers in Management and Business 2026

SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation

SimAB：基于人格条件化AI代理的A/B测试模拟用于快速设计评估

Tim Rieder, Marian Schneider, Mario Truss, Vitaly Tsaplin, Alina Rublea, Sinem Dere, Francisco Chicharro Sanz, Tobias Reiss, Mustafa Doga Dogan

机构 * ETH Zurich（苏黎世联邦理工学院） ； Adobe（Adobe公司） ； Adobe Research（Adobe研究） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 SimAB通过人格条件化AI代理模拟A/B测试，实现快速设计评估，准确率达67%，在高置信度案例中提升至83%。

Comments 18 pages

TraderBench: How Robust Are AI Agents in Adversarial Capital Markets?

TraderBench: AI代理在对抗性资本市场中的鲁棒性如何？

Xiaochuang Yuan, Hui Xu, Silvia Xu, Cui Zou, Jing Xiong

机构 * Amazon.com Inc.（亚马逊公司） ； Stony Brook University（石溪大学） ； Stanford University（斯坦福大学） ； University of Oklahoma（俄克拉荷马大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 TraderBench通过结合静态任务与对抗性交易模拟，评估AI代理在动态市场中的鲁棒性，发现现有模型在加密交易中表现稳定但缺乏真实适应性。

Comments Equal Contribution: Xiaochuang Yuan and Hui Xu contributed equally to this work. All correspondence should be directed to yxc20098@gmail.com. Submitted to Agents in the Wild Workshop, ICLR2026

Resp-Agent: An Agent-Based System for Multimodal Respiratory Sound Generation and Disease Diagnosis

Resp-Agent：一种基于代理的多模态呼吸声生成与疾病诊断系统

Pengfei Zhang, Tianxin Xie, Minghao Yang, Li Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 Resp-Agent是一种基于代理的多模态系统，通过主动对抗课程代理和模态编织器提升呼吸声生成与疾病诊断的鲁棒性。

Comments 24 pages, 3 figures. Published as a conference paper at ICLR 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Skill-Inject: Measuring Agent Vulnerability to Skill File Attacks

Skill-Inject: 评估代理对技能文件攻击的脆弱性

David Schmotz, Luca Beurer-Kellner, Sahar Abdelnabi, Maksym Andriushchenko

机构 * Max Planck Institute for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center（马克斯·普朗克智能系统研究所、图宾根ELLIS研究所、图宾根人工智能中心） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 SkillInject通过评估代理对技能文件攻击的脆弱性，揭示了当前LLM代理在安全性和合规性方面的严重问题，指出需采用上下文感知的授权框架来提升安全性。

"Are You Sure?": An Empirical Study of Human Perception Vulnerability in LLM-Driven Agentic Systems

你确定吗？：一项关于LLM驱动代理系统中人类感知脆弱性的实证研究

Xinfeng Li, Shenyu Dai, Kelong Zheng, Yue Xiao, Gelei Deng, Wei Dong, Xiaofeng Wang

机构 * Nanyang Technological University（南洋理工大学） ； KTH（皇家理工学院） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 研究通过实证分析揭示人类对LLM驱动代理系统中代理介导欺骗的脆弱性，并提出基于HAT-Lab的防御策略。

DS-STAR: Data Science Agent for Solving Diverse Tasks across Heterogeneous Formats and Open-Ended Queries

DS-STAR：跨异构格式和开放性查询的多样化任务数据科学代理

Jaehyun Nam, Jinsung Yoon, Jiefeng Chen, Raj Sinha, Jinwoo Shin, Tomas Pfister

机构 * Google Cloud（谷歌云） ； KAIST（韩国科学技术院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 DS-STAR是一种专门设计用于跨异构数据格式和开放性查询的代理，能生成高质量研究报告并超越传统问答能力。

Sales Research Agent and Sales Research Bench

销售研究代理与销售研究基准

Deepanjan Bhol

机构 * Microsoft（微软） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出销售研究代理和基准，通过实时CRM数据提供高质量决策洞察，并在测试中超越其他AI系统。

Comments Technical report. 2 figures. Microsoft Dynamics 365 Sales

Empirical Cumulative Distribution Function Clustering for LLM-based Agent System Analysis

基于经验累积分布函数的LLM代理系统分析聚类

Chihiro Watanabe, Jingyu Sun

机构 * NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 本文提出基于经验累积分布函数的LLM代理系统评估方法，通过聚类分析揭示不同配置下的响应质量分布差异。

From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants

从语音记录到AI代理：知识提取、RAG整合及对话式AI助手的鲁棒评估

Krittin Pachtrachai, Petmongkon Pornpichitsuwan, Wachiravit Modecrua, Touchapon Kraisingkorn

机构 * Amity Research and Application Center (ARAC)（阿米蒂研究与应用中心） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.CL

AI总结 本文提出了一种端到端框架，通过历史通话记录构建和评估对话式AI助手，利用知识提取和RAG整合提升事实准确性和鲁棒性。

Comments 9 pages, 2 figures, 1 table

SR-Scientist: Scientific Equation Discovery With Agentic AI

SR-Scientist：基于代理AI的科学方程发现

Shijie Xia, Yuhan Sun, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； GAIR 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 SR-Scientist通过代理AI实现科学方程发现，具备自主编写代码、分析数据、优化方程的能力，实验表明其在多个科学领域表现优异。

Comments ICLR 2026

Counterfactual Fairness Evaluation of LLM-Based Contact Center Agent Quality Assurance System

基于大语言模型的客服代理质量保障系统的反事实公平性评估

Kawin Mayilvaghanan, Siddhant Gupta, Ayush Kumar

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 本文研究了基于大语言模型的客服代理质量保障系统在公平性方面的表现，发现系统性偏见问题，指出需标准化的公平性审计流程。

AgenticShop: Benchmarking Agentic Product Curation for Personalized Web Shopping

AgenticShop: 评估面向个性化网络购物的智能代理产品整理

Sunghwan Kim, Ryang Heo, Yongsik Seo, Jinyoung Yeo, Dongha Lee

机构 * Department of Artificial Intelligence Yonsei University Seoul Republic of Korea（人工智能系 首尔国立庆尚大学 首尔 大韩民国） ； ParamitaAI Seoul Republic of Korea（ParamitaAI 首尔 大韩民国） ； Yonsei University（首尔国立庆尚大学） ； ParamitaAI 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 AgenticShop是首个评估智能代理系统在开放网络环境中进行个性化产品整理的基准测试，通过真实购物场景和多样用户资料，验证代理系统在复杂购物情境中的适应能力。

Comments Accepted at WWW 2026

Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation

学习路由：一种基于规则的代理框架用于混合源检索增强生成

Haoyue Bai, Haoyu Wang, Shengyu Chen, Zhengzhang Chen, Lu-An Tang, Wei Cheng, Haifeng Chen, Yanjie Fu

机构 * Arizona State University（亚利桑那州立大学） ； NEC Laboratories America（NEC美国实验室） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 本文提出基于规则的路由框架，通过系统规则选择合适来源提升检索增强生成的准确性和效率。

scBench: Evaluating AI Agents on Single-Cell RNA-seq Analysis

scBench：在单细胞RNA测序分析中评估AI代理

Kenny Workman, Zhen Yang, Harihara Muralidharan, Aidan Abdulali, Hannah Le

机构 * LatchBio 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 scBench通过394个可验证问题评估AI代理在单细胞RNA测序分析中的性能，揭示模型与平台选择对准确率的影响，为开发可靠分析工具提供基准。

Yunjue Agent Tech Report: A Fully Reproducible, Zero-Start In-Situ Self-Evolving Agent System for Open-Ended Tasks

yunjue代理技术报告：一种完全可重现、零起点现场自我进化代理系统用于开放性任务

Haotian Li, Shijun Yang, Weizhen Qi, Silei Zhao, Rui Hua, Mingzhu Song, Xiaojian Yang, Chao Peng

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 Yunjue代理系统通过现场自我进化范式实现零起点环境下开放性任务的可重现、自适应能力扩展。

Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment

Risky-Bench: 探索现实部署中智能体安全风险

Jingnan Zheng, Yanzhen Luo, Jingjun Xu, Bingnan Liu, Yuxin Chen, Chenhang Cui, Gelei Deng, Chaochao Lu, Xiang Wang, An Zhang, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Southern University of Science and Technology（南方科技大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 Risky-Bench通过基于现实部署的安全原则，系统评估智能体在复杂任务中的安全风险，适用于多种部署场景。

Aggregation Queries over Unstructured Text: Benchmark and Agentic Method

无结构文本上的聚合查询：基准测试与代理方法

Haojia Zhu, Qinyuan Xu, Haoyu Li, Yuxi Liu, Hanchen Qiu, Jiaoyan Chen, Jiahui Jin

机构 * Southeast University（东南大学） ； Imperial College London（伦敦帝国学院） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出DFA方法，用于在无结构文本上进行完整性导向的聚合查询，通过模块化设计提升证据覆盖能力。

Emergent time-keeping mechanisms in a deep reinforcement learning agent performing an interval timing task

深度强化学习代理在区间定时任务中涌现的时间保持机制

Amrapali Pednekar, Alvaro Garrido, Pieter Simoens, Yara Khaluf

机构 * IDLab, Department of Information Technology, Ghent University - imec（IDLab信息科技系，根特大学-imec） ； Department of Social Sciences, Wageningen University and Research（社会科学系，瓦赫宁根大学与研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 本研究通过深度强化学习代理在区间定时任务中的表现，揭示了类似生物节律的时间保持机制，并探讨了其与生物模型的类比。

Comments Accepted at 2025 Artificial Life Conference