AI Agent

"LLM Agent Performance" Is Not a Single Evaluation Target

基于LLM的智能体评估统一框架的必要性

Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对当前LLM智能体评估受系统提示、工具集和环境动态等混杂因素影响的问题，提出标准化统一评估框架以提升公平性和可复现性。

Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation

无效度的测量：智能体AI评估中的复合可靠性问题

William Caban

机构 * Red Hat, Inc.（红帽公司） ； Alma Mater Europaea University（欧洲母校大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 该研究指出智能体AI评估存在复合可靠性问题，任务生成、LLM模拟、评分者间信度三个层面的失效相乘降低效度，提出八项心理测量学改进建议以提升评估可信度。

Comments 34 pages (review/double-spaced format), 2 figures, 5 tables. Submitted to Knowledge-Based Systems (Elsevier)

Mind the Sim2Real Gap in User Simulation for Agentic Tasks

注意用户模拟中的Sim2Real差距以实现代理任务

Xuhui Zhou, Weiwei Sun, Qianou Ma, Yiqing Xie, Jiarui Liu, Weihua Du, Sean Welleck, Yiming Yang, Graham Neubig, Sherry Tongshuang Wu, Maarten Sap

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 研究发现基于LLM的用户模拟器在代理任务中存在Sim2Real差距，表现出过度合作和缺乏真实反馈，需通过人类验证提升模拟真实性。

Comments COLM 2026

FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments

FinVault：在执行 grounded 环境中评估金融代理安全性的基准测试

Zhi Yang, Runguo Li, Qiqi Qiang, Jiashun Wang, Fangqi Lou, Mengping Li, Dongpo Cheng, Rui Xu, Heng Lian, Shuo Zhang, Xiaolong Liang, Xiaoming Huang, Zheng Wei, Zhaowei Liu, Xin Guo, Huacan Wang, Ronghao Chen, Liwen Zhang

机构 * SUFE（上海财经大学） ； CUHKSZ（香港中文大学） ； SUIBE（上海对外经贸大学） ； FDU（福建大学） ； XDU（西安电子科技大学） ； BUPT（北京邮电大学） ； Tencent（腾讯） ； UCAS（中国科学院大学） ； PKU（北京大学） ； QuantaAlpha（量子Alpha） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 FinVault 是首个针对金融代理的执行 grounded 安全基准测试，通过31个监管案例驱动的沙盒场景和963个测试用例，评估金融代理在现实金融环境中的安全性和防御有效性。

Comments After further review of the current submission, we have identified potential legal and intellectual property concerns associated with keeping the manuscript publicly available as a preprint. In particular, there are ongoing considerations regarding institutional affiliation information, intellectual property ownership, and related compliance matters

Linking Heterogeneous Data with Coordinated Agent Flows for Social Media Analysis

通过协调智能体流关联异构数据以开展社交媒体分析

Shifu Chen, Dazhen Deng, Zhihong Xu, Sijia Xu, Linyu Qin, Tai-Quan Peng, Yingcai Wu

机构 * Zhejiang University（浙江大学） ； Department of Communication, Michigan State University（密歇根州立大学通讯系） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究提出LLM智能体系统SIA，通过协调智能体流关联社交媒体异构多模态数据，采用阶段同步策略挖掘洞见，经评估可发现多样有意义的洞见，为社交媒体分析提供新方法。

NOVA: A Verification-Aware Agent Harness for Architecture Evolution in Industrial Recommender Systems

NOVA: 面向工业推荐系统架构演化的验证感知智能体框架

Shaohua Liu, Liang Fang, Yilong Sun, Shudong Huang, Qingsong Luo, Shaoxin Liu, Xiaoyang Chen, Dongqiang Liu, Chuangang Ma, Zhenzhen Chai, Henghuan Wang, Shijie Quan, Changyuan Cui, Zhangbin Zhu, Peng Chen, Wei Xu, Lei Xiao, Haijie Gu, Jie Jiang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 提出NOVA框架，通过架构梯度、验证级联和层级任务控制实现工业推荐模型架构的自动化演化，有效减少静默失败，缩短文献到生产周期13倍以上。

Comments 12 pages, 3 figures

OpenSkillRisk: Benchmarking Agent Safety When Using Real-World Risky Third-Party Skills

开放技能风险：使用现实世界中的危险第三方技能时对智能体安全性进行基准测试

Qiyuan Liu, Tingfeng Hui, Kun Zhan, Kaike Zhang, Ning Miao

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 研究基于语言模型的智能体使用第三方危险技能时的安全问题，构建OpenSkillRisk基准测试，涵盖多种不安全场景并能细粒度分析。实验发现当前系统处理危险技能能力不足，揭示三种失败模式，强调需改进语言模型风险推理和智能体框架执行控制。

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

隐藏的足迹：使存储成为大语言模型智能体评估的头等指标

Chenglin Yu, Hongquan Gui, Ying Yu, Tao Zeng, Ming Li

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体运行后磁盘持久数据评估问题，引入AgentFootprint基准测试，通过序列化感知度量套件测量多方面指标，解决测量陷阱，给出不同配置差异及存储优化结果，确立持久存储为资源指标。

Comments 17 pages, 5 figures; includes supplementary material

DeepPAAC: A New Deep Galerkin Method for Principal-Agent Problems

深度主从问题的新深度伽辽金方法

Michael Ludkovski, Changgen Xie, Zimu Zhu

机构 * Department of Statistics and Applied Probability, University of California, Santa Barbara（加州大学圣巴巴拉分校统计学与应用概率系） ； Fintech Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）金融科技方向） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 研究连续时间下主从问题的数值求解，提出深度主从演员评论家算法（DeepPAAC），可处理多维情况及约束，通过五个案例研究神经网络架构等因素对求解器收敛的影响。

Agent Step Value: Auditing Evaluator-Channel Reversals in Black-Box Agent Traces

智能体步骤值：使用基于状态的语言模型评估器进行状态转换测量

Andrew Zhang, Chengzhan Li

机构 * KTH Royal Institute of Technology（皇家理工学院） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究提出智能体步骤值（ASV）框架，通过状态转换测量评估智能体动作，能定位最终答案分数等遗漏的关键信息，还介绍了具体方法及工具，并用实验验证其有效性。

Comments adds source-contract intervention and two-wave retry study; re-acquires cube and extends bridge cohort to n=98 to 100

Agent-Based Software Artifact Evaluation

基于代理的软件工件评估

Zhaonan Wu, Yanjie Zhao, Zhenpeng Chen, Zheng Wang, Haoyu Wang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 研究针对软件工件评估中人工评估难及现有政策缺乏验证标准的问题，构建ArtifactGuide评分标准，设计ArtifactCopilot代理，通过实验评估，该框架提升了评估性能，提高了评审信心，还为设计高质量工件提供了实践指导。

It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents

这是一个陷阱！面向网络代理的任务重定向说服基准

Karolina Korgul, Yushi Yang, Arkadiusz Drohomirecki, Piotr Błaszczyk, Will Howard, Lukas Aichberger, Chris Russell, Philip H. S. Torr, Adam Mahdi, Adel Bibi

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出TRAP基准，评估大型语言模型驱动的网络代理在动态网页中易受提示注入攻击的程度，发现平均25%的任务中代理被重定向，揭示了心理驱动的系统漏洞。

Comments ICML 2026

Exploring Information Seeking Agent Consolidation

探索信息寻求智能体整合

Guochen Yan, Jialong Wu, Zhengwei Tao, Bo Li, Qintong Zhang, Jiahao Xu, Haitao Mi, Yuejian Fang, Qingni Shen, Wentao Zhang, Zhonghai Wu

机构 * Peking University（北京大学） ； Tencent（腾讯） 纠错

专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI

AI总结 通过系统实证研究，比较数据级混合与参数级合并两种范式，发现参数级合并能以更低成本达到数据混合的性能，并保留跨域能力。

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

DeepResearch-9K: A Challenging Benchmark Dataset of Deep-Research Agent

DeepResearch-9K：一个具有挑战性的深度研究智能体基准数据集

Tongzhou Wu, Yuhao Wang, Xinyu Ma, Xiuqiang He, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 为解决深度研究智能体缺乏大规模挑战性数据集和开源训练框架的问题，构建了DeepResearch-9K数据集，包含9000个多难度问题、搜索轨迹和可验证答案，并开发了开源训练框架DeepResearch-R1，实验表明训练后的智能体在基准测试上达到最优。

Comments 6 pages, 4 figures

FORTIS: Benchmarking Over-Privilege in Agent Skills

FORTIS：评估代理技能中的过度特权

Shawn Li, Chenxiao Yu, Han Wang, Wei Yang, Ryan Rossi, Franck Dernoncourt, Xiyang Hu, Philip Yu, Chaowei Xiao, Huan Zhang, Yue Zhao

机构 * University of Southern California（南加州大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Research（Adobe研究） ； Arizona State University（亚利桑那州立大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究发现，当前代理技能层普遍存在过度特权问题，模型在选择和执行技能时常超出任务需求，导致性能不佳。

Red-Teaming Agent Execution Contexts: Open-World Security Evaluation on OpenClaw

红队代理执行上下文：OpenClaw上的开放世界安全评估

Hongwei Yao, Yiming Liu, Yiling He, Bingrun Yang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI

AI总结 本文提出DeepTrap框架，通过黑盒轨迹优化发现OpenClaw中的上下文漏洞，展示上下文妥协可引发安全风险，强调需执行中心的安全评估。

Comments Accepted to ICML 2026 Workshop

Shachi: A Modular, Controllable Framework for LLM-Based Agent-Based Modeling of Emergent Collective Behavior

Shachi: 一种用于基于LLM的涌现集体行为建模的模块化、可控框架

So Kuroki, Yingtao Tian, Kou Misaki, Takashi Ikegami, Takuya Akiba, Yujin Tang

机构 * Sakana AI, Japan（日本Sakana AI） ； The University of Tokyo, Japan（日本东京大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出Shachi框架，将智能体认知分解为配置、记忆和工具等独立可控组件，通过扰动实验研究微观认知特征如何影响宏观群体动态，并在10任务基准和关税冲击案例中验证其有效性。

Comments Accepted to ALIFE 2026

RedAct: Redacting Agent Capability Traces for Procedural Skill Protection

RedAct: 为程序技能保护而编辑智能体能力痕迹

Shuwen Xu, Zhitao He, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 提出RedAct框架，通过定位保护关键信息、重写痕迹并嵌入行为水印，将技能转移率降至无技能基线以下，同时保留审计证据。

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

Food4All: 一种具有自适应用户理解能力的食物资源导航智能体框架与基准

Yiyang Li, Weixiang Sun, Tianyi Ma, Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 提出Food4All框架，结合食物搜索工具与300个多轮评估任务，在686个印第安纳食物资源上评估六种大语言模型，诊断其在约束条件处理和非理想用户交互中的不足。

Comments We have further refined the benchmark construction and experimental presentation to improve clarity and consistency. The revised version includes updated task design, food-resource data, and evaluation details to better align the benchmark with the intended food resource referral setting. These changes provide a more precise presentation of the experimental findings

PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures

PQR：一个生成多样化且逼真用户查询的框架，以引发问答代理失败

Yunan Lu, Luigi Liu, Omar Yahia, Arpit Sharma, Zhou Yu

机构 * Columbia University（哥伦比亚大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Walmart（沃尔玛） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 PQR框架通过迭代交互生成多样化且逼真的用户查询，以发现问答代理的失败案例，其方法比现有方法更有效。

FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks

FieldWorkArena：面向真实作业任务的代理AI基准测试

Jun Takahashi, Atsunori Moteki, Akiyoshi Uchida, Shoichi Masui, Fan Yang, Kanji Uchino, Yueqi Song, Yonatan Bisk, Graham Neubig, Ikuo Kusajima, Yasuto Watanabe, Hiroyuki Ishida, Koki Nakagawa, Shan Jiang

机构 * Fujitsu Limited（富士通株式会社） ； Fujitsu Research of America（富士通美国研究部） ； Carnegie Mellon University（卡内基梅隆大学） ； Master’s Student, The University of Tokyo（东京大学硕士研究生） ； Agent Research Collective（代理研究集体） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出FieldWorkArena，用于评估代理AI在真实制造业和零售环境中的性能，通过现场采集的数据和实地访谈设计任务，验证多模态大语言模型的评估可行性。

Comments 27 pages, 10 figures, 7 tables [ICPR 2026 Accepted] Changes from previous version: added supplemental material

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench: 来自真实开发者-智能体会话的实时OpenClaw基准测试

Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

机构 * Peking University（北京大学） ； Qiyuan Tech（启元科技） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 针对现有基准缺乏真实性的问题，提出RealClawBench框架，通过重构执行环境和确定性可验证评分器，将真实OpenClaw会话转化为可复现、自动评分的任务，评估14个模型后最佳仅解决65.8%任务，揭示了开发者-智能体工作负载上的巨大提升空间。

Comments 19 pages, 5 figures, 8 tables

FinanceHarness: Autonomous Financial Deep Research Framework

FinanceHarness：自主金融深度研究框架

Yijia Xiao, Rujun Han, Yanfei Chen, Zifeng Wang, Ke Jiang, Zhongying CuiZhu, Vishy Tirumalashetty, Wei Wang, Burak Gokturk, Tomas Pfister, Chen-Yu Lee

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 FinanceHarness是一款端到端自动化金融深度研究的自主框架，结合自主智能体与金融专用工具，在FinanceGym基准上大幅提升了金融研究评分规则得分。

Comments FinanceHarness available at https://github.com/Yijia-Xiao/FinanceHarness

Ratchet: How Reliable Must an LLM Judge Be to Retire a Skill?

Ratchet：一种最小化卫生的自演化LLM代理技能库

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS 生成式人工智能创新中心） ； HSBC Holdings Plc.（汇丰控股有限公司） ； HSBC Technology Center, China（汇丰技术中心，中国） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；agentic(abstract_cn)；分类 cs.AI、cs.CL

AI总结 本文提出Ratchet，一种单代理循环，使冻结的LLM能够自行编写、检索、整理和淘汰其自然语言技能，通过整合四个卫生机制提升技能库的生命周期管理，从而在MBPP+ hard-100数据集上显著提升性能。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Ratchet

ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences

ReplicatorBench：用于社会科学和行为科学中可复制性评估的LLM代理基准测试

Bang Nguyen, Dominik Soós, Qian Ma, Rochana R. Obadage, Zack Ranjan, Sai Koneru, Timothy M. Errington, Shakhlo Nematova, Sarah Rajtmajer, Jian Wu, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Old Dominion University（老道明大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Independent Researcher（独立研究员） ； Uppsala University（乌普萨拉大学） ； Center for Open Science（开放科学中心） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出ReplicatorBench，一个端到端的基准测试，用于评估AI代理在可复制性研究中的能力，涵盖数据提取、实验设计与结果解释三个阶段，并开发了ReplicatorAgent框架以评估不同LLM和编程语言的性能。

Comments Accepted to KDD 2026 AI4Sciences Track, Camera-ready version

Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking

通过代理评估和稳定性感知排名实现多模态大语言模型的鲁棒检查点选择

Qinwu Xu, Zhuoheng Li, Jessie Salas

机构 * Meta AI 纠错

专题命中 Agent评测 ：agentic(title)；分类 cs.AI、cs.CL、cs.LG

AI总结 本文提出了一种多阶段框架，结合了精心挑选的现实世界数据、结构化的LLM判断和多阶段排名协议，以解决多模态大语言模型检查点选择中的鲁棒决策问题，强调数据质量（特别是OCR可读性）对评估有效性的重要性。

Skill Is Not Document: Query-Conditioned Compatibility for LLM Agent Skill Routing

技能不是文档：面向LLM智能体技能路由的查询条件基准与两阶段检索器

Zifei Wang, Wei Wen, Qiang Ji, Keyu Chen, Ruizhi Qiao, Xing Sun

专题命中 Agent评测 ：agent(title,abstract)

AI总结 针对LLM智能体技能路由中技能兼容性被忽视的问题，提出Reject-as-Resource Retriever (R3)框架，构建双语基准R3-Skill，并设计两阶段检索系统（R3-Embedding + R3-Reranker）显式建模技能兼容性，显著提升检索效果。

Comments 24 pages, 8 figures

TGMS: An Agent-Native Bi-Temporal Graph Management System

TGMS：一种原生代理双时态图管理系统

Xiaofei Zhang

专题命中 Agent评测 ：agent(title,abstract)

AI总结 研究针对时态图问题中LLM代理常失败的情况，提出双时态属性图管理系统TGMS，将13个运算符作为代理工具，LLM规划调用，系统计算，能分离有效时间与事务时间，在基准测试中表现优异，开源代码等。

Exploring the Interplay Between Voice, Personality, and Gender in Human-Agent Interactions

探索语音、个性与性别在人机交互中的相互作用

Kai Alexander Hackney, Lucas Guarenti Zangari, Jhonathan Sora-Cardenas, Emmanuel Munoz, Sterling R. Kalogeras, Betsy DiSalvo, Pedro Guillermo Feijoo-Garcia

专题命中 Agent评测 ：agent(title,abstract)

AI总结 研究探讨用户能否通过语音识别人工代理的外向性，并分析感知个性与用户-代理同步性之间的关系，发现女性语音在区分外向性上更有效，而男性语音则不一致。

Journal ref https://www.frontiersin.org/articles/10.3389/fcomp.2026.1855830