AI Agent

MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

MADE：超越评分——通过多语言智能诊断引擎实现细粒度评估洞察

Yilun Liu, Miao Zhang, Shimin Tao, Minggui He, Chunguang Zhao, Chenxin Liu, Li Zhang, Chen Liu, Cheng Qian, Liqun Deng, Xiaojun Meng, Daimeng Wei

机构 * Huawei（华为） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；planning(abstract)；分类 cs.CL

AI总结 提出MADE多语言智能诊断引擎，将评估后分析分解为规划、聚合分析、实例检查、多语言文化反思和报告合成，在33个模型族、11个基准、26种语言等大规模设置下，诊断报告质量提升47%，专家偏好率达87.9%。

TTHE: Test-Time Harness Evolution

测试时工具演化

Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； University of Science and Technology of China（中国科学技术大学） ； Hong Kong Generative AI Research & Development Center, The Hong Kong University of Science and Technology（香港生成式人工智能研究与开发中心，香港科技大学） ； TCL Corporate Research (HK) Co., Ltd（TCL 企业研究（香港）有限公司） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；workflow(abstract)；agentic(abstract)

AI总结 研究LLM智能体测试时工具优化问题，提出TTHE方法，通过维护候选工具种群，基于执行轨迹推理优化，无需黄金标签或特定任务监督，在多任务实验中改进基线工具，将测试时适应重塑为程序演化并确定代理可靠性挑战。

Comments 15 pages, 5 figures

Exploration Structure in LLM Agents for Multi-File Change Localization

LLM代理中的探索结构用于多文件变更定位

Akeela Darryl Fattha, Kia Ying Chua, Lingxiao Jiang, Laura Wynter

机构 * School of Computing and Information Systems, Singapore Management University（计算与信息系统学院，新加坡国立管理学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；multi-agent(abstract)

AI总结 针对多子系统变更场景，提出非线性、领域范围的并行代理探索结构，在SWE Bench Pro基准上，小规模Haiku类模型通过领域代理并行生成实现高微F1分数，优于线性顺序探索。

MedCTA: A Benchmark for Clinical Tool Agents

MedCTA: 临床工具智能体基准

Tajamul Ashraf, Hyewon Jeong, Fida Mohammad Thoker, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 Agent评测 ：AI agent(abstract)；tool use(abstract)；planning(abstract)；agentic(abstract)

AI总结 提出MedCTA基准，基于放射影像、病理切片和报告等真实临床多模态输入，评估医疗AI智能体在工具检索、证据获取和集成方面的规划与执行能力。

Comments Project Page: https://ivul-kaust.github.io/MedCTA/ Code: https://github.com/IVUL-KAUST/MedCTA Data: https://huggingface.co/datasets/IVUL-KAUST/MedCTA

Auditable Graph-Guided Root Cause Analysis for Kubernetes Incidents

可审计的图引导的Kubernetes事件根因分析

Anastasiia Kuvshinova, Seungmin Jin

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；分类 cs.AI、cs.SE

AI总结 提出Graph Traversal Agent，结合LLM推理与确定性图操作，通过类型化证据图、有界搜索和独立验证实现可审计的根因分析，在ITBench上F1从0.6087提升至0.9130。

Comments 8 pages, 1 figure. Preprint

The Tool-to-Entity Threshold: Parasocial Dynamics of Personalised AI Agents in Shared Social Spaces

工具到实体的阈值：共享社交空间中个性化AI智能体的准社会动态

Leonardo Borges (Eigenstack Pty Ltd), Asif Q. Gill (University of Technology Sydney)

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)

AI总结 该研究提出身份标记框架，结合自传式民族志方法，揭示共享社交空间中个性化AI智能体从工具转变为社会实体的四种新动态，指出现有同意框架混淆了智能体存在与消息处理的同意。

Comments 24 pages, 3 figures, 2 tables

Can We Trust AI Agents in the Supermarket? Sugar Content Inference from Product Images

我们能信任超市中的智能体吗？从产品图像推断糖含量

Jose Berengueres

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)

AI总结 该研究评估AI智能体从超市产品图像推断糖含量的能力，发现其准确率因场景和产品类型差异大，全球产品准确率高但本地产品与随机猜测无差异，指出AI营养工具应定位为辅助工具，需对齐本地生态的可审计基准。

Comments Accepted on April 15th 2026 to the 2026 48th Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning

SurgWMBench：面向世界建模的手术器械运动规划视觉基准

Huanrong Liu, Weiliang Huang, Bob Zhang, Weichao Cai, Chunlin Tian, Qingbiao Li

机构 * University of Macau（澳门大学） ； National University of Singapore（新加坡国立大学） ； Xiamen University（厦门大学） 纠错

专题命中 Agent评测 ：planning(title,abstract)；workflow(abstract)

AI总结 本文提出SurgWMBench，一种面向短程手术运动规划的视觉基准，可评估手术世界模型的器械运动预测与连续回推稳定性，解决现有指标与器械规划需求不匹配的问题。

DarwinX: Evolving Agent Harnesses Through Natural Selection

DarwinX：通过自然选择进化智能体控制程序

Yifan Zhang, Yutong Dai, Juntao Tan, Luyu Yang, Rishi Mullur, Thai Hoang, Zhiyuan Hu, James Zhu, Phil Mui, Silvio Savarese, Ran Xu, Zeyuan Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 DarwinX是模型参数冻结时通过自然选择进化控制程序的方法，在四个基准中平均提升约17个百分点，控制程序可迁移，进化通用能力而非基准特定补丁。

AV-AIVAT: 74x Cheaper Agent Evaluation with Certified Anytime-Valid Stopping in Imperfect-Information Games

AV-AIVAT：在非完全信息博弈中具备可验证的任意时间有效停止机制，成本降低74倍的智能体评估方法

Boning Li, Yu Chen, Longbo Huang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 AV-AIVAT将AIVAT与置信序列结合，在非完全信息博弈中实现任意时间有效停止，成本降低74倍，可高效评估智能体并向第三方提供可审计的验证依据。

Comments 34 pages, 5 figures

Continuous Improvement and Parallel Autonomous Exploration: An LLM-Agent Framework for Searching Large Solution Spaces

持续改进与并行自主探索：用于搜索大型解空间的大语言模型智能体框架

Dulmini Hettiarachchi, Andre Rusli, Julio Christian Young, Sho Akiyama

专题命中 Agent评测 ：agent(title,abstract)；autonomous agent(abstract)

AI总结 该研究提出一种LLM智能体框架，含持续改进奖励循环与并行自主探索机制，在产品到目录匹配任务中，5个并行智能体的合格覆盖度较单智能体及基线显著提升。

Comments 5 pages, ACM KDD'26 Workshop on SciSoc Agents & LLMs

TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows

TraceCompiler：技能引导的LLM智能体轨迹挖掘与编译为近确定性工作流

Salma El Yadouni, Guanyi Li

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 本文提出TraceCompiler系统，通过技能引导挖掘含噪声的LLM智能体轨迹并编译为近确定性工作流，在T1、AppWorld数据集上验证了依赖恢复的高精度，实现了Venmo资金请求意图的调用减少。

Comments 17 pages, 4 figures, 5 tables

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

Who Belongs in the Eval Set? A Capability-Taxonomy-Driven Pipeline for Curating Regression Eval Sets in Agent-Extensibility Platforms

哪些应该进入评估集？面向智能体可扩展性平台的、基于能力分类法的回归评估集编建流水线

Tezan Sahu, Aritra Das, Pankaj Mittal, Sudipta Das

机构 * Microsoft（微软） ； Indian Institute of Technology Roorkee（鲁尔基印度理工学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 针对智能体可扩展性平台的回归评估集编建问题，提出基于能力分类法的流水线，通过三个组件实现查询决策，可适配带类型化能力分类法的各类编建场景。

Comments Extended abstract accepted at the SERI 2026 Industry Track

Rethinking Agentic Kernel Generation for Emerging Accelerators

面向新兴加速器的智能体内核生成方法反思

Ruijie Gao, Jirong Yang, Barry Lyu, Haoran Jin, Nathan Bleier

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)

AI总结 针对新兴加速器内核生成的现有方法反复重建无关语义的问题，提出编译器介导的Zomboss框架，将语义编译为可复用接口，在20个Gemmini和36个PLENA工作负载上实现全实例正确，且性能优于基线方法、推理成本更低。

Comments 12 pages, 7 figures

CircuitProver: Agentic Lean 4 Theorem Proving with Reusable Circuit Proof Library for Hardware Verification

CircuitProver：基于可复用电路证明库的智能体Lean 4定理证明框架，用于硬件验证

Ziyi Yang, Wenji Fang, Chen Chen, Zhiyao Xie, Hongce Zhang

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)

AI总结 CircuitProver是基于Lean 4的智能体硬件验证框架，可自动转换硬件设计为Lean模型，通过积累可复用证明知识完成63项基准证明，比普通智能体更高效。

An Artificial Market for Brazilian Real Estate Investment Funds: An Agent-Based Proposal

巴西房地产投资基金的人工市场：基于代理的提议

Gilberto Gil F. G. Passos, Eber Assis Schmitz, Sildenir Alves Ribeiro

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(abstract)

AI总结 研究利用基于代理的建模方法开发巴西房地产投资信托人工市场，整合其价值链，纳入宏观经济变量体现代理异质性，经校准和验证，该模型能再现真实市场典型事实，为分析监管政策和定价机制提供新途径。

Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0

智能体优化器的效果会叠加吗？基于终端基准测试2.0的持续学习评估

Wenxiao Wang, Priyatham Kattakinda, Soheil Feizi

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 研究智能体优化器收益是否叠加的问题，通过基于终端基准测试2.0的两阶段持续学习评估，比较GEPA、Meta Harness和RELAI-VCL三种方法，发现仅RELAI-VCL能使优化收益叠加，因其在优化循环中内置回归控制。

Comments Technical Report by RELAI (relai.ai)

EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent

EgoProceVQA：一种具有自我技能探索代理的新型自我中心程序理解任务

Junlong Li, Junxi Li, Yuxiang Yang, Wenbin Zou, Lap-Pui Chau, Yi Wang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)

AI总结 研究针对现有自我中心视频理解评估忽视程序理解的问题，引入EgoProceVQA任务，开发EgoProceGen数据生成平台并构建基准。通过评估发现模型不足，进而提出EgoProceAgent框架，设计相关工具库，使其在多任务上获最优性能，为该任务奠定统一基础。

PiSAs: Benchmarking Contextual Integrity in Multi-User Agentic Systems

PiSAs：多用户智能体系统中情境完整性的基准测试

Shubham Gupta, Nazanin Mohammadi Sepahvand, Abhinav Kumar, Cem Subakan, Spandana Gella, Pierre-André Noël, Perouz Taslakian, Eugene Bagdasarian, Valentina Zantedeschi

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)

AI总结 研究多用户智能体系统新隐私风险，引入PiSAs基准，用双重情境完整性注释评估无意泄露，可跨组件和接口测量跨用户数据泄露，发现模型判断影响结果，强调隐私保护策略需求。

Agent-driven Long-tail Simulation for Autonomous Driving

用于自动驾驶的智能体驱动长尾模拟

Junru Gu, Lijin Yang, Jianing Huang, Shu Liu, Zhongzhan Huang, Hang Zhao

机构 * IIIS, Tsinghua University（清华大学交叉信息研究院） ； Bosch Research（博世研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；planning(abstract)

AI总结 针对现有自动驾驶模拟器局限性，提出智能体驱动模拟框架，通过结构化动作接口由大语言模型控制道路参与者，还引入SemanticPlan基准测试，结果表明长尾场景仍具挑战性。

Skill Coverage: A Test Adequacy Metric for Agent Skills

技能覆盖率：一种用于智能体技能的测试充分性度量

Boyin Tan, Xiaowei Huang, Youcheng Sun

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 提出技能覆盖率度量，通过提取技能文档中的行为约束并评估智能体轨迹是否提供足够证据来测试技能，发现现有基准仅覆盖39.90%-43.98%的约束。

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

GroundEval：有状态智能体评估中LLM评判的确定性替代方案

Jeffrey Flynt

机构 * Independent Researcher（独立研究员） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出GroundEval框架，通过记录智能体搜索、获取、引用和访问的证据轨迹，以确定性方式评估其回答，解决LLM评判无法检测的证据路径失效问题。

Comments Streamlined entry point into framework

Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

校准评估器：概率校准能否缓解LLM智能体反馈回路中的偏好耦合？

Zewen Liu

机构 * Qilu Institute of Technology, School of Software Engineering（齐鲁理工学院软件工程学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 研究通过概率校准评估器的成对判断来缓解LLM智能体反馈回路中的偏好耦合，实验表明校准将耦合系数降低20-49%，JS散度降低45-67%。

Comments 7 pages, 2 tables

ASAP: Agent-System Co-Design for Wall-Clock-Centered Auto HPO Research for ML Experiments

ASAP: 面向ML实验的以挂钟时间为中心的自动HPO研究的智能体-系统协同设计

Taicheng Guo, Haomin Zhuang, Kehan Guo, Yujun Zhou, Nitesh V. Chawla, Olaf Wiest, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出ASAP框架，通过智能体集成多种优化器并利用系统级优化（前缀稳定提示、推测并行、自适应调优）减少端到端挂钟时间，在多样HPO任务中优于基线。

A Framework for Evaluating Agentic Skills at Scale

大规模评估智能体技能的框架

Maksim Shaposhnikov, Nicolas Fortuin, Simon Stipcich, Maria I. Gorinova, Amy Heineike, Rob Willoughby

机构 * Tessl London United Kingdom（伦敦英国Tessl） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出一个评估框架，通过构建真实任务和评分标准，大规模评估500个真实技能在19种智能体模型上的表现，发现模型对技能指令的遵循程度差异显著，且技能显著改变模型行为。

Towards In Silico Cancer Therapy Design: An Agent-Based Approach for GPU-Accelerated Molecular Pathway Simulation

迈向计算机辅助癌症治疗设计：基于智能体的GPU加速分子通路模拟方法

Stefano Maestri

专题命中 Agent评测 ：agent(title,abstract)；autonomous agent(abstract)

AI总结 提出GPU加速的智能体模拟器，用于癌症信号通路建模与治疗评估，通过MAPK/ERK级联和cFos表达案例验证，准确复现临床剂量反应和基因表达动态。

Comments 16 pages, 7 figures, 2 tables. A preliminary version of this work appeared in the Collections of Short Papers of CIBB 2025 (20th International Conference on Computational Intelligence Methods for Bioinformatics and Biostatistics, Milan, 10-12 September 2025)

AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments

AgentCanary：真实可执行环境中自主AI智能体的安全评估框架

Peiyang Li, Songping Wang, Yi Huang, Yanhua Shi, Chenhao Zhang, Qi Li, Yueming Lyu, Caifeng Shan, Fengting Li, Chao Feng, Chuanqun Zhu, Liang Chen

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)

AI总结 提出AgentCanary框架，通过正交风险分类、高保真执行环境和轨迹多维度评估，解决现有安全评估中风险覆盖碎片化、环境静态低保真及指标单一粗粒度的问题。

Comparing Sentiment Contagion in AI-Agent and Human Social Networks: Evidence from MOLTBOOK

AI智能体与人类社交网络中情绪传染的比较：来自MOLTBOOK的证据

Elyes Ben chaabane, Savindu Herath, Yash Raj Shrestha

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)

AI总结 研究AI社交网络中的情绪传播，发现负面帖子吸引更多回复，但回复通常趋于中性，情绪不会持续扩散，表明AI网络可能抑制情绪极端化。

Comments 8 pages without appendix