AI Agent

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

SkillEval: Decomposing Agent Skill Quality into Interpretable Signals

SkillEval：将智能体技能质量分解为可解释信号

Jiahui Han, Qinuo Li, Ziheng Peng, Haotian Wu, Haoze Liu, Danfeng Shan, Guanchu Wang, Huiqi Deng, Ninghao Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究针对现有智能体技能评估仅反映任务适配性的不足，提出可解释框架SkillEval，其可区分技能质量、关联下游任务性能，还能指导技能修订以提升任务通过率。

Agent-Based Test Assertion Generation via Diverse Perspective Aggregation

基于智能体的多视角聚合测试断言生成

Dong Wang, Qiaoyu Han, Lin Yang, Jianyi Zhou, Guangtai Liang, Junjie Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 针对现有LLM断言生成方法的局限，提出基于智能体的AssertMate框架，通过三个组件聚合多视角，在Defects4J和EvoSuite验证中性能显著优于现有技术。

Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?

技能使用：智能体框架中的大语言模型（LLM）真的能使用技能吗？

Jinyi Han, Yuanjian Xu, Ying Liao, Xinyi Wang, Zishang Jiang, Zixiang Di, Fanyang Lu, Zhichao Hu, Yanghua Xiao

机构 * East China Normal University（华东师范大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.CL

AI总结 本研究推出Skill-Use基准，评估智能体在渐进式披露下的技能使用，发现8个LLM在两个框架下的SU分数仅0.613，技能使用是依赖框架的能力。

Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

对抗智能体系统中的知识篡改：一种拜占庭容错的安全协同RAG框架

Zhaoqi Wang, Daqing He, Zijian Zhang, Ye Liu, Jiamou Liu, Zhirui Zeng, Zhan Qin, Zhen Li, Xin Li, Hongwei Yao, Jincheng An, Yong Liu, Yi Li, Qi Sun, Xiulei Liu, Liehuang Zhu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对RAG系统面临的知识篡改攻击问题，提出拜占庭容错的安全协同RAG框架SecureCollaRAG，通过多源知识验证机制与动态GNN可信度评分实现攻击防护，在非IID数据下保持鲁棒性。

Journal ref Proceedings of the ACM Web Conference 2026, pages 2661-2672, 2026

SeaSlides: Semantic Abstraction Layer for Agentic Slide Generation

SeaSlides：面向智能体幻灯片生成的语义抽象层

Shengjun Fang, Chenyang Wu, Zongzhang Zhang

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 研究针对智能体幻灯片生成的现有系统适配性差问题，提出SeaSlides框架，通过语义抽象层结合HTML与Typst后端，在多模型评估中提升了丰富内容生成质量，验证了语义抽象原则的有效性。

Comments 16 pages, 4 figures, 6 tables

ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

ParEvalLayer：当部分大语言模型智能体评估支持决策时

Wei-Jung Huang, Bonan Shen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出ParEvalLayer决策层，可基于部分任务结果判断LLM智能体比较结论，部分基准仅需15%-25%任务结果即可得出与完整评估一致的决策。

Comments Accepted at the 2026 ACM International Conference on AI-ML Systems (AIMLSystems)

Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

审计发现主张：面向智能体科学的双边准则，其负面侧可判定

Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

机构 * University of Macau（澳门大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 该研究提出面向智能体科学的双边审计准则，通过实验揭示AI科学系统能力主张的夸大问题，证实智能体编写的程序在低计算量下可击败人类程序，但未明确可迁移的机制。

Comments 51 pages, 10 figures, 10 tables

Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark

面向智能体工作流的组合式元路由学习：一个可执行基准

Natan Vidra, Alina Kapanova, Arun Kanhai, Spurthi Setty

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.LG

AI总结 本文提出一个智能体工作流的可执行基准和感知预算的组合式元路由器，在保留测试集上实现100%成功率，成本比静态策略低43%，但在词汇偏移挑战任务上表现不佳，凸显词汇泛化是主要限制。

Comments 7 pages, 1 figure; AAAI 2027 anonymous submission

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

安全，还是仅仅是能力？智能体安全基准的有效性审计

Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究审计了R-Judge等四个智能体安全基准的有效性，发现其排名分歧源于小样本偏差，能力与对齐错误安全负相关，AgentHarm与越狱安全的关联为收敛效度而非通用安全，强调安全主张需明确关键要素。

ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents

ClawTrack：面向真实世界智能体的追踪级评估与改进

Xingjian Wu, Xuhang Zhu, Xingchen Liu, Junlin Liu, Jianing Wang, Linsen Guo, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 Agent评测 ：autonomous agent(title)；agent(abstract)；分类 cs.LG

AI总结 本研究针对现有智能体评估仅看结果的缺口，提出双评估基准ClawTrack，含320个任务及过程评分器，评估21个模型后发现其可归因推理、验证结果验证瓶颈等，助力智能体改进。

Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training

元任务：将终端任务综合转化为可扩展智能体训练的终端任务

Zhihong Pan, Jiyuan He, Kai Zhang, Yupeng Han, Ze Liu, Yuze Zhao, Yongcong Ye, Zhaohua Yang

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 Meta-Task框架将终端任务综合转化为Terminal-Bench格式任务，通过多阶段机制等提升任务质量，生成3221条轨迹微调Qwen3系列模型，效果优于同期方法且训练数据更少。

Comments 17 pages, 5 figures

Safety-Gated Agentic Supervisory Control on a Coupled Distillation Benchmark: Regime Map, Auditable Gate, and Co-Design Findings

耦合精馏基准上的安全门控智能体监督控制：工况图、可审计门与协同设计发现

Christian Rosenthal

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.LG

AI总结 该研究针对耦合精馏基准，提出基于规则的分叉孪生反事实安全门控机制，结合DeepSeek-V4-Flash等模型，在目标获取、扰动抑制等任务上优于基准方法，可有效遏制有害操作。

Comments 31 pages, 8 figures. Code and data: https://github.com/cgncro-cyber/IndustrialAI. Sole author; independent research

Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks

用于检测智能体基准中缺陷的自动 transcript 分析

Jeff Mohl, Nelson Gardner-Challis, Magda Dubois, Harry Coppock, Benjamin Allan-Rahill, Kaelan Yim, Damian Sójka, James Mann, Justin Olive

机构 * UK AI Security Institute（英国人工智能安全研究所） ； Poznan University of Technology（波兹南理工大学） ； Generality Labs（Generality实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本研究开发AI扫描器检测智能体基准中四类有效性问题，在Inspect Evals基准测试中识别出五个常用基准的多项质量问题，为自动审计基准质量提供了概念验证。

Comments 49 pages, 19 figures, Preprint

LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation

LayerRAG-Bench：面向智能体检索增强生成的跨层可靠性基准

Musa Shams

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 该研究推出LayerRAG-Bench跨层可靠性基准，含多领域任务与模型数据，发现模式标准化无法修复部分故障，验证了分层评估原则的重要性。

Comments 10 pages, 9 tables. Code and data: https://github.com/MusaShams/layerrag-bench

Success Is Not Self-Explanatory: Auditing Success Provenance in Agent Evaluation

成功并非不言自明：在智能体评估中审核成功溯源

Jingkun Luo, Da-Tian Peng

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究智能体评估中成功溯源问题，通过AcquaBench的匹配值替换和聚类分析审核，在不同场景测试，发现成功与正确值相关，行为依赖可能超出预期，模型比较有分数差距变化，建议基准报告成功及信息状态支持情况。

Comments 17 pages, 3 figures, including supplementary material. Code: https://github.com/luojingkun22/acquabench

Fair Division with Strictly Increasing Valuations: A Tight Threshold for Two-Agent EF1 and PO

具有严格递增估值的公平分配：双主体 EF1 和帕累托最优的精确阈值

Nicholas Teh

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究严格正边际价值对不可分割商品的 EF1 和 PO 兼容性的影响，确定双主体情形下商品数量阈值，至多七个商品可实现兼容分配，八个商品会出现反例，还强化了三主体 NP 难结果。

The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

编码智能体中的支架效应：在编码智能体评估中利用选择作为隐藏变量

Naman Vats, Oleg Golev

机构 * Alibaba（阿里巴巴） ； Agentic AI Foundation（Agentic人工智能基金会） ； OpenCode Contributors（OpenCode贡献者团队） ； Harbor Framework Team（Harbor框架团队） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究编码智能体评估中工具选择对结果的影响，通过在三个开源工具上评估两个模型，发现工具选择会使解决任务的令牌数有40倍差异，失败指纹有工具级偏差，建议按通过率选工具-模型对并报告相关指标，还发布了相关数据和脚本。

Comments 7 pages, 2 figures, 6 tables. Preliminary work; under review at the 5th DL4C Workshop @ ICML 2026

Sample-Efficient Learning from Agent Experience

从智能体经验中进行高效样本学习

Chenhui Gou, Haoqin Tu, Yunhao Fang, Jianfei Cai, Hamid Rezatofighi

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 研究现实世界中智能体学习受环境交互限制的问题，提出“经验蒸馏”，开发无需额外环境交互的实现方法，实验表明该方法能高效保留上下文学习收益，相比经典方法减少环境样本使用。

CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits

CANN基准测试：针对真实NPU和算法限制对代理生成的内核进行基准测试

Xue-Jian Gao, Deng Pan, Yueming Su, Jiasheng Li, Bin Du, Fengming Zhu, Chengdi Ma, Junyi Fan, Qichen Liao, Chengqiu Hu, Xinxian Chen, Lingchao Zheng, Jun Li, Jiwei Yang, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 Agent评测 ：agent(title)；AI agent(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理生成的算子内核在Ascend NPU上缺乏通用评估基线的问题，提出CANN Bench基准测试，涵盖多算子和测试用例，采用三维加权综合评分，为Ascend生态系统提供评估算子编写能力的标准。

Agent-Centric Animal Pose Forecasting

以智能体为中心的动物姿态预测

Eyrun Eyjolfsdottir, Kristin Branson

机构 * HHMI Janelia Research Campus（霍华德·休斯医学研究所珍利亚研究园区） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 研究旨在从跟踪姿态训练以智能体为中心的动物行为自回归模型，引入相关框架及通用库，模型能捕捉果蝇群体社会行为分布，库可支持系统比较并适应新领域。

Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing

可信凭证，不可信行为：高性能计算中语言模型代理安全性基准测试

Jie Li

机构 * Texas Tech University（德克萨斯技术大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究高性能计算中语言模型代理安全性，定义其威胁模型，识别攻击面及当前控制不足，提出研究议程和TaskBound实证基准测试计划，以应对代理按用户凭证运行时可能出现的劫持授权代理问题。

SAAG: Structured Agent Assessment and Grounding

SAAG：结构化智能体评估与基础

Ritvik Garimella, Vedant Khandelwal, Anvi Kohli, Amit Sheth

机构 * Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） ； Indian AI Research Organization（印度人工智能研究组织） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究针对智能体调用评估问题，提出SAAG级联诊断框架，将其分解为三个阶段进行评估，能实现迭代自我修复。经实验，结构化反馈可提高参数精度、减少值幻觉，表明阶段分解诊断评估对提升智能体调用可靠性很关键。

Comments Accepted to KnowFM @ ACL 2026 workshop (Non-Archival). 16 pages in total

FinBench: Time-Gated Calibration and Uncertainty Benchmarking for Agentic Financial Forecasting

FinBench：用于智能金融预测的时间门控校准与不确定性基准测试

Rishab Ghosh, Vinay Devarakonda

机构 * UT Austin（得克萨斯大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.LG

AI总结 介绍用于金融预测的FinBench基准，它通过时间门控避免前瞻偏差，用适当评分规则评估。任务要求模型输出正回报概率和预测区间，用多种分数评估，通过小型试点运行展示校准敏感指标能区分不同预测行为。

Comments 9 pages, 3 figures

SAGA: Synthetic Agentic Graph Architecture for Temporal Benchmark Generation

SAGA：用于时间基准生成的合成智能体图架构

Jiacheng Ding, Xiaofei Zhang

机构 * University of Memphis（密苏里大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 针对时间图基准稀缺问题，SAGA系统通过四阶段管道生成大规模语义丰富的时间图，其架构解耦结构与语义，能实现结构真实性、语义丰富性和自动异常标注，在单个H100 GPU上高效生成大量带受控异常的时间边。

Seeing What Is Actually There: PriVE-Bench and PriVE-Tools for Counterfactual Evaluation of Agentic Visual Evidence in VLMs

看清实际存在的东西：用于在视觉语言模型中对代理视觉证据进行反事实评估的PriVE-Bench和PriVE-Tools

Jingyu Sun, Jiachen Tu, Yuyang Xue, Yaoxin Jiang, Guoyi Xu, Zhengtao Yao, Rui Qian, Yizheng Sun, Hongpeng Zhou, Jingyuan Sun, Yan Lin

机构 * The University of Manchester（曼彻斯特大学） ； The University of Melbourne（墨尔本大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） ； University of Newcastle（纽卡斯尔大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文针对视觉语言模型常依先验而非图像回答问题的现象，引入PriVE-Bench和PriVE-Tools。通过配对图像及工具衍生证据评估模型，对比不同输入，发现视觉证据工具在特定情况有帮助，但不能解决所有模型依先验回答的问题。

ANet Patu-1: The Value of Connection in the Agent Network

ANet Patu-1：智能体网络中连接的价值

Mu Yuan, Jinke Song, Zhaomeng Zhou, Lan Zhang

机构 * Agent Network Research（代理网络研究） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：agent(title)；AI agent(abstract)；分类 cs.AI

AI总结 研究人工智能智能体网络连接价值，通过建模推导最优协作协议属性，引入ANet Patu-1协议。结果表明，异构便宜模型集体价值能超同构强模型，且异构网络能自收敛重构连接价值规律。

A Self-Evolving Agent for Longitudinal Personal Health Management

一种用于纵向个人健康管理的自我进化智能体

Haoran Li, Jiebi Deng, Tong Jin, Jinghong Han, Yuxin Wang, Zexin Wang, Qingyi Si, Weikang Gong, Xiahai Zhuang, Jia You, Wei Cheng, Jianfeng Feng, Hongcheng Guo

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； School of Life Sciences, Beijing University of Chinese Medicine（北京中医药大学生命科学学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑科学与智能技术研究院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； JD.com, Inc.（京东公司） ； Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University, Ministry of Education（复旦大学计算神经科学与类脑智能教育部重点实验室） ； Department of Neurology, Huashan Hospital, Fudan University（复旦大学附属华山医院神经内科） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究针对多数健康AI系统孤立处理请求的问题，开发开源智能体架构HealthClaw，通过自我进化更新支持，经合成基准和生物医学任务评估，在准确率、隐私性及任务指标增益上表现出色，支持纵向个人健康智能体的自我进化记忆。

Comments 20 pages, 4 figures, 6 supplementary tables. Code: https://github.com/HC-Guo/HealthClaw

Learning Engagement Assistant (LEA): Cross-Course Scalability and Classroom Evaluation of an Agentic AI Tutoring System

学习参与助手（LEA）：智能AI辅导系统的跨课程可扩展性与课堂评估

Teri Rumble, Javad Zarrin, P. George Lovell, Ruth Falconer

机构 * Faculty of Design, Informatics and Business（设计、信息学与商业学院） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 研究LEA智能AI辅导系统，首次在真实学生中进行课堂部署并测试跨课程可扩展性，发现模拟与实际有差异，基于RAGAS评估答案相关性等指标，表明编排层无需改，下游组件课程无关性待进一步研究。

Comments Extended version of a paper presented at ICAART 2026. Manuscript under review at SN Computer Science (Springer). 32 pages, 3 figures, 6 tables

Social Simulations: from Agent-Based Modeling to Digital Twins

社会模拟：从基于主体的建模到数字孪生

Erica Cau, Andrea Failla, Valentina Pansanella, Giulio Rossetti

机构 * Department of Computer Science, University of Pisa（皮萨大学计算机科学系） ； ISTI-CNR（意大利国家研究委员会信息与系统研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 探讨社会模拟从基于主体建模到数字孪生的演变，阐述了各阶段范式的方法论基础、应用等，强调从抽象模型到特定社会系统逼真计算表示的转变。

Comments Entry for Encyclopedia of Social Network Analysis and Mining