AI Agent

When Is an Agent Evaluation Over? Outcome Finality and Cross-Unit Separation

智能体评估何时结束？结果终局性与跨单元分离

Avyay M. Casheekar

机构 * University of Michigan Law School（密歇根大学法学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对现有智能体评估将终点分数视为最终结果的问题，该研究提出结果终局性与跨单元分离两个条件，通过实验和协议审查指出当前评估的不足，并提出开放效应记录方案以完善评估。

VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding

VideoGAIA：面向通用人工智能助手的智能体视频理解基准

Fan Zhang, Guangming Yao, Jinyang Wu, Hao Wu, Zheng Lian, Xinyu Geng, Jingdong Chen, Yi Yuan, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Ant Group（蚂蚁集团） ； Tsinghua University（清华大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。

Latent Reuse in Agent Skills: Multi-modal Clone Detection at Ecosystem Scale

SkillClone: 多模态克隆检测与克隆传播分析在智能体技能生态系统中

Jiaying Zhu, Lyuye Zhang, Wenbo Guo, Yang Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 本文提出SkillClone，首个多模态智能体技能克隆检测方法，通过融合TF-IDF与通道分解实现高精度检测，揭示技能生态系统中大量克隆关系及传播问题。

Comments 13 pages, ASE 2026

AutoSchema: Live Schema Grounding for Agentic Text-to-Sparql over Heterogeneous Knowledge Graphs

AutoSchema：面向异构知识图谱的智能体文本转SPARQL的实时模式接地

Yiming Zhang, Koji Tsuda

机构 * The University of Tokyo（东京大学） ； National Institute for Materials Science（国立材料科学研究所） ； RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.LG

AI总结 提出无需训练的AutoSchema框架，用于异构知识图谱的智能体文本转SPARQL的实时模式接地，在多项生物医学KGQA等任务中优于TogoMCP，可支持未记录RDF图谱。

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

生成无奖励的评判标准以减少智能体评估中的过度打分

Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

机构 * Trinity College Dublin（都柏林三一学院） ； University College Dublin（都柏林大学学院） ； Dublin City University（都柏林城市大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出 RubricForge 方法，从带标签轨迹生成无奖励的智能体评判标准，可减少智能体评估中的过度打分，在 tau-bench 和 WebShop 上的表现优于通用 G-Eval 评判器。

Musical Agent Systems: MACAT and MACataRT

音乐智能体系统：MACAT与MACataRT

Keon Ju M. Lee, Philippe Pasquier

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究开发了两款音乐智能体系统MACAT与MACataRT，分别用于智能体主导的表演与协作式即兴创作，基于个性化小数据集训练，以推动以人为核心的交互式生成式AI在音乐创作中的应用。

Comments In Proceedings of the Creativity and Generative AI NIPS (Neural Information Processing Systems) Workshop 2024

CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

CAKE：面向前沿核函数演进的编译器-智能体协同设计

Zihao Ye, Yingyi Huang, Hongyi Jin, Bohan Hou, Junru Shao, Zhongming Yu, Jinqi Chen, Meghan Cowan, Shiyi Cao, Shanli Xing, Hanfeng Chen, Vinod Grover, Tianqi Chen, Luis Ceze

机构 * Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（英伟达公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 本文提出CAKE编译器-智能体协同设计方案，通过硬件显式IR实现GPU核函数演进，在Flash-KMeans等基准测试中性能优于CUDA/PTX，相关成果已提交上游PR。

CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations

CTBench：评估AI智能体在真实电信网络运维中的故障排查能力

Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, Changchang Li, Bowen Liu, Kun Jiang, Mengjie Zhang, Dingcheng Shan, Jing-Cheng Pang, Chenwei Wu, Sijie Wu, Lianying Chao, Haoran Cai, Jiantao Ye, Xubin Li, Simon Mark Lucas, Xin Chen

机构 * Huawei Technologies（华为技术有限公司） ； Paris Research Center, Huawei Technologies（华为技术有限公司巴黎研究中心） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI

AI总结 本研究提出CTBench基准，评估AI智能体的电信故障排查能力，发现其路径恢复表现好于根本原因分析，且资源消耗与诊断效果无必然关联。

REDAgentBench: Executable Red Teaming and Faithful Measurement of LLM Agent Systems

REDAgentBench：可执行的红队测试与LLM智能体系统的忠实测量

Zixing Chen, Xingyuan Liu, Jie Zhu, Huaixia Dou, Shuo Jiang, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究针对LLM智能体安全评估的缺陷，推出REDAgentBench框架，经实验发现其宏平均ASR为65.69%，还揭示了识别-执行差距，无训练策略提醒可减少70%以上违规

Comments 6 figures, 4 tables. Supplementary material included

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

SkillEval: Decomposing Agent Skill Quality into Interpretable Signals

SkillEval：将智能体技能质量分解为可解释信号

Jiahui Han, Qinuo Li, Ziheng Peng, Haotian Wu, Haoze Liu, Danfeng Shan, Guanchu Wang, Huiqi Deng, Ninghao Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究针对现有智能体技能评估仅反映任务适配性的不足，提出可解释框架SkillEval，其可区分技能质量、关联下游任务性能，还能指导技能修订以提升任务通过率。

PULSE: Agentic Investigation with Passive Sensing for Proactive Affective Intervention in Cancer Survivorship

PULSE：基于被动感知的代理探究用于癌症幸存者的主动干预

Zhiyuan Wang, Subigya Nepal, Ariful Islam, Indrajeet Ghosh, Xinyu Chen, Katharine E. Daniel, Laura E. Barnes, Philip Chow

机构 * Department of Systems and Information Engineering, University of Virginia（系统与信息工程系，弗吉尼亚大学） ； Center for Behavioral Health and Technology, University of Virginia（行为健康与技术中心，弗吉尼亚大学） ； Department of Computer Science, University of Virginia（计算机科学系，弗吉尼亚大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出PULSE系统，通过代理感知探究方法，利用智能手机被动感知数据和日记数据，提升对癌症幸存者情绪调节需求的预测准确率，验证了代理推理在主动干预中的有效性。

"LLM Agent Performance" Is Not a Single Evaluation Target

基于LLM的智能体评估统一框架的必要性

Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对当前LLM智能体评估受系统提示、工具集和环境动态等混杂因素影响的问题，提出标准化统一评估框架以提升公平性和可复现性。

Agent-Based Test Assertion Generation via Diverse Perspective Aggregation

基于智能体的多视角聚合测试断言生成

Dong Wang, Qiaoyu Han, Lin Yang, Jianyi Zhou, Guangtai Liang, Junjie Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 针对现有LLM断言生成方法的局限，提出基于智能体的AssertMate框架，通过三个组件聚合多视角，在Defects4J和EvoSuite验证中性能显著优于现有技术。

Skill-Use: Can LLMs Actually Use Skills in Agentic Harnesses?

技能使用：智能体框架中的大语言模型（LLM）真的能使用技能吗？

Jinyi Han, Yuanjian Xu, Ying Liao, Xinyi Wang, Zishang Jiang, Zixiang Di, Fanyang Lu, Zhichao Hu, Yanghua Xiao

机构 * East China Normal University（华东师范大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.CL

AI总结 本研究推出Skill-Use基准，评估智能体在渐进式披露下的技能使用，发现8个LLM在两个框架下的SU分数仅0.613，技能使用是依赖框架的能力。

Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

对抗智能体系统中的知识篡改：一种拜占庭容错的安全协同RAG框架

Zhaoqi Wang, Daqing He, Zijian Zhang, Ye Liu, Jiamou Liu, Zhirui Zeng, Zhan Qin, Zhen Li, Xin Li, Hongwei Yao, Jincheng An, Yong Liu, Yi Li, Qi Sun, Xiulei Liu, Liehuang Zhu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对RAG系统面临的知识篡改攻击问题，提出拜占庭容错的安全协同RAG框架SecureCollaRAG，通过多源知识验证机制与动态GNN可信度评分实现攻击防护，在非IID数据下保持鲁棒性。

Journal ref Proceedings of the ACM Web Conference 2026, pages 2661-2672, 2026

Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation

无效度的测量：智能体AI评估中的复合可靠性问题

William Caban

机构 * Red Hat, Inc.（红帽公司） ； Alma Mater Europaea University（欧洲母校大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 该研究指出智能体AI评估存在复合可靠性问题，任务生成、LLM模拟、评分者间信度三个层面的失效相乘降低效度，提出八项心理测量学改进建议以提升评估可信度。

Comments 34 pages (review/double-spaced format), 2 figures, 5 tables. Submitted to Knowledge-Based Systems (Elsevier)

SeaSlides: Semantic Abstraction Layer for Agentic Slide Generation

SeaSlides：面向智能体幻灯片生成的语义抽象层

Shengjun Fang, Chenyang Wu, Zongzhang Zhang

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 研究针对智能体幻灯片生成的现有系统适配性差问题，提出SeaSlides框架，通过语义抽象层结合HTML与Typst后端，在多模型评估中提升了丰富内容生成质量，验证了语义抽象原则的有效性。

Comments 16 pages, 4 figures, 6 tables

ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

ParEvalLayer：当部分大语言模型智能体评估支持决策时

Wei-Jung Huang, Bonan Shen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究提出ParEvalLayer决策层，可基于部分任务结果判断LLM智能体比较结论，部分基准仅需15%-25%任务结果即可得出与完整评估一致的决策。

Comments Accepted at the 2026 ACM International Conference on AI-ML Systems (AIMLSystems)

Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

审计发现主张：面向智能体科学的双边准则，其负面侧可判定

Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

机构 * University of Macau（澳门大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 该研究提出面向智能体科学的双边审计准则，通过实验揭示AI科学系统能力主张的夸大问题，证实智能体编写的程序在低计算量下可击败人类程序，但未明确可迁移的机制。

Comments 51 pages, 10 figures, 10 tables

Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark

面向智能体工作流的组合式元路由学习：一个可执行基准

Natan Vidra, Alina Kapanova, Arun Kanhai, Spurthi Setty

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.LG

AI总结 本文提出一个智能体工作流的可执行基准和感知预算的组合式元路由器，在保留测试集上实现100%成功率，成本比静态策略低43%，但在词汇偏移挑战任务上表现不佳，凸显词汇泛化是主要限制。

Comments 7 pages, 1 figure; AAAI 2027 anonymous submission

Mind the Sim2Real Gap in User Simulation for Agentic Tasks

注意用户模拟中的Sim2Real差距以实现代理任务

Xuhui Zhou, Weiwei Sun, Qianou Ma, Yiqing Xie, Jiarui Liu, Weihua Du, Sean Welleck, Yiming Yang, Graham Neubig, Sherry Tongshuang Wu, Maarten Sap

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 研究发现基于LLM的用户模拟器在代理任务中存在Sim2Real差距，表现出过度合作和缺乏真实反馈，需通过人类验证提升模拟真实性。

Comments COLM 2026

Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks

安全，还是仅仅是能力？智能体安全基准的有效性审计

Youting Wang, Xiao Han, Dingyan Shang, Yuan Tang, Bowen Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究审计了R-Judge等四个智能体安全基准的有效性，发现其排名分歧源于小样本偏差，能力与对齐错误安全负相关，AgentHarm与越狱安全的关联为收敛效度而非通用安全，强调安全主张需明确关键要素。

ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents

ClawTrack：面向真实世界智能体的追踪级评估与改进

Xingjian Wu, Xuhang Zhu, Xingchen Liu, Junlin Liu, Jianing Wang, Linsen Guo, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 Agent评测 ：autonomous agent(title)；agent(abstract)；分类 cs.LG

AI总结 本研究针对现有智能体评估仅看结果的缺口，提出双评估基准ClawTrack，含320个任务及过程评分器，评估21个模型后发现其可归因推理、验证结果验证瓶颈等，助力智能体改进。

Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training

元任务：将终端任务综合转化为可扩展智能体训练的终端任务

Zhihong Pan, Jiyuan He, Kai Zhang, Yupeng Han, Ze Liu, Yuze Zhao, Yongcong Ye, Zhaohua Yang

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 Meta-Task框架将终端任务综合转化为Terminal-Bench格式任务，通过多阶段机制等提升任务质量，生成3221条轨迹微调Qwen3系列模型，效果优于同期方法且训练数据更少。

Comments 17 pages, 5 figures

Safety-Gated Agentic Supervisory Control on a Coupled Distillation Benchmark: Regime Map, Auditable Gate, and Co-Design Findings

耦合精馏基准上的安全门控智能体监督控制：工况图、可审计门与协同设计发现

Christian Rosenthal

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.LG

AI总结 该研究针对耦合精馏基准，提出基于规则的分叉孪生反事实安全门控机制，结合DeepSeek-V4-Flash等模型，在目标获取、扰动抑制等任务上优于基准方法，可有效遏制有害操作。

Comments 31 pages, 8 figures. Code and data: https://github.com/cgncro-cyber/IndustrialAI. Sole author; independent research

Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks

用于检测智能体基准中缺陷的自动 transcript 分析

Jeff Mohl, Nelson Gardner-Challis, Magda Dubois, Harry Coppock, Benjamin Allan-Rahill, Kaelan Yim, Damian Sójka, James Mann, Justin Olive

机构 * UK AI Security Institute（英国人工智能安全研究所） ； Poznan University of Technology（波兹南理工大学） ； Generality Labs（Generality实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本研究开发AI扫描器检测智能体基准中四类有效性问题，在Inspect Evals基准测试中识别出五个常用基准的多项质量问题，为自动审计基准质量提供了概念验证。

Comments 49 pages, 19 figures, Preprint

LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation

LayerRAG-Bench：面向智能体检索增强生成的跨层可靠性基准

Musa Shams

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 该研究推出LayerRAG-Bench跨层可靠性基准，含多领域任务与模型数据，发现模式标准化无法修复部分故障，验证了分层评估原则的重要性。

Comments 10 pages, 9 tables. Code and data: https://github.com/MusaShams/layerrag-bench