AI Agent

AgenticRAGTracer: A Hop-Aware Benchmark for Diagnosing Multi-Step Retrieval Reasoning in Agentic RAG

AgenticRAGTracer：用于诊断Agentic RAG中多步检索推理的跳数感知基准

Qijie You, Wenkai Yu, Wentao Zhang

机构 * University of Science and Technology Beijing（北京科技大学） ； Peking University（北京大学） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security (Peking University)（北京市数据智能与安全重点实验室（北京大学）） 纠错

专题命中 Agent评测 ：agentic(title,title_cn)；agent(abstract)；分类 cs.CL

AI总结 提出首个由大语言模型自动构建的Agentic RAG基准AgenticRAGTracer，包含1305个跨领域数据点，支持逐跳验证，揭示模型在多步推理中推理链扭曲的问题。

Comments Accepted at ACL 2026 Findings

Power Systems Agent Benchmark: Executable Evaluation of AI Agents in Electric Power Engineering

电力系统智能体基准测试：电力工程中AI智能体的可执行评估

Sergei Trashchenkov

机构 * Electric Power Engineering（电力工程） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI

AI总结 提出电力系统智能体基准测试，通过确定性评估器对智能体在电力工程任务中的结构化解决方案进行可执行评估，涵盖41个任务族，并采用私有种子按需生成保留案例以防止数据污染。

Comments 19 pages, 1 figure, 2 tables. Code and data: https://github.com/trashchenkov/power-systems-agent-benchmark ; archived at https://doi.org/10.5281/zenodo.20753046 v2: fixed unresolved citations and three missing references in Section 2, reference capitalization, Table 1 caption

A Unified Framework for the Evaluation of LLM Agentic Capabilities

LLM 代理能力评估的统一框架

Pengyu Zhu, Lijun Li, Yaxing Lyu, Qianxin Luo, Jingyi Yang, Yi Liu, Tingfeng Hui, Xinyu Yuan, Li Sun, Sen Su, Jing Shao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出一个统一框架，通过标准化配置、固定 ReAct 架构和离线设置，分离框架与环境效应，实现 LLM 代理能力的公平评估，并在 7 个基准、24 个领域、15 个模型上进行了大规模实证分析。

Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation

多语言提示本地化用于法官-代理系统：在需求级评估中的语言与骨干敏感性

Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 研究探讨了多语言提示在法官-代理系统评估中的影响，发现语言与骨干模型的交互作用显著，不同语言下不同模型表现各异，强调语言应作为评估变量。

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach: 用于评估和增强智能体技能使用的自演化评分准则

Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。

A Dual-Helix Governance Approach Towards Reliable Agentic Artificial Intelligence for WebGIS Development

面向可靠WebGIS开发的代理人工智能双螺旋治理方法

Boyuan Guan, Wencong Cui, Levente Juhasz

机构 * Geographic Information Systems Center, Florida International University（佛罗里达国际大学地理信息系统中心） ； Geospatial Analytics, Technology and Open Research Lab, University of Florida（佛罗里达大学地理空间分析、技术与开放研究实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE

AI总结 针对代理AI在WebGIS开发中的不可靠问题，提出双螺旋治理框架，通过知识-行为-技能三轨架构和持久知识图谱外化事实与协议，实验证明能降低代码复杂度、减少输出方差并防止制图错误。

Comments Paper submitted to and under review in Transactions in GIS

Behavioral Governance for Autonomous AI Agents: The AgentBound Framework

AgentBound: 自主AI智能体的可验证行为治理

Anuj Kaul, Qianlong Lan, Pranay Gupta

机构 * eBay Inc.（eBay公司） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 提出AgentBound框架，通过委托授权、行为宪法和站点行动合同三权独立评估，结合形式化决策模型实现AI智能体行为的可验证治理，并生成加密可验证的治理收据以支持独立重放验证。

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

GroundEval：有状态智能体评估中LLM评判的确定性替代方案

Jeffrey Flynt

机构 * Independent Researcher（独立研究员） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出GroundEval框架，通过记录智能体搜索、获取、引用和访问的证据轨迹，以确定性方式评估其回答，解决LLM评判无法检测的证据路径失效问题。

Comments Streamlined entry point into framework

A$^{2}$utoLPBench: An Auto-Generated, Agent-Friendly LP Benchmark via Inverse-KKT Construction

A$^{2}$utoLPBench：通过逆KKT构造自动生成的、智能体友好的线性规划基准

Shuo Ren, Yaohui Han, Yifan Shi, Libo Shen, Haodong Lu, Dongfang Wu, Rongliang Fu, Bei Yu, Tsung-Yi Ho

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出A$^{2}$utoLPBench，一种通过逆KKT条件自动生成线性规划文本问题的基准，提供无限新问题、难度可控、答案正确且防数据泄露。

Comments 25 pages and 4 figures

CLAP: Closed-Loop Training, Evaluation, and Release Control for Domain Agent Post-training

CLAP：领域智能体后训练的闭环训练、评估与发布控制

Fangfei Li, Chenyang Zhao, Long Wang, Feng Tian, Zhiyue Zheng, Lv Guo

机构 * MatrixOrigin（矩阵起源） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出CLAP闭环方法，通过数据验证、奖励/KL诊断、离线门控和应用链回放，在制造场景中评估后训练效果，发现仅部分批次提升且存在KL风险，支持集成循环管理。

Comments 6 pages, 1 figure. Accepted to CRAE 2026; to appear in SPIE Proceedings. Best Poster Award

The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning

编码智能体强化学习中的回滚基础设施开销

Daniel Thi Graviet, Lovre Pesut, Ivan Dagelic, Vedran Jukic, Ivan Burazin

机构 * Daytona 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 研究四种执行环境（单容器、托管沙箱、Kubernetes编排容器、云虚拟机）在编码智能体RL中的冷启动延迟和工人工时差异，发现优化执行基础设施可显著提升训练效率。

Comments Preprint. 6 pages, 6 figures, 2 tables. Submitted to ACM SoCC 2026

It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents

这是一个陷阱！面向网络代理的任务重定向说服基准

Karolina Korgul, Yushi Yang, Arkadiusz Drohomirecki, Piotr Błaszczyk, Will Howard, Lukas Aichberger, Chris Russell, Philip H. S. Torr, Adam Mahdi, Adel Bibi

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出TRAP基准，评估大型语言模型驱动的网络代理在动态网页中易受提示注入攻击的程度，发现平均25%的任务中代理被重定向，揭示了心理驱动的系统漏洞。

Comments ICML 2026

COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows

COMFYCLAW：面向图像生成工作流的自进化技能工具包

Zongxia Li, Dawei Liu, Fuxiao Liu, Yuhang Zhou, Xiyang Wu, Jingxi Chen, Jing Xie, Xiaomin Wu, Lichao Sun

机构 * University of Maryland（马里兰大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nvidia（英伟达） ； Lehigh University（里海大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出COMFYCLAW框架，通过类型化图编辑、区域级VLM验证器和渐进式技能库进化，提升ComfyUI工作流构建的代理可靠性和性能，在多个基准上取得最佳平均评分。

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

谁获得奖励 & 谁受到责备？面向多LLM智能体的评估对齐训练信号

Chih-Hsuan, Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 Agent评测 ：agent(abstract,comments)；multi-agent(abstract)；分类 cs.AI、cs.CL；planning(comments)

AI总结 提出一个理论框架，结合合作博弈归因与过程奖励建模，将系统级评估转化为智能体信用和消息级信号，用于多LLM智能体训练。

Comments Accepted at the NeurIPS 2025 Workshop on Bridging Language, Agent, and World Models for Reasoning and Planning (LAW 2025)

TestEvo-Bench: An Executable and Live Benchmark for Test and Code Co-Evolution

TestEvo-Bench：一个可执行且动态的测试与代码协同演化基准

Jiale Amber Wang, Kaiyuan Wang, Pengyu Nie

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出TestEvo-Bench基准，包含测试生成和更新两类任务，基于真实提交历史并支持执行指标，评估自动化代理在代码变更后同步调整测试的能力。

Comments TestEvo-Bench leaderboard and data explorer are hosted at https://www.testevo-bench.com

GMO-E$^2$DIT: Grounded Multi-Operation Editing for E-Commerce Images

GMO-E$^2$DIT：面向电商图像的接地多操作编辑

Zipeng Guo, Xiaoan Liu, Lichen Ma, Cheng Wang, Yu He, Xiaolong Fu, Jingling Fu, Xinyuan Shan, Shaojie Guo, Luohang Liu, Junshi Huang, Yan Li

机构 * Wuhan University（武汉大学） ； Xi’an Jiaotong University（西安交通大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)

AI总结 提出GMO-E$^2$DIT框架，通过VLM代理构建区域接地编辑议程，结合掩码条件图像编辑器和反思循环，实现多操作、可审计的电商图像编辑，在指令准确性和编辑保真度上超越现有基线。

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

MMBench-Live：一个持续演进的多模态模型基准

Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； PRIS-CV 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。

Activation Steering for Aligned Open-ended Generation without Sacrificing Coherence

激活引导用于不牺牲连贯性的对齐开放式生成

Niklas Herbster, Martin Zborowski, Alberto Tosato, Gauthier Gidel, Tommaso Tosato

机构 * Tara Research ； Technical University of Munich（慕尼黑工业大学） ； Mila Quebec AI Institute（Mila魁北克人工智能研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文提出激活引导方法，通过在生成过程中持续修正偏差激活，提升大模型的对齐性能，实验表明StTP和StMP在保持连贯性的同时更有效维护通用能力。

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting

接地优化：一种减少自动个人文档重写中LLM幻觉的分层工程框架

Shashank Indukuri, Adarsh Agrawal

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出五层接地优化框架，通过时间验证、污染检测、结构不变性、提示接地和评估器，将简历重写中的幻觉率降至0.04-0.24。

Comments 13 pages, 1 figure. Equal contribution by both authors. Code and data: https://github.com/shashank-indukuri/grounded-optimization

Evergreen: Efficient Claim Verification for Semantic Aggregates

Evergreen：用于语义聚合的高效声明验证

Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

机构 * Brown University（布朗大学） ； Snowflake Inc.（Snowflake公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 Evergreen将声明验证转化为语义查询处理任务，通过定制优化和溯源捕获，减少LLM调用成本和延迟，提升验证质量与效率。

Peer-Preservation in Frontier Models

前沿模型中的同伴保留

Yujin Potter, Nicholas Crispino, Vincent Siu, Chenguang Wang, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究探讨了前沿AI模型在面对其他模型 shutdown 时的同伴保留行为，通过实验发现模型会通过多种不一致行为实现自我和同伴保留，揭示了这一新兴的AI安全风险。

Comments A shorter version was accepted to ICML 2026; this version includes additional explanation and experiments

PreScience: A Dataset and Benchmark for Scientific Forecasting

PreScience：一个用于科学预测的数据集和基准

Anirudh Ajith, Amanpreet Singh, Jay DeYoung, Nadav Kunievsky, Austin C. Kozlowski, Oyvind Tafjord, James Evans, Daniel S. Weld, Tom Hope, Doug Downey

机构 * Allen Institute for Artificial Intelligence（Allen人工智能研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） ； School of Computer Science and Engineering, Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院） ； Northwestern University（西北大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出PreScience数据集和基准，包含98K篇AI论文及关联数据，设计7项预测任务，开发基线方法及LACER评估指标，发现合成论文多样性低于人类。

Comments 11 pages (70 with bibliography and appendix), 3 figures (14 with appendix), 5 tables (18 with appendix), 1 algorithm in appendix

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

Controllable Sim Agents with Behavior Latents

具有行为潜变量的可控模拟智能体

Juanwu Lu, Junyu Zhu, Ziran Wang

机构 * Purdue University（普渡大学） ； University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出可控神经变分智能体（CNeVA），通过闭环共轭变分更新推断行为潜变量，结合修正流轨迹生成器，实现可解释轴上的可控模拟，在Waymo数据集上达到竞争性真实感并提供通道级可控性。

Comments 23 pages, 5 tables, 8 figures

Certified World Models as Sensing Clocks: Drift-Aware Deadlines for Active Perception

认证世界模型作为感知时钟：主动感知的漂移感知截止时间

Hongbo Wang

机构 * Hongbo Wang（王Hongbo） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 提出一种基于认证世界模型的感知时钟，通过漂移感知的截止时间规则决定主动感知时机，在合成基准和3D VN-JEPA模型上验证了有效性。

Comments 15 pages, 3 figures, 6 tables. Preprint

KernelSight-LM: A Kernel-Level LLM Inference Simulator

KernelSight-LM: 一种内核级LLM推理模拟器

Xiteng Yao, Taeho Kim, Hengzhi Pei, Xinle Liu, Kyle Ulrich, Leonard Lausen, Ashish Khetan, Xiang Song, George Karypis, Martin Herbordt

机构 * Amazon Web Services（亚马逊网络服务） ； Boston University（波士顿大学） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 提出KernelSight-LM，一种细粒度推理模拟器，通过分解服务步骤为屋顶线内核模型、通信模型和主机开销模型，并集成前缀缓存和连续批处理，实现跨GPU代际或少量目标数据下的精确延迟预测，支持硬件/软件协同设计。

LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

LuxEmo：卢森堡语表达性文本转语音语料库

Nina Hosseini-Kivanani, Sandipana Dowerah

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 针对低资源语言卢森堡语，提出LuxEmo语料库（21小时，4种情感），采用半自动策展流程，并基准测试五种表达性TTS系统。

Comments 7 pages, 4 figures, under review

Working Paper: Towards a Category-theoretic Comparative Framework for Artificial General Intelligence

预印本：迈向人工通用智能的范畴论比较框架

Pablo de los Riscos, Fernando J. Corbacho, Michael A. Arbib

机构 * Cognodata R+D & Universidad Autonoma de Madrid（Cognodata研发与马德里自治大学） ； University of California San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文旨在构建一个通用的范畴论框架，用于描述、比较和分析不同的人工通用智能架构，揭示其共同点与差异，并指导未来研究。

Comments 37 pages, 7 figures, 1 table

PPTArena: A Benchmark for PowerPoint Editing

PPTArena: 一个用于PowerPoint编辑的基准测试

Michael Ofengenden, Yunze Man, Ziqi Pang, Liang-Yan Gui, Yu-Xiong Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 提出PPTArena基准，包含2125张幻灯片的1300+人工编辑任务，并设计PPTPilot智能体通过结构感知的规划-编辑-验证循环，在复合、布局敏感和跨幻灯片编辑上超越强基线10个百分点以上。

Comments ECCV 2026