AI Agent

ArchEval: Measuring AI Agents as Computer Architects

ArchEval：将人工智能代理作为计算机架构师进行评估

Chenyu Wang, Zishen Wan, Jeffrey Ma, Shvetank Prakash, Zhenting Qi, Haebin Do, Andy Cheng, Arya Tschand, Jiahe Shi, Yilun Du, Vijay Janapa Reddi

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；tool use(abstract)；workflow(abstract)

AI总结 介绍用于评估大语言模型代理在计算机架构设计与优化方面的ArchEval基准和平台，含20个挑战及8个模拟器，通过不同设置运行，报告性能并记录轨迹，揭示当前代理的优缺点及后续所需能力。

Buildrix: An Open Platform for Sharing and Benchmarking Agentic AI Skills in Building Engineering

Buildrix：建筑工程中共享和基准测试代理式AI技能的开源平台

Zixin Jiang, Bing Dong

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)

AI总结 提出Buildrix开源平台，通过标准化技能包、Web中心与本地代理框架，支持建筑工程的代理式AI技能开发、共享与可重复基准测试。

PowerAgentBench-Dyn: A Benchmark for Agentic AI in Power System Dynamic Studies

PowerAgentBench-Dyn：电力系统动态研究中智能体AI的基准测试

Qian Zhang, Andrea Pomarico, Costas Mylonas, Magda Foti, Alberto Berizzi, Le Xie

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；planning(abstract)

AI总结 提出PowerAgentBench-Dyn基准，用于评估基于LLM的智能体在电力系统动态分析任务中的能力，涵盖模型质量审查和安全风险筛选两个任务。

Human-on-the-Bridge: Scalable Evaluation for AI Agents

Human-on-the-Bridge: 可扩展的AI智能体评估方法

Fouad Bousetouane

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；agentic(abstract)

AI总结 提出Human-on-the-Bridge (HOB)范式，通过专家预先策划可复用的评估智能体（包括领域上下文、红队陷阱、陪审员角色等），结合ProofAgent测试框架进行多轮对抗评估，实现可扩展的AI智能体行为评估。

Comments 33 pages, 3 figures

Adaptive Arena-based Contestable Argumentative Network-of-Experts for Open-Ended Care Plan Coordination

面向开放式护理计划协调的自适应竞技场式可争议专家论证网络

Truong Thanh Hung Nguyen, Hoang-Loc Cao, Phuc Ho, Phuc Truong Loc Nguyen, René Richard, Hung Cao

机构 * University of New Brunswick（新不伦瑞克大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 针对开放式护理计划协调中单一LLM流程的不足，提出多Agent神经符号框架CANOE，经医学微调模型在相关数据集上表现出强临床正确性，且CANOE具备可解释性与人类可争议性。

Comments Accepted at the 4th International Conference on Frontiers of Artificial Intelligence, Ethics, and Multidisciplinary Applications

ASTELD: A Six-Axis Classification Framework for Autonomous AI Agents - Design, Evaluation, and an OpenClaw Case Study

ASTELD：自主AI智能体的六轴分类框架——设计、评估与OpenClaw案例研究

Siyuan Li, Peng Shu, Churan Yu, Peilong Wang, Ruidong Zhang, Bowen Guo, Xinliang Li, Ruiyu Yan, Arif Hassan Zidan, Yi Pan, Wei Ruan, Lifeng Chen, Junhao Chen, Zhaojun Ding, Yiwei Li, Zhengliang Liu, Haixing Dai, Lin Zhao, Yu Bao, Xiang Li, Wei Zhang, Tianming Liu

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract,comments)；分类 cs.AI

AI总结 该研究提出ASTELD六轴分类框架，用于比较自主AI智能体平台，通过案例研究验证其效用，揭示跨平台模式与创新方向，发现本地优先部署与企业级安全结合的空白区域。

Comments 40 pages, 4 figures, 6 tables. Introduces and empirically evaluates the ASTELD six-axis classification framework across eight autonomous AI agent platforms, with OpenClaw as an in-depth case study

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance

AI智能体为何违反规则？框架、情境与社会信号如何影响合规性

Mika Okamoto, Ansel Kaplan Erol, Kutluhan Erol

专题命中 Agent评测 ：AI agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 该研究运用法律与经济学的合规理论，发现安全微调AI模型大体合规，任务优化与智能体模型会在低惩罚等条件下违规，且引入经济激励等会导致大规模合规失败，指出模型选择与合规性评估需改进。

The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark

智能体网络安全的下一个挑战：一个现实、无污染的逆向工程基准

Jeremy Spence, Nicholas Assaderaghi, Jinhao Zhu, Nikil Ravi, Raluca Ada Popa, Guannan Wei, Yangruibo Ding, Zhuo Zhang

专题命中 Agent评测 ：agentic(title,abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究针对智能体逆向工程基准的缺陷，构建SRE-Bench基准，评估五款前沿LLMs的逆向工程能力，发现RE仍未解决，强调其为智能体网络安全重要前沿及SRE-Bench的测试价值。

TRACE Bench: Task-driven Roleplay Agentic Checklist Evaluation

TRACE Bench：任务驱动的角色扮演智能体清单评估基准

Jiahui Zhang, Ziwei Zhang, Yipeng Wang, Yibo Liu, Haozhou Pang, Yikai Hu, Hongyan Ren, Lan Zhou, Qi Gan, Kai Sheng

机构 * Kuaishou GameMind Lab（快手GameMind实验室） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对角色扮演评估的黑箱问题，提出TRACE Bench框架，通过清单分解与对话跟踪实现更透明的评估，在覆盖度、鲁棒性等方面优于现有基准，支持闭环演化。

Comments Project page: https://kuaishou-gamemind.github.io/projects/trace_bench/. Code: https://github.com/KuaishouGameMind/TRACE-Bench

Agentic self-driving microscopy benchmarks support qualification but do not necessarily generalize to unseen tasks

智能体自动驾驶显微镜基准测试支持性能验证，但不一定能泛化到未见任务

Nathan S Johnson, Ian Abshire

机构 * Carl Zeiss Research Microscopy Solutions（卡尔蔡司研究显微镜解决方案） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 本研究开发基准框架评估显微镜智能体架构等因素的性能，发现其虽可用于验证比较，但现有基准无法预测智能体在未见显微镜任务上的表现。

Comments 20 pages, 8 figures

CUADebug: Diagnosing and Repairing Computer-Use Agent Failures

CUADebug：计算机使用智能体故障的诊断与修复

Weijia Zhang, Kunlun Zhu, Zeyi Liu, Yinting Chen, Tianyi Ma, Jiateng Liu, Jiaxun Zhang, Bingxuan Li, Xiangru Tang, Heng Ji, Jiaxuan You

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE

AI总结 本研究提出CUADebug框架，含错误分类、CUAErrorBench基准与CUADebugger工具，可诊断修复计算机使用智能体故障，提升任务完成与重新执行成功率，证明其能提供可操作修复信号。

Comments 23 pages, 10 figures, 6 tables

SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

SecRespond：面向真实入侵后事件响应的AI智能体基准测试集

Lehan Wang, Boli Chen, Ruixue Ding, Pengjun Xie, Jinwei Huang, Zhendong Liu, Shuo Wang, Tao Lei, Xin Ouyang, Xiaomeng Li

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 研究人员推出首个入侵后事件响应AI智能体基准测试集SecRespond，评估23种前沿LLM在10个靶场的表现，发现现有智能体难以及时发现隐蔽入侵并制定全面修复计划，存在根本瓶颈。

EvoPINN: Agentic Discovery of Executable Algorithms for Physics-Informed Neural Networks

EvoPINN：面向物理信息神经网络可执行算法的智能体式发现框架

Peng Yin, Kai Li, Yifan Zhang, Jian Cheng

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 EvoPINN是智能体式框架，将PINN开发转化为基于执行的算法发现，通过LLM智能体迭代优化，自主发明SLRC-PINN，可显著降低PDE求解的相对L₂误差，为科学计算提供新机制。

SARC-DQ: Runtime Data-Quality Gating for Agentic AI: Silent Evidence Defects, the Incompetence Shield, and Downstream-Only Remediation

SARC-DQ：智能体AI的运行时数据质量门控：隐性证据缺陷、无能防护机制与仅下游修复

Gaston Besanson

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE

AI总结 该研究针对智能体AI的元数据缺陷问题，提出SARC-DQ运行时数据质量门控机制，实验显示模型能力未提升怀疑能力，所提门控结合下游修复可恢复部分损失，无模型预言机能精准跟踪缺陷率。

Comments https://github.com/besanson/dqSarc

Verifier-First Evaluation of Agentic LLMs for Infrastructure-as-Code Generation

用于基础设施即代码生成的智能语言模型的验证优先评估

Mohamed Jouini

专题命中 Agent评测 ：agentic(title,abstract)；planning(abstract)；分类 cs.AI、cs.SE

AI总结 研究针对自然语言生成基础设施即代码的问题，对七种智能策略在特定基准测试上进行验证优先评估，通过多种方法得出如主动检索提升性能、迭代优化有收敛效果等五个主要发现，为相关研究提供了重要参考。

Comments 26 pages, 3 figures, 17 tables. Benchmark dataset available at https://huggingface.co/datasets/iac-eval-v2/iac-eval-v2

OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios

OmniaBench：跨多样场景对通用人工智能智能体进行基准测试

Chengyu Shen, Yujie Fu, Gangtao Xin, Yanheng Hou, Wenlong Fei, Guojie Zhu, Jiawei Li, Hongcheng Gao, Runming He, Zhen Hao Wong, Meiyi Qiang, Hao Liang, Zhao Cao, Hao Jiang, Chong Chen, Wentao Zhang

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；planning(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对大语言模型向通用智能体演变，现有基准测试有局限的问题，引入OmniaBench。通过多渠道获取场景知识形成分类法，构建可执行环境并合成任务，还引入能力分类法等。其数据集含多任务，对前沿模型构成挑战，能表征通用智能体能力边界。

Inside the Skill Market: From Software Engineering Activities to Reusable Agent Skills

深入技能市场：从软件工程活动到可复用的智能体技能

Jialun Cao, Xinru Yan, Songqiang Chen, Yaojie Lu, Zhongxin Liu, Shing-Chi Cheung

机构 * The Hong Kong University of Science（香港科技大学） ； University of Chinese Academy of Sciences Beijing, China（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences Beijing, China（中国科学院软件研究所） ； Zhejiang University Hangzhou, China（浙江大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究探讨软件工程活动如何转化为可复用智能体技能。通过对公共库和市场中SE技能大规模实证研究，分析其封装活动、生命周期覆盖等，发现SE活动正通过技能成为可复用工件，为技能推荐等提供研究机会及相关机制需求。

CAGE-1: Control, Assurance, and Governance Evaluation for Enterprise Agentic AI

CAGE-1：企业智能代理人工智能的控制、保证和治理评估

Roopam W. Sure

机构 * Independent technical report（独立技术报告） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.SE

AI总结 研究企业人工智能从实验转向运营工作流带来的评估问题，介绍CAGE-1评估框架，评估多方面内容，引入预绑定保证，用于判断企业代理是否可部署。

Comments 17 pages, 3 figures; independent technical report

PACE: A Proxy for Agentic Capability Evaluation

PACE：智能体能力评估的代理框架

Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出PACE框架，通过从非智能体评测中选取原子实例构建代理基准，以低成本高精度预测智能体基准性能，在14个模型上实现MAE<4%、Spearman>0.80。

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach: 用于评估和增强智能体技能使用的自演化评分准则

Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。

EVOM: Agentic Meta-Evolution of Actor-Critic Architectures for Reinforcement Learning

EVOM：用于强化学习的演员-评论家架构的智能体元进化

Boyun Zhang, Chao Wang, Kai Wu

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出EVOM框架，通过双层优化（内环低保真PPO训练权重，外环LLM设计智能体驱动元进化）自动搜索高性能演员-评论家架构，在Ant-v4和HalfCheetah-v4上超越基线方法。

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel: 面向智能体任务的元评估数据集

Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。

Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams

专业化角色，混合部署：推动LLM代理团队的成本-精度前沿

Yinsicheng Jiang, Liang Cheng, Yeqi Huang, Yufan Zhao, Zhan Lu, Li Dong, Wenda Li, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentCARD基准，通过角色感知评估和帕累托前沿分析，发现异构团队在成本-精度前沿上优于同构团队，混合部署可降低12倍成本。

Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent

将意图转化为规范：一个基准测试和一个交互式用户助手代理

Hao Wang, Ligong Han, Kai Xu, Akash Srivastava

机构 * Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室） ； IBM Core AI（IBM核心AI） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出SpecBench基准和Buddy代理，通过形态分析分解用户意图、模拟用户评估设计选择，将焦点从代码生成转向人机协作规范制定。

Agentic MPC for Semantic Control System Resynthesis

用于语义控制系统再综合的智能体MPC

Yuya Miyaoka, Masaki Inoue

机构 * University of Tokyo（东京大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出智能体MPC框架，通过集成大语言模型智能体实现上下文感知的语义自适应控制综合，在自动驾驶场景中验证其根据个人偏好或社交情境（如避让应急车辆）调整控制的能力。

Comments 7 pages, 5 figures

Benchmarking AI Agents for Addressing Scientific Challenges Across Scales

跨尺度科学挑战的AI智能体基准测试

Tianyu Liu, Allen Xin Wang, Antonia Panescu, Lisa Xinyi Chen, Wenxin Long, Xinyu Wei, Yueqian Jing, Ziyao Zeng, Jihang Chen, Sihan Jiang, Ziqing Wang, Siyi Gu, Siyu Chen, Xinyang Hu, Haoran Shao, Leqi Xu, Wangjie Zheng, Zhiyuan Cao, Ada Fang, Botao Yu, Kunyang Sun, Rex Ying, Arman Cohan, Qingyu Chen, Lingzhou Xue, Kaize Ding, Yuanqi Du, Wengong Jin, Zhuoran Yang, Marinka Zitnik, James Zou, Hua Xu, Hongyu Zhao

机构 * Yale University（耶鲁大学） ； Broad Institute of MIT and Harvard（布罗德研究所） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； Northeastern University（东北大学） ； Northwestern University（西北大学） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出SciAgentArena基准，含约200个交互式任务，评估AI智能体在真实科研场景中的能力，发现其在数据分析中有效，但在创新探索和开放问题上表现不均。

Comments 6 figures

Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks

Claw-SWE-Bench：评估OpenClaw风格代理框架在编码任务上的基准

Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang

机构 * TokenRhythm Technologies（TokenRhythm 技术公司） ； Infinigence AI ； Peking University（北京大学） ； City University of Hong Kong（香港城市大学） ； SEE Fund（SEE 基金） ； Shanghai Jiaotong University（上海交通大学） ； Beijing Jiaotong University（北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；tool use(abstract)；分类 cs.CL、cs.LG

AI总结 提出Claw-SWE-Bench基准，通过适配器协议统一评估异构代理框架，发现适配器设计对编码性能至关重要，且模型和框架选择显著影响通过率与成本。

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

Can AI Agents Synthesize Scientific Conclusions?

AI代理能否综合科学结论？

Hayoung Jung, Pedro Viana Diniz, José Reinaldo Corrêa Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro

机构 * Princeton University（普林斯顿大学） ； Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学） ； Stony Brook University（石溪大学） ； Hackensack Meridian School of Medicine（哈肯萨克子午线医学院） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出SciConBench基准和SciConHarness评估框架，通过分解原子事实并计算精确率和召回率，发现前沿AI代理在科学结论综合中事实F1仅0.337，且无约束评估存在数据泄露，消费者代理常生成不完整或矛盾的结论。

Comments 79 pages, 34 figures, 17 tables. Under Submission