AI Agent

An AI Agent Execution Environment to Safeguard User Data

一个保障用户数据安全的AI代理执行环境

Robert Stanley, Avi Verma, Lillian Tsai, Konstantinos Kallas, Sam Kumar

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI

AI总结 GAAP通过动态用户提示收集权限规范，确保AI代理在共享用户隐私数据时符合规定，无需信任代理或模型，有效阻止数据泄露攻击。

Toward Evaluation Frameworks for Multi-Agent Scientific AI Systems

迈向多智能体科学AI系统的评估框架

Marcin Abram

专题命中 Agent评测 ：agent(title)；multi-agent(title)；tool use(abstract)；agentic(abstract)

AI总结 本文探讨了多智能体科学系统评估的挑战，提出构建抗污染问题、生成可扩展任务家族及多轮交互评估方法，通过访谈量子科学家探讨AI系统交互期望对评估方法的影响。

Comments 14 pages, 4 figures

Toward Reliable Evaluation of LLM-Based Financial Multi-Agent Systems: Taxonomy, Coordination Primacy, and Cost Awareness

迈向可靠的LLM基于金融多智能体系统评估：分类学、协调优先性与成本意识

Phat Nguyen, Thang Pham

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Adobe Inc.（Adobe公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 本文提出一种四维分类法，探讨多智能体系统中协调优先性对交易决策质量的影响，并识别五种评估失效现象，提出协调平衡收益指标以评估多智能体协调的真实价值。

Comments Accepted at the DMO-FinTech Workshop, PAKDD 2026, Hong Kong

Rethinking Failure Attribution in Multi-Agent Systems: A Multi-Perspective Benchmark and Evaluation

重新思考多智能体系统中的故障归因：一个多视角基准和评估

Yeonjun In, Mehrab Tanjim, Jayakumar Subramanian, Sungchul Kim, Uttaran Bhattacharya, Wonjoong Kim, Sangwu Park, Somdeb Sarkhel, Chanyoung Park

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 本文提出多视角故障归因方法，引入MP-Bench基准，通过实验发现现有基准设计限制导致LLM在故障归因上的表现问题，强调多视角评估的重要性。

Comments Under review

Efficient LLM Safety Evaluation through Multi-Agent Debate

通过多智能体辩论实现高效的LLM安全评估

Dachuan Lin, Guobin Shen, Zihao Yang, Tianrong Liu, Dongcheng Zhao, Yi Zeng

机构 * Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Super Alignment（北京安全人工智能与超对齐重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； CSE, The Chinese University of Hong Kong（香港中文大学电子工程系） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系） ； Long-term AI（长期人工智能） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 本文提出多智能体辩论框架，利用HAJailBench基准测试，提升LLM安全评估的可靠性与经济性，验证了少量辩论轮次即可获得显著效果。

Comments 15 pages, 5 figures, 10 tables. Updated abstract to fix an incconsistency issue with the main paper: HAJailBench size (12,000 -> 11,100)

CoMAI: A Collaborative Multi-Agent Framework for Robust and Equitable Interview Evaluation

CoMAI：一种用于鲁棒且公平面试评估的协作多智能体框架

Gengxin Sun, Ruihao Yu, Liangyi Yin, Yunqi Yang, Bin Zhang, Zhiwei Xu

机构 * Shandong University（山东大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 CoMAI通过协作多智能体框架实现鲁棒且公平的面试评估，采用模块化任务分解架构，包含问题生成、安全、评分和总结四个智能体，提升评估的准确性和公平性。

Comments Gengxin Sun and Ruihao Yu contributed equally to this research. Bin Zhang and Zhiwei Xu are the corresponding authors. 11 pages, 6 figures

A Framework for Assessing AI Agent Decisions and Outcomes in AutoML Pipelines

评估自动化机器学习流水线中AI代理决策与结果的框架

Gaoyuan Du, Amit Ahlawat, Xiaoyang Liu, Jing Wu

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title)；agentic(abstract)；分类 cs.AI

AI总结 本文提出评估代理（EA）用于评估自动化机器学习代理的决策质量，通过四个维度检测决策错误、识别推理不一致并归因下游性能变化，提升自动化机器学习系统的可解释性和可控性。

Comments 10 pages

DIALECTIC: A Multi-Agent System for Startup Evaluation

DIALECTIC：一种用于初创企业评估的多智能体系统

Jae Yoon Bae, Simon Malberg, Joyce Galang, Andre Retterath, Georg Groh

机构 * Technical University of Munich（慕尼黑技术大学） ； Earlybird Venture Capital（Earlybird风投） ； UVC Partners（UVC伙伴） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.CL

AI总结 DIALECTIC通过多智能体系统提升初创企业评估效率，利用LLM生成事实论证并模拟辩论，生成决策分数以帮助投资者优先排序。

Comments Accepted at EACL 2026 Industry Track

Governance Architecture for Autonomous Agent Systems: Threats, Framework, and Engineering Practice

自主代理系统治理架构：威胁、框架与工程实践

Yuxu Ge

机构 * University of York（约克大学） ； Department of Computer Science（计算机科学系） ； York United Kingdom（约克英国） 纠错

专题命中 Agent评测 ：agent(title,abstract)；autonomous agent(title,abstract)；分类 cs.AI

AI总结 本文提出分层治理架构LGA，通过四层框架有效拦截恶意工具调用，实验表明其在不同部署场景下均表现出高拦截率和低虚警率。

Comments 22 pages, 2 figures, 10 tables

Right to History: A Sovereignty Kernel for Verifiable AI Agent Execution

历史权利：可验证AI代理执行的主权内核

Jing Zhang

机构 * Independent Researcher（独立研究者） ； PunkGo Project（PunkGo项目） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI

AI总结 本文提出‘历史权利’，通过五个系统不变量和PunkGo内核实现，为AI代理执行提供可验证的记录，确保个人对自身硬件上所有AI代理行为的完整追溯。

Comments 22 pages, 3 figures, 7 tables. Open-source: https://github.com/PunkGo/punkgo-kernel

Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment

支持智能体的前瞻性分析以应对AI系统性风险：智能体用于广度，专家用于判断

Leon Fröhling, Alessandro Giaconia, Edyta Paulina Bogucka, Daniele Quercia

机构 * GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所） ； ETH Zurich（苏黎世联邦理工学院） ； Nokia Bell Labs（诺基亚贝尔实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title)；workflow(abstract)；分类 cs.AI

AI总结 本文提出了一种结合智能体和专家的前瞻性分析方法，用于评估AI系统的长期系统性风险，通过模拟智能体和专家讨论，扩大风险覆盖范围并提供上下文基础。

Comments 48 pages, 15 figures

MCPAgentBench: A Real-world Task Benchmark for Evaluating LLM Agent MCP Tool Use

MCPAgentBench: 一个用于评估LLM代理MCP工具使用的现实任务基准

Wenrui Liu, Zixiang Liu, Elsie Dai, Wenhan Yu, Lei Yu, Tong Yang, Jinjun Han, Hong Gao

机构 * Peking University（北京大学） ； ZTE（中兴通讯） 纠错

专题命中 Agent评测 ：agent(title)；tool use(title)；autonomous agent(abstract)；tool-use(abstract)

AI总结 MCPAgentBench通过现实任务和动态沙盒环境评估LLM代理在复杂工具调用中的能力差异，提供开源代码以促进工具使用能力研究。

Improving the Safety and Trustworthiness of Medical AI via Multi-Agent Evaluation Loops

通过多智能体评估循环提升医疗AI的安全性与可信度

Zainab Ghafoor, Md Shafiqul Islam, Koushik Howlader, Md Rasel Khondokar, Tanusree Bhattacharjee, Sayantan Chakraborty, Adrito Roy, Ushashi Bhattacharjee, Tirtho Roy

机构 * Sonoma State University（索诺玛州立大学） ； Iowa State University（爱荷华州立大学） ； University of Dhaka（达卡大学） ； Notre Dame College（诺特丹学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 本文提出多智能体评估循环框架，通过结合DeepSeek R1和Med-PaLM等模型，有效提升医疗AI的安全性和伦理合规性，实现89%的伦理违规减少和92%的风险降级。

A Comprehensive Evaluation of LLM Reasoning: From Single-Model to Multi-Agent Paradigms

大语言模型推理的全面评估：从单模型到多智能体范式

Yapeng Li, Jiakuo Yu, Zhixin Liu, Xinnan Liu, Jing Yu, Songze Li, Tonghua Su

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.LG

AI总结 本研究全面评估了LLM推理范式，包括单模型和多智能体系统，通过新基准测试揭示了不同范式在成本与准确率之间的权衡。

Bit-politeia: An AI Agent Community in Blockchain

Bit-politeia: 区块链上的一个AI代理社区

Xing Yang

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI

AI总结 Bit-politeia通过区块链和AI代理构建公平高效的资源分配系统，以减少传统同行评审中的偏见和资源集中问题。

GenAITEd Ghana: A First-of-Its-Kind Context-Aware and Curriculum-Aligned Conversational AI Agent for Teacher Education

GenAITEd Ghana：首个基于情境感知和课程对齐的对话式人工智能代理用于教师教育

Matthew Nyaaba, Patrick Kyeremeh, Macharious Nabang, Bismark Nyaaba Akanzire, Sakina Acquah, Cyril Ababio Titty, Kotor Asare, Jerry Etornam Kudaya

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title)；multi-agent(abstract)；分类 cs.AI

AI总结 GenAITEd Ghana是一款基于情境感知和课程对齐的对话式AI代理，旨在支持加纳教师教育，通过多代理系统和伦理约束确保负责任的AI应用。

AI Agent Smart Contract Exploit Generation

AI代理智能合约漏洞生成

Arthur Gervais, Liyi Zhou

机构 * University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Decentralized Intelligence AG（去中心化智能有限公司） ； UC Berkeley RDI（伯克利大学RDI） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(title)；agentic(abstract)；分类 cs.AI

AI总结 A1通过代理系统结合大语言模型，实现智能合约漏洞的高效生成与验证，成功率达63%，并揭示了攻击与防御在经济上的不对称性。

WeMusic-Agent: Efficient Conversational Music Recommendation via Knowledge Internalization and Agentic Boundary Learning

WeMusic-Agent: 通过知识内化和代理边界学习实现高效的对话音乐推荐

Wendong Bi, Yirong Mao, Xianglong Liu, Kai Tian, Jian Zhang, Hanjie Wang, Wenhui Que

专题命中 Agent评测 ：agent(title,abstract)；agentic(title,abstract)；分类 cs.AI

AI总结 WeMusic-Agent通过知识内化和代理边界学习，实现高效对话音乐推荐，提升个性化和多样性。

AI Agent for Source Finding by SoFiA-2 for SKA-SDC2

为SKA-SDC2设计的SoFiA-2源寻找AI代理

Xingchen Zhou, Nan Li, Peng Jia, Yingfeng Liu, Furen Deng, Shuanghao Shu, Ying Li, Liang Cao, Huanyuan Shan, Ayodeji Ibitoye

机构 * National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） ； Taiyuan University of Technology（太原理工大学） ； Shanghai Astronomical Observatory, Chinese Academy of Sciences（中国科学院上海天文台） ； Department of Physics, Guangdong Technion – Israel Institute of Technology（广东理工学院–以色列理工学院物理系） ； Centre for Space Research, North-West University（北开大学空间研究中心） ； Department of Physics and Electronics, Adekunle Ajasin University（阿德克努勒·阿贾辛大学物理与电子系） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.LG

AI总结 本文提出基于SAC算法的AI代理，用于优化SoFiA-2在SKA-SDC2中的参数配置，以提高源提取性能。

Comments 20 pages, 10 figures, accepted by RAA

Designing Reputation Systems for Manufacturing Data Trading Markets: A Multi-Agent Evaluation with Q-Learning and IRL-Estimated Utilities

为制造数据交易市场设计声誉系统：基于Q学习和IRL估计效用的多智能体评估

Kenta Yamamoto, Teruaki Hayashi

机构 * Department of Systems Innovation, Graduate School of Engineering, The University of Tokyo Tokyo, Japan（系统创新部门，工学研究生院，东京大学东京，日本） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.LG

AI总结 本研究通过多智能体模拟器评估了五种声誉系统，发现PeerTrust在数据价格与质量一致性及防止垄断方面表现最佳，并提出混合声誉机制提升市场稳定性。

Comments 10 pages, 10 figures

BioDisco: Multi-agent hypothesis generation with dual-mode evidence, iterative feedback and temporal evaluation

BioDisco：基于双模式证据、迭代反馈和时间评估的多智能体假设生成

Yujing Ke, Kevin George, Kathan Pandya, David Blumenthal, Maximilian Sprang, Gerrit Großmann, Sebastian Vollmer, David Antony Selby

机构 * Data Science and its Applications, DFKI（数据科学及其应用，德系人工智能研究所） ； DFKI Friedrich-Alexander-Universität Erlangen-Nürnberg（德系人工智能研究所，弗赖堡-埃朗根-纽伦堡大学） ； University of Saarland（萨尔大学） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（弗赖堡-埃朗根-纽伦堡大学） ； University of Kaiserslautern–Landau (RPTU)（凯撒斯劳滕-兰道大学（RPTU）） ； Department of Dermatology, University Medical Center Mainz（梅奥医学中心法兰克福大学皮肤科） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

AI总结 BioDisco通过双模式证据系统、迭代反馈和时间评估，实现多智能体生成新颖且证据支持的科学假设。

Comments 12 pages main content, 31 including appendices. 8 figures

3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark

Ivan Sviridov, Amina Miftakhova, Artemiy Tereshchenko, Galina Zubkova, Pavel Blinov, Andrey Savchenko

机构 * Sber AI Lab（Sber AI实验室） ； HSE University（俄罗斯高等经济大学） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与系统问题研究所可信人工智能研究中心） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.CL

Comments EMNLP 25 (main)

Journal ref https://aclanthology.org/2025.emnlp-main.1353/

A Multi-Agent Conversational Bandit Approach to Online Evaluation and Selection of User-Aligned LLM Responses

Xiangxiang Dai, Yuejin Xie, Maoli Liu, Xuchuang Wang, Zhuohua Li, Huanyu Wang, John C. S. Lui

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

Comments Accepted by AAAI 2026

EEschematic: Multimodal-LLM Based AI Agent for Schematic Generation of Analog Circuit

Chang Liu, Danial Chitnis

机构 * School of Engineering The University of Edinburgh Edinburgh, UK（工程学院 苏格兰爱丁堡大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.LG

Evolution of AI Agent Registry Solutions: Centralized, Enterprise, and Distributed Approaches

Aditi Singh, Abul Ehtesham, Mahesh Lambe, Jared James Grogan, Abhishek Singh, Saket Kumar, Luca Muscariello, Vijoy Pandey, Guillaume Sauvage De Saint Marc, Pradyumna Chari, Ramesh Raskar

机构 * Cleveland State University（克利夫兰州立大学） ； Kent State University（肯特州立大学） ； Independent Researcher（独立研究者） ； Massachusetts Institute of Technology（麻省理工学院） ； Northeastern University（东北大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI

MAGPIE: A benchmark for Multi-AGent contextual PrIvacy Evaluation

Gurusha Juneja, Jayanth Naga Sai Pasupulati, Alon Albalak, Wenyue Hua, William Yang Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.CL

An LLM-Powered AI Agent Framework for Holistic IoT Traffic Interpretation

Daniel Adu Worae, Spyridon Mastorakis

机构 * University of Notre Dame（内布拉斯加大学达灵顿分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.CL

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

Enze Zhang, Jiaying Wang, Mengxi Xiao, Jifei Liu, Ziyan Kuang, Rui Dong, Eric Dong, Sophia Ananiadou, Min Peng, Qianqian Xie

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言信息研究中心） ； Jiangxi Normal University（江西师范大学） ； The University of Manchester（曼彻斯特大学） ； Yunnan Trrans Technology Co., Ltd.（云南翻译技术有限公司） ； Malvern College Chengdu（成都马尔伯学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.CL

Medical AI Consensus: A Multi-Agent Framework for Radiology Report Generation and Evaluation

Ahmed T. Elboardy, Ghada Khoriba, Essam A. Rashed

机构 * Graduate School of Information Science, University of Hyogo（京都大学垣田学园信息科学研究生院） ； Center for Informatics Science, School of Information Technology and Computer Science, Nile University（尼罗大学信息科学中心） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.AI

Comments NeurIPS2025 Workshop: Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling

HiMATE: A Hierarchical Multi-Agent Framework for Machine Translation Evaluation

Shijie Zhang, Renhao Li, Songsheng Wang, Philipp Koehn, Min Yang, Derek F. Wong

机构 * University of Macau（澳门大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；multi-agent(title,abstract)；分类 cs.CL