AI Agent

An Ethical eValuation Agent (EeVA): Results of a Proof-of-Concept Test on a Prototype Agentic-like Workflow to Assist Ethical Deliberations

伦理评估代理（EeVA）：在原型类代理工作流中辅助伦理审议的概念验证测试结果

Stephen Milford, B. Zara Malgir, Miguel Vazquez

机构 * Institute for Biomedical Ethics, Basel University（伦理研究所，巴塞尔大学） ； North-West University（北开普大学） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） 纠错

专题命中 Agent评测 ：workflow(title,abstract)；agentic(title,abstract)；agent(title)；分类 cs.AI

AI总结 提出基于LLM的类代理工作流EeVA，通过10种伦理框架评估用例，生成结构化评估与综合，促进伦理反思而非给出绝对答案，在三个案例中验证了可行性。

Agentic Software: How AI Agents Are Restructuring the Software Paradigm

软件工程的终结：AI代理如何根本性地重构软件范式

Zhenfeng Cao

机构 * Lingxi Intelligent Investment (Shenzhen) Development Co., Ltd.（灵犀智能投资（深圳）发展有限公司） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agentic(title,abstract)；agent(abstract)；multi-agent(abstract)

AI总结 本文通过第一性原理分析，论证了以LLM为推理引擎的AI代理系统正在根本性地重构软件范式，从传统软件（代码承载决策逻辑）转向代理系统（代码作为临时工具），并提出了代理工程作为新兴学科。

Comments 15 pages, 2 figures, and 3 tables

Embodied-BenchClaw: An Autonomous Multi-Agent System for Embodied Spatial Intelligence Benchmark Construction

Embodied-BenchClaw：用于具身空间智能基准构建的自主多智能体系统

Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

机构 * QiYuan Lab（启元实验室） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 Agent评测 ：agent(title)；multi-agent(title)；autonomous agent(abstract)；planning(abstract)

AI总结 提出Embodied-BenchClaw，一个通过五阶段流水线和三个智能体协调的自主系统，自动构建可验证、可执行、可维护且诊断有用的具身空间智能基准，减少人工工作量。

A Five-Plane Reference Architecture for Runtime Governance of Production AI Agents

生产AI代理运行时治理的五平面参考架构

Krti Tallam

机构 * Kamiwaza 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；workflow(abstract)；agentic(abstract)

AI总结 针对生产AI代理打破传统数据边界治理假设的问题，提出由推理平面和四个执行平面组成的五平面参考架构，通过可组合原语实现运行时治理，阻断七种威胁并验证四个正确性不变式。

Comments 65 pages, 3 figures, 5 tables. Reference architecture with a reference implementation of the policy-engine core and microbenchmark results; full-system evaluation identified as future work

Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application

面向大语言模型的智能体环境工程：环境建模、合成、评估与应用综述

Jiachun Li, Zhuoran Jin, Tianyi Men, Yupu Hao, Kejian Zhu, Lingshuai Wang, Dongqi Huang, Longxiang Wang, Shengjia Hua, Lu Wang, Jinshan Gao, Hongbang Yuan, Ruilin Xu, Kang Liu, Jun Zhao

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；multi-agent(abstract)

AI总结 本文从环境工程生命周期出发，系统综述了智能体环境的建模、合成、评估与应用，涵盖八种属性与领域、两种合成范式、四种智能体演化路径及三种环境演化范式。

Comments 63 pages, 10 figures

From Agent Identity to Agent Economy: Measuring the Operational Readiness of ERC-8004 AI Agents

从代理身份到代理经济：衡量ERC-8004 AI代理的操作就绪度

Rischan Mafrur, Priagung Khusumanegara

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)

AI总结 本文通过分析以太坊上ERC-8004代理的数据，构建操作就绪度框架，发现早期采用以注册为主但操作浅层，身份层可见但元数据、服务、声誉和跨链证据有限，所有权和反馈活动高度集中，表明从代理身份到代理经济的转型尚未完成。

Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks

Claw-SWE-Bench：评估OpenClaw风格代理框架在编码任务上的基准

Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang

机构 * TokenRhythm Technologies（TokenRhythm 技术公司） ； Infinigence AI ； Peking University（北京大学） ； City University of Hong Kong（香港城市大学） ； SEE Fund（SEE 基金） ； Shanghai Jiaotong University（上海交通大学） ； Beijing Jiaotong University（北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；tool use(abstract)；分类 cs.CL、cs.LG

AI总结 提出Claw-SWE-Bench基准，通过适配器协议统一评估异构代理框架，发现适配器设计对编码性能至关重要，且模型和框架选择显著影响通过率与成本。

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

层隔离评估：使用无LLM、回归锁定的测试工具对生产级LLM代理的确定性框架进行门控

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出层隔离评估方法，将LLM代理分解为固定层次，用确定性无LLM测试套件逐层检测回归，证明聚合指标会掩盖局部退化，而逐层基线门控可准确定位。

Comments 12 pages, 2 figures, 5 tables

Can AI Agents Synthesize Scientific Conclusions?

AI代理能否综合科学结论？

Hayoung Jung, Pedro Viana Diniz, José Reinaldo Corrêa Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro

机构 * Princeton University（普林斯顿大学） ； Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学） ； Stony Brook University（石溪大学） ； Hackensack Meridian School of Medicine（哈肯萨克子午线医学院） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出SciConBench基准和SciConHarness评估框架，通过分解原子事实并计算精确率和召回率，发现前沿AI代理在科学结论综合中事实F1仅0.337，且无约束评估存在数据泄露，消费者代理常生成不完整或矛盾的结论。

Comments 79 pages, 34 figures, 17 tables. Under Submission

Human-Guided Agentic AI for Multimodal Clinical Prediction: Lessons from the AgentDS Healthcare Benchmark

人类引导的智能体AI用于多模态临床预测：来自AgentDS医疗基准的教训

Lalitha Pranathi Pulavarthy, Raajitha Muthyala, Aravind V Kuruvikkattil, Zhenan Yin, Rashmita Kudamala, Saptarshi Purkayastha

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；workflow(abstract)；分类 cs.AI、cs.LG

AI总结 通过人类引导智能体AI在多模态临床预测任务中取得领先性能，提炼出领域知识引导特征工程、任务特定多模态融合和临床动机模型集成三大通用经验。

Comments Presented at the Data Challenge track at the 14th IEEE International Conference on Healthcare Informatics (ICHI) 2026 on June 3, 2026

Skill-Augmented AI Agents for Medical Research Analysis: An Exploratory Multi-Model Human Evaluation in an NSCLC Transcriptomic Biomarker Task

面向医学研究分析的技能增强型AI代理：一项NSCLC转录组生物标志物任务中的探索性多模型人类评估

Qianyu Yao, Fei Sun, Bocheng Huang, Wei Chen, Jiarui Jiang, Shu Quan, Yifei Chen, Wenjie Xu, Bo li, Liping Su, Ruoqiong Wu, Huhai Hong, Huimei Wang

机构 * AIPOCH PTE. LTD. 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 本研究通过非小细胞肺癌免疫治疗生物标志物任务，评估技能增强型AI代理相比原生AI在转录组研究分析输出质量上的提升，发现质量信号方向性但未达统计显著性。

Agent Skill Evaluation and Evolution: Frameworks and Benchmarks

智能体技能评估与进化：框架与基准

Kexin Ding, Yang Zhou, Can Jin, Feng Tong, Mu Zhou, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.CL

AI总结 本文系统综述了智能体技能从孤立创建到自动化评估驱动进化的范式转变，分类了四种进化范式并分析了六个技能基准类别，指出了覆盖缺口和开放方向。

Exploration Structure in LLM Agents for Multi-File Change Localization

LLM代理中的探索结构用于多文件变更定位

Akeela Darryl Fattha, Kia Ying Chua, Lingxiao Jiang, Laura Wynter

机构 * School of Computing and Information Systems, Singapore Management University（计算与信息系统学院，新加坡国立管理学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；multi-agent(abstract)

AI总结 针对多子系统变更场景，提出非线性、领域范围的并行代理探索结构，在SWE Bench Pro基准上，小规模Haiku类模型通过领域代理并行生成实现高微F1分数，优于线性顺序探索。

MedCTA: A Benchmark for Clinical Tool Agents

MedCTA: 临床工具智能体基准

Tajamul Ashraf, Hyewon Jeong, Fida Mohammad Thoker, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 Agent评测 ：AI agent(abstract)；tool use(abstract)；planning(abstract)；agentic(abstract)

AI总结 提出MedCTA基准，基于放射影像、病理切片和报告等真实临床多模态输入，评估医疗AI智能体在工具检索、证据获取和集成方面的规划与执行能力。

Comments Project Page: https://ivul-kaust.github.io/MedCTA/ Code: https://github.com/IVUL-KAUST/MedCTA Data: https://huggingface.co/datasets/IVUL-KAUST/MedCTA

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

Food4All: 一种具有自适应用户理解能力的食物资源导航智能体框架与基准

Yiyang Li, Weixiang Sun, Tianyi Ma, Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 提出Food4All框架，结合食物搜索工具与300个多轮评估任务，在686个印第安纳食物资源上评估六种大语言模型，诊断其在约束条件处理和非理想用户交互中的不足。

Comments We have further refined the benchmark construction and experimental presentation to improve clarity and consistency. The revised version includes updated task design, food-resource data, and evaluation details to better align the benchmark with the intended food resource referral setting. These changes provide a more precise presentation of the experimental findings

SkillAxe: Sharpening LLM-Authored Agent Skills Through Evaluation-Guided Self-Refinement

SkillAxe: 通过评估引导的自我精炼提升LLM编写的智能体技能

Srishti Gautam, Arjun Radhakrishna, Sumit Gulwani

专题命中 Agent评测 ：agent(title,abstract)

AI总结 提出SkillAxe框架，通过无监督评估引导LLM自我诊断和精炼技能，在SkillsBench上提升通过率28%，缩小与人类技能的差距47-67%。

Comments 9 pages, under review

Agent-based Model of Initial Token Allocations: Evaluating Wealth Concentration in Fair Launches

基于代理的初始代币分配模型：评估公平发行中的财富集中

Joaquin Delgado Fernandez, Tom Barbereau, Orestis Papageorgiou

专题命中 Agent评测 ：agent(title,abstract)

AI总结 本文通过基于代理的模型研究公平发行后代币集中问题，发现无论分配方式如何，代币流动性导致集中现象持续存在。

Journal ref ACM Trans. Manage. Inf. Syst. 15, 1 (2024)

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

语言模型在开放式任务中的自动化创造力评估

Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

机构 * Raffles Institution（莱佛士书院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院） ； Centre of AI in Medicine (C-AIM), Nanyang Technological University（南洋理工大学人工智能医学中心） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出一种领域无关的自动化框架，通过语义熵和检索式多智能体评估，量化LLM在开放式任务中的发散与收敛创造力，并在问题解决、研究构思和创意写作三个领域验证其有效性。

Comments Accepted to ACL 2026 (Main Conference). 35 pages, 16 figures. Code: https://github.com/tanminsen/creativity-eval

Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment

开源LLM代理能否取代静态应用安全测试工具？一项实证评估

Derek Yohn, Luke Flancher, Mirajul Islam, Khaled Slhoub

机构 * College of Engineering and Science, Florida Institute of Technology（工程学院与科学学院，佛罗里达理工学院） 纠错

专题命中 Agent评测 ：agentic(abstract,comments)；agent(abstract)；分类 cs.AI

AI总结 评估基于开源LLM的代理在静态应用安全测试中的性能，与SAST工具Bandit对比，发现当前不适合实际应用。

Comments Keywords: Agentic AI, Cybersecurity, Large Language Models, Static Application Security Testing, Model performance evaluation

The Impossibility of Eliciting Latent Knowledge

引出潜在知识的不可能性

Korbinian Friedl, Francis Rhys Ward, Paul Yushin Rapoport, Tom Everitt, Jonathan Richens

机构 * The London School of Economics and Political Science（伦敦政治经济学院） ； Independent（独立机构） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本文利用因果影响图形式化定义引出潜在知识问题，证明不存在仅依赖行为反馈的训练策略能确保智能体诚实报告其信念。

Comments 24 pages, 3 figures. Includes proofs in appendix

From Content to Knowledge: Lightning Fast Long-Video Understanding with Neural Knowledge Representations

从内容到知识：基于神经知识表示的闪电般快速长视频理解

Yuchen Guan, Xiao Li, Zongyu Guo, Xiaoyi Zhang, Xiulian Peng, Chun Yuan, Yan Lu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)

AI总结 提出将长视频编码为神经知识表示（NKR），通过智能体知识蒸馏（AKD）自动合成描述和问答对，将视频知识嵌入VLM骨干网络的少量权重中，实现轻量级、可复用的视频理解，推理时无需重新加载视频，大幅降低延迟。

MedVeriSeg: Teaching LISA-Like Medical Segmentation Models to Verify Query Validity Without Extra Training

MedVeriSeg: 教授LISA-like医学分割模型验证查询的有效性而无需额外训练

Qinyue Tong, Xiaozhen Wang, Ziqian Lu, Jun Liu, Yunlong Yu, Zheming Lu

机构 * School of Aeronautics and Astronautics, Zhejiang University（浙江大学航空宇航学院） ； Southern Medical University（南方医科大学） ； School of Computer Science and Technology (School of Artificial Intelligence), Zhejiang Sci-Tech University（浙江科技学院计算机科学与技术学院（人工智能学院）） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 本文提出MedVeriSeg，一种无需训练的查询验证框架，使LISA-like医学分割模型能够拒绝虚假分割查询。通过相似性响应质量评分模块和轻量级路由多代理验证模块，提升验证鲁棒性，并构建MedVeriSeg-Bench基准，有效减少幻觉分割。

Comments 13 pages, 9 figures

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

ATLAS: Active Theory Learning for Automated Science

ATLAS: 自动化科学的主动理论学习

Noémi Éltető, Nathaniel D. Daw, Kimberly L. Stachenfeld, Kevin J. Miller

机构 * Google DeepMind（谷歌DeepMind） ； Princeton University（普林斯顿大学） ； Columbia University（哥伦比亚大学） ； University College London（伦敦大学学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出ATLAS框架，通过主动学习迭代生成稀疏神经网络假设并设计最优区分实验，在bandit任务中恢复强化学习智能体，相比随机实验采样效率提升5-10倍。

ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

ClawEnvKit：爪型智能体的自动环境生成

Xirui Li, Ming Li, Ion Stoica, Cho-Jui Hsieh, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Arena ； University of California, Berkley（伯克利大学） ； University of California, Los Angeles（洛杉矶大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出ClawEnvKit自动生成多样、可验证的爪型智能体训练与评估环境，构建含1040个环境的Auto-ClawEval基准，成本降低13800倍，性能提升达15.7个百分点。

TimeRouter: Efficient and Adaptive Routing of Time-Series Foundation Models

TimeRouter: 时间序列基础模型的高效自适应路由

Kanghui Ning, Yushan Jiang, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song

机构 * University of Connecticut（康涅狄格大学） ； Salesforce AI Research ； JP Morgan AI Research（摩根大通人工智能研究院） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG

AI总结 提出TimeRouter框架，通过轻量判别路由、选择性门控和集成回退实现时间序列基础模型的自适应选择，无需LLM推理，在GIFT-EVAL榜单取得最优性能。

OCELOT: Inference-Leakage Budgets for Privacy-Preserving LLM Agents

OCELOT：面向隐私保护LLM代理的推理泄露预算

Jin Xie, Songze Li

专题命中 Agent评测 ：agent(abstract)

AI总结 提出OCELOT运行时中介，通过后验风险控制和证人验证降级机制，在代理轨迹中预算对手信念更新，平衡任务效用与隐私泄露。

Somewhere Over the Desktop: A Research Agenda for Ubiquitous Analytics

超越桌面：无处不在分析的研究议程

Niklas Elmqvist, Panagiotis D. Ritsos, Peter W. S. Butcher

专题命中 Agent评测 ：agentic(abstract)

AI总结 空间计算、生成式AI与开放网络标准融合，催生无处不在分析（UA）新机遇，通过梳理认知、上下文、交互等七大领域交叉，提出42个未来研究挑战。

Comments 15 pages, 5 figures, 1 table

Invariant Price of Anarchy and Multiplicative Smoothness

无政府价格不变性与乘法平滑性

Ilia Shilov, Heinrich H. Nax, Saverio Bolognani

专题命中 Agent评测 ：agent(abstract)

AI总结 针对基数不可比框架，提出乘法平滑性条件，推导无政府价格的不变性界，并扩展到粗相关均衡。

CFCamo: A Counterfactual Detect-or-Abstain Framework for Camouflaged Object Detection

CFCamo：一种用于伪装目标检测的反事实检测或放弃框架

Suhang Li, Osamu Yoshie, Yuya Ieiri

机构 * Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院） 纠错

专题命中 Agent评测 ：agent(abstract)

AI总结 提出CFCamo框架，通过反事实配对训练和策略优化，使COD模型在检测到目标时输出结果，在无目标时放弃检测，解决了正样本训练导致的过度检测偏差。

Comments 10 pages, 7 figures, 5 tables. Code and data: https://github.com/suhang2000/CFCamo