AI Agent

Agent-OM: Leveraging LLM Agents for Ontology Matching

Agent-OM：利用大语言模型代理进行本体匹配

Zhangcheng Qiang, Weiqing Wang, Kerry Taylor

机构 * Australian National University（澳大利亚国立大学） ； Monash University（墨尔本大学） 纠错

专题命中 Agent评测 ：agent(title,title_cn)；分类 cs.AI、cs.CL

AI总结 本文提出Agent-OM框架，结合检索与匹配代理及OM工具，有效提升复杂和少样本本体匹配任务性能，接近传统最佳表现。

Comments 31 pages - VLDB 2025 (Page 1-20), OM 2025 (Page 21-31)

Measuring What Persists: Conditioning Mechanisms and a Geometric Framework for AI Agent Identity

测量持续存在的内容：AI智能体身份的调节机制与几何框架

Andrew Tanner

机构 * Anisotrope AI 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 提出基于√JSD度量空间和丰富范畴理论中幅度同调的几何框架，用于测量AI智能体身份结构，发现双机制调节结构：身份真空簇和安全盆地簇，并通过等边探针基线验证身份规范创造可测量的行为丰富性。

Comments 29 pages, 6 figures, 8 tables

Design Principles for Human-Agent Interaction

人-智能体交互的设计原则

Haiyi Zhu, Canwen Wang, Qing Xiao, Hong Shen

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(abstract)；tool use(abstract)；agentic(abstract)

AI总结 本文提出14条设计原则，涵盖初始、交互、长期和故障四个阶段，以指导设计可用、可信且有效的人-智能体交互系统。

Counsel: A Meta-Evaluation Dataset for Agentic Tasks

Counsel: 面向智能体任务的元评估数据集

Sashank Pisupati, Henry Broomfield, Eujeong Choi, Antonia Calvi, Charlie Wang, Roman Engeler, Max Bartolo, Patrick Lewis

机构 * Atla AI ； Cohere AI ； Mistral AI ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出Counsel数据集，通过人工标注对LLM评判的智能体轨迹错误进行元评估，用于校准和改进LLM评判器。

Specialize Roles, Mix Deployments: Pushing the Cost-Accuracy Frontier of LLM Agent Teams

专业化角色，混合部署：推动LLM代理团队的成本-精度前沿

Yinsicheng Jiang, Liang Cheng, Yeqi Huang, Yufan Zhao, Zhan Lu, Li Dong, Wenda Li, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentCARD基准，通过角色感知评估和帕累托前沿分析，发现异构团队在成本-精度前沿上优于同构团队，混合部署可降低12倍成本。

Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent

将意图转化为规范：一个基准测试和一个交互式用户助手代理

Hao Wang, Ligong Han, Kai Xu, Akash Srivastava

机构 * Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室） ； IBM Core AI（IBM核心AI） 纠错

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 提出SpecBench基准和Buddy代理，通过形态分析分解用户意图、模拟用户评估设计选择，将焦点从代码生成转向人机协作规范制定。

Detecting Malicious Agent Skills in the Wild using Attention

利用注意力机制检测野外恶意智能体技能

Bacem Etteib, Daniele Lunghi, Tégawendé F. Bissyandé

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 针对LLM技能市场中的恶意技能注入攻击，提出Locate-and-Judge两阶段检测器，通过注意力定位和审查实现高效全市场扫描，大幅降低成本并保持高精度。

MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop

MacAgentBench: 在真实macOS桌面上基准测试AI代理

Yikun Fu, Bowen Fu, Zhenyu Wu, Shuang Cheng, Xiaowei Sun, Bowen Yang, Zehao Li, Yibo Zhao, Zichen Ding, Zhoumianze Liu, Shijie Wang, Biqing Qi, Bowen Zhou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出MacAgentBench，包含676个跨25个应用的任务，采用规则评估和细粒度多检查点评分，实验表明最佳配置（OpenClaw上的Claude Opus 4.6）达到73.7% Pass@1，优势主要来自技能库而非框架设计。

BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

BabelJudge: 跨语言和智能体轨迹中LLM作为评判者可靠性的测量

Shreyas KC

专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出BabelJudge基准，通过受控扰动生成已知标签的成对样本，无监督地测量评判模型的位置偏差、冗长偏差、顺序不一致和跨语言退化，发现Swahili顺序一致性接近随机。

Comments 8 pages, 4 figures. Source code, benchmark toolkit, and reproduction scripts at https://github.com/Shreyaskc/BabelJudge

When Is Emergent Consensus Real? A Measured Coupling Gain and a Validity Diagnostic for LLM Agent Societies

何时涌现共识是真实的？一种测量耦合增益与LLM智能体社会的有效性诊断

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 针对LLM智能体社会中的涌现共识或极化现象，提出基于反事实扰动的耦合增益测量方法，并建立有效性诊断工具，区分真实社会动态与模型伪影。

Comments 13 pages (incl. appendix with proofs), 7 figures. Code and per-run logs released

From Question Answering to Task Completion: A Survey on Agent System and Harness Design

从问答到任务完成：智能体系统与执行框架设计综述

Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yunhe Wang

机构 * City University of Hong Kong（香港城市大学） ； University of Sydney（悉尼大学） ； Peking University（北京大学） ； TokenRhythm Technologies（TokenRhythm 科技公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 本文从模型-执行框架视角综述LLM智能体，分析模型瓶颈与执行框架设计，提出六组件分解法，并探讨任务完成、效率与可靠性的影响因素。

Harnessing Agent Skills: Architectural Patterns and a Reference Architecture for Skill-Mediated LLM Agents

驾驭智能体技能：技能中介LLM智能体的架构模式与参考架构

Boming Xia, Liming Zhu, Zhenchang Xing, Qinghua Lu, Dino Sejdinovic, Xiwei Xu

机构 * Responsible AI Research (RAIR) Centre（负责任人工智能研究中心） ； Adelaide University（阿德莱德大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出十种经验性架构模式（五种核心、五种辅助）用于技能中介，并综合成包含供应链、中介、执行控制、证据与反馈四层的参考架构，通过跨实例化评估提供分析框架。

AGENTSERVESIM: A Hardware-aware Simulator for Multi-Turn LLM Agent Serving

AGENTSERVESIM：面向多轮LLM智能体服务的硬件感知模拟器

Rakibul Hasan Rajib, Mengxin Zheng, Qian Lou

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 提出AGENTSERVESIM模拟器，通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块，在程序粒度上评估多轮LLM智能体服务策略，在CPU上以6%误差复现真实系统行为。

Comments Preprint

DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency

DEMM-Bench：面向智能体运行时治理证据充分性的跨机制基准

Oleg Solozobov

机构 * Independent Researcher (Global)（全球独立研究员） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出DEMM-Bench，基于决策证据成熟度模型（DEMM），通过8个证据机制和8个退化条件，衡量智能体运行时记录能否重构决策级属性，解决现有方法过度声称问题。

Comments 41 pages, 8 tables, no figures. Benchmark and dataset paper. Dataset (CC-BY-4.0) and code (Apache-2.0): Zenodo doi:10.5281/zenodo.20426092 and Hugging Face https://huggingface.co/datasets/dev404ai/DEMM-Bench; code at https://github.com/agent-runtime-evidence/decision-evidence-benchmark

Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention

校准不是控制：为什么LLM代理监督需要干预

Chubin Zhang, Zhenglin Wan, Xingrui Yu, Jingxuan Wu, Qi Wen, Pengfei Zhou, Wangbo Zhao, Ivor Tsang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； CFAR Agency for Science Technology and Research（科技研究局CFAR） ； IHPC Agency for Science Technology and Research（科技研究局IHPC） ； Department of Statistics and Operations Research UNC-Chapel Hill（北卡罗来纳大学教堂山分校统计与运筹学系） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文指出LLM代理运行时监督中常用的标量风险预测存在目标错误，提出以干预优势为决策对象，并引入前缀分支方法进行动作条件控制，实验表明该方法能显著降低控制遗憾。

Comments 29 pages

Confidence Laundering in Agent Systems: Why Uncertainty Needs a Latent Carrier

智能体系统中的置信度洗钱：为什么不确定性需要一个潜在载体

Kaiwen Shi, Zheyuan Zhang, Han Bao, Colby Nelson, Yanfang Ye

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出智能体系统中存在置信度洗钱现象，即上游不确定性在下游被误认为确定性，导致误差放大；为此提出潜在不确定性作为决策传递的载体，以保留不确定性并提升系统可恢复性。

An LLM-Orchestrated Agent for Directional-Coupler Design with Self-Consistent Eigenmode and FDTD Validation

一种用于定向耦合器设计的LLM编排智能体，具有自洽本征模和FDTD验证

Saumya Biswas, Amrit De, Md Tauhidul Islam

机构 * Department of Mechanical Engineering, University of Maryland, College Park（马里兰大学学院市机械工程系） ； Apsidal LLC ； Department of Radiation Oncology, Stanford University（斯坦福大学放射肿瘤科） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出一种由大语言模型编排的智能体，结合本征模求解器和FDTD验证，自动设计SOI 2×2定向耦合器，实现高精度50/50分束。

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

DeepResearch-9K: A Challenging Benchmark Dataset of Deep-Research Agent

DeepResearch-9K：一个具有挑战性的深度研究智能体基准数据集

Tongzhou Wu, Yuhao Wang, Xinyu Ma, Xiuqiang He, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 为解决深度研究智能体缺乏大规模挑战性数据集和开源训练框架的问题，构建了DeepResearch-9K数据集，包含9000个多难度问题、搜索轨迹和可验证答案，并开发了开源训练框架DeepResearch-R1，实验表明训练后的智能体在基准测试上达到最优。

Comments 6 pages, 4 figures

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign: LLM代理的上下文隐私对齐

Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian, Jimmy Lin, Spandana Gella

机构 * University of Waterloo（滑铁卢大学） ； ServiceNow AI Research（ServiceNow AI 研究） ； McGill University（麦吉尔大学） ； Mila -- Quebec AI Institute（米拉——魁北克人工智能研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出PrivacyAlign数据集，通过人类标注对齐LLM代理的隐私决策，并引入基于标注的奖励建模以提升隐私对齐性能。

Mitigating Adverse Selection in Concentrated Liquidity AMMs with Dynamic Fees: An Agent-Based Model Approach

缓解集中流动性AMM中的逆向选择：基于动态费用的代理建模方法

Daniele Maria Di Nosse, Fabrizio Lillo

专题命中 Agent评测 ：agent(title,abstract)

AI总结 针对Uniswap v3等集中流动性AMM中流动性提供者面临的逆向选择成本，提出基于波动率和订单流毒性的动态费用机制，通过代理建模验证其可补偿损失而非直接降低损失。

Finite difference methods for a continuous-time heterogeneous agent model with recursive utility

具有递归效用的连续时间异质主体模型的有限差分方法

Yves Achdou, Qing Tang

专题命中 Agent评测 ：agent(title,abstract)

AI总结 针对Epstein-Zin递归效用下的连续时间异质主体模型，提出Howard-Newton和Howard-Tarski-Kantorovich算法求解离散化的HJB方程，证明算法收敛性及解的存在性，并给出先验误差估计。

An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation

面向心理健康支持的离线移动对话代理：通过情感对话和心理文本学习并以学生为中心评估

Vimaleswar A, Prabhu Nandan Sahu, Nilesh Kumar Sahu, Haroon R. Lone

机构 * Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal（电子工程与计算机科学系，比哈尔印度科学教育与研究中心） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI、cs.CL

AI总结 本文提出EmoSApp，一个离线智能手机应用，利用定制知识数据集训练的语言模型，提供心理健康支持，并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。

Journal ref https://aclanthology.org/2025.ijcnlp-long.191/

Drowning in Routine: Signal Dilution in Multi-Turn Agent Training

淹没在例行公事中：多轮智能体训练中的信号稀释

Yann Pernot, Vi Retault

机构 * Mila - Qu\'ebec AI Institute 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.LG

AI总结 本文提出决策密度ρ的概念，揭示多轮智能体训练中例行轮次导致信号稀释，并推导出轨迹级信噪比与ρ^{-1/2}成比例，实验验证了该缩放关系。

Comments Accepted at the FAGEN Workshop at ICML 2026, Seoul, South Korea. 14 pages, 9 figures

UltraQuant: 4-bit KV Caching for Context-Heavy Agents

UltraQuant: 面向上下文密集型智能体的4位KV缓存

Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao

机构 * Advanced Micro Devices（超威半导体） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Purdue University（普渡大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对上下文密集型智能体场景，提出UltraQuant方法，通过4位KV缓存压缩、旋转量化和代码本量化，结合AMD GPU优化，在长上下文多轮任务中延迟降低3.47倍，吞吐量提升1.63倍。

Comments 11 pages, 9 figures

CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents

CFAgentBench：面向自主建筑金融智能体的可复现环境与基准测试

Rishi Srivastava

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出CFAgentBench，一个可复现的建筑金融智能体基准，包含1014个任务、35个模拟应用，通过功能正确性评分，强调资金流动防护，实验表明单次准确率高估了部署能力。

Comments 28 pages, 2 figures, 13 tables. Benchmark, environment spec, and app contract released. First open-weight three-model sweep (k=5) on a 40-task oracle-validated executable suite; frontier-model leaderboard committed in the roadmap

OpenBioRQ: Unsolved Biomedical Research Questions for Agents

OpenBioRQ: 未解决的生物医学研究问题

Minbyul Jeong

机构 * Upstage AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出OpenBioRQ基准，包含12,553个无答案的未解决生物医学问题，用于评估智能体在检索、忠实性和工具使用方面的能力，发现当前模型存在工具使用崩溃问题。

Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation

管理LLM智能体中的程序性记忆：控制、适应与评估

Julia Belikova, Rauf Parchiev, Evgeny Egorov, Grigorii Davydenko, Gleb Gusev, Andrey Savchenko, Maksim Makarenko

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 提出AFTER基准（382个企业任务，22种程序性技能），评估技能在任务、角色和模型间的迁移，实验表明程序性记忆可提升3.7-6.7点性能，跨模型准确率达73.1%。

From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents

从知道到行动：基准测试LLM代理的自我意识能力

Yifan Li, Shengbin Yue, Boyu Feng, Jinhu Qi, Bo Ke, Zixing Song, Hongru Wang, Zhongyu Wei, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） ； University of Bristol（布里斯托大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出KAPRO框架和KAware数据集，通过解耦元认知判断与自主执行，评估LLM代理的自我意识能力，发现其与任务成功强相关但在内部能力场景中下降，开源模型易过度使用工具。

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025