AI Agent

The DeepSpeak-Agentic Dataset

DeepSpeak-Agentic 数据集

Sarah Barrington, Maty Bohacek, Hany Farid

机构 * University of California, Berkeley, USA（加州大学伯克利分校） ； Stanford University, USA（斯坦福大学） 纠错

专题命中 Agent评测 ：agentic(title,title_cn)；agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本文提出了一个包含37小时人机半结构化对话视频的数据集DeepSpeak-Agentic，用于评估AI代理的自动取证识别、研究人机交互特性，并作为大型语言模型和AI生成语音/面部技术的基准。

Just Type It in Isabelle! AI Agents Drafting, Mechanizing, and Generalizing from Human Hints

Just Type It in Isabelle! AI Agents Drafting, Mechanizing, and Generalizing from Human Hints

Kevin Kappelmann, Maximilian Schäffeler, Lukas Stevens, Mohammad Abdulaziz, Andrei Popescu, Dmitriy Traytel

机构 * Department of Computer Science, University of Sheffield, United Kingdom（英国谢菲尔德大学计算机科学系） ； Department of Informatics, King’s College London, United Kingdom（英国伦敦国王学院信息学院） ； Department of Computer Science, University of Copenhagen, Denmark（丹麦哥本哈根大学计算机科学系） 纠错

专题命中 Agent评测 ：AI agent(title,title_cn)；agent(abstract)；分类 cs.AI

AI总结 研究Isabelle中秩一多态λ项的类型标注问题，通过人类和AI代理（LLM）分别进行纸笔证明和自动形式化，并利用人类提示进行改进和泛化。

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

AgentLens: 揭示 SWE-Agent 评估中的幸运通过问题

Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软） 纠错

专题命中 Agent评测 ：agent(title,title_cn)；分类 cs.AI、cs.SE

AI总结 针对软件工程智能体评估中仅依赖最终补丁是否通过测试的二元信号问题，提出AgentLens框架进行过程级评估，通过构建前缀树接受器参考和上下文敏感意图标注器，识别出10.7%的通过轨迹存在“幸运通过”行为，并基于质量分数将轨迹分为幸运、扎实和理想三个等级。

A New Framework for Cybersecurity Refusals in AI Agents

AI代理中网络安全拒绝的新框架

Eliot Krzysztof Jones, Mateusz Dziemian, Matt Fredrikson, J Zico Kolter

机构 * Gray Swan ； Gray Swan AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出首个针对AI代理在进攻性安全场景中建立拒绝边界的框架，包括拒绝原则、任务分类和评估方法，并发现8个前沿模型中6个拒绝率接近零。

SAGE: A Quantitative Evaluation of Socialized Evolution in Agent Ecosystems

SAGE: 智能体生态中社会化演化的定量评估

Linyue Pan, Yaoming Zhu, Lin Qiu, Xuezhi Cao, Xunliang Cai

机构 * Tsinghua University, China（清华大学, 中国） ； Meituan, China（美团, 中国） 纠错

专题命中 Agent评测 ：agent(title,abstract)；planning(abstract)；分类 cs.AI、cs.CL

AI总结 提出SAGE框架，通过对比社会演化（SocialEvo）与自我演化（SelfEvo）两种计算条件，在三个领域评估共享经验对智能体性能的影响，发现群体历史并非普遍放大器，但能帮助陷入停滞的智能体取得突破，且社会收益依赖于抽象能力而非暴露量。

Comments 13 pages, 5 figures

Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories

深度研究代理在何处出错？代理轨迹中的跨度级错误定位

Jiaming Wang, Ziteng Feng, Jiangtao Wu, Ruihao Li, Qianqian Xie, Yuxiang Ren, He Zhu, Xueming Han, Fanyu Meng, Junlan Feng, Jiaheng Liu

机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； JIUTIAN Research（JIUTIAN研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；tool use(abstract)；分类 cs.AI

AI总结 针对深度研究代理在长轨迹中难以定位错误的问题，本文通过构建TELBench基准和提出DRIFT审计框架，实现了跨度级错误定位，将首次错误定位准确率提升高达30个百分点。

Comments 28 pages, 11 figures, 4 tables

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

品味问题：提高智能体基准测试的覆盖率和难度

Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichart

专题命中 Agent评测 ：agent(title,abstract)；tool-use(abstract)；分类 cs.AI

AI总结 提出TASTE方法，通过反转任务构建流程，利用自适应对比n-gram模型和聚类自动生成覆盖广泛工具组合的高难度基准任务，以解决现有基准饱和问题。

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 Agent评测 ：autonomous agent(title,abstract)；agent(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning

跨厂商Sola ISPM基准测试：评估面向联邦身份安全推理的智能体AI

Eden Yavin, Gal Engelberg, Konstantin Koutsyi, Leon Goldberg, Gal Baron

专题命中 Agent评测 ：agentic(title)；agent(abstract)；AI agent(abstract)

AI总结 针对多云和SaaS平台中跨厂商身份安全配置错误与权限提升路径的评估缺失，提出包含50个数据驱动任务的跨厂商Sola ISPM基准测试，并构建评估框架，实验表明结构化关系上下文将答案正确性相对提升约34%，探索查询减少约70%。

Comments 22 pages, 4 figures, 8 tables, 2 appendices

TadA-Bench: A Million-Variant Benchmark for Future-Round Discovery Toward Agentic Protein Engineering

TadA-Bench：面向智能蛋白质工程的未来轮次发现的百万变异基准

Jin Gao, Juntu Zhao, Zirui Zeng, Jiaqi Shen, Junhao Shi, Dukun Zhao, Yuming Lu, Dequan Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI、cs.LG

AI总结 TadA-Bench 是一个基于31轮TadA定向进化的百万变异湿实验回放基准，通过定义固定数据回放任务来评估模型在未见过的未来轮次中排序变异的能力，并引入Seq2Graph统一标签，揭示进化覆盖度比局部数据密度更重要。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). Data: https://huggingface.co/datasets/JinGao/TadABench-1M . Code: https://github.com/shiyegao/TadABench-1M

Skill-RM: Unifying Heterogeneous Evaluation Criteria via Agent Skill

Skill-RM: 通过智能体技能统一异构评估标准

Tao Chen, Gangwei Jiang, Pengyu Cheng, Siyuan Huang, Yihao Liu, Jingwei Ni, Jiaqi Guo, Mengyu Zhou, Kai Tang, Junling Liu, Qinliang Su, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（通义千问大模型应用团队，阿里巴巴） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； ETH Zürich University of Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：agent(title)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 提出Skill-RM框架，将奖励建模重构为可重用的奖励评估技能执行，通过动态选择和聚合证据统一异构评估标准，在奖励基准和下游任务中优于传统方法。

Any2Poster: Any-Source Poster Generation Across Modalities and Domains

Any2Poster: 跨模态和领域的任意源海报生成

Amogh Vinaykumar, Aiden Li, Suozhi Huang, Shilong Liu

机构 * Flower Mound High School（弗洛拉穆恩高中） ； University College London（伦敦大学学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 Agent评测 ：agent(summary_cn,abstract)

AI总结 提出Any2Poster Bench基准和Any2Poster Agent智能体，实现从多种输入模态和领域生成海报，并通过基于测验和视觉评估的方法验证信息保真度和视觉传达效果。

Comments Project Page: https://github.com/Any2Poster/Any2Poster

VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring

VLESA: 用于人类活动监测的视觉语言具身安全智能体

Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； Harvard University（哈佛大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 提出VLESA框架，通过自我中心视频监测人类活动，利用GRPO训练的目标条件安全Q过滤器进行实时安全干预，在ASIMOV-2.0基准上实现更高干预精度。

Comments 18 pages, 5 tables, 5 figures

BigFinanceBench: A Workflow-Grounded Benchmark for Financial-Research Agents

BigFinanceBench: 一个基于工作流的金融研究智能体基准

Alex Wang, Georg Meinhardt, Jacob Katz, Joseph H. Kim, Pratyush K. Chaudhary, Chase Blagden, Eric Xu

机构 * Rogo ； OpenAI 纠错

专题命中 Agent评测 ：workflow(title,abstract)；分类 cs.AI

AI总结 针对金融研究答案可审计推导过程未被充分评估的问题，提出包含928个专家编写任务、每个任务附带点权评分标准的BigFinanceBench基准，用于评估完整推导过程而非仅最终答案，实验表明最佳系统仅达58.8%评分，存在显著提升空间。

Overlaying Governance: A Compositional Authorization Framework for Delegation and Scope in Agentic AI

覆盖治理：面向代理型人工智能的委托与范围的组合授权框架

Amjad Ibrahim, Yong Li

机构 * Huawei Heisenberg Research Center（华为海森堡研究所以） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 针对代理型AI中传统授权框架无法处理递归委托、动态范围等问题，提出一种组合治理框架，通过定义委托类型、权限责任和资源范围衰减，并引入组合算子在不重写现有策略的情况下叠加代理语义，实现可问责的授权。

Comments 12 pages

Capability Advertisement as a Market for Lemons: A Trust Layer for Heterogeneous Agent Networks

能力广告作为柠檬市场：异构智能体网络的信任层

Gaurav Naresh Mittal

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对LLM智能体网络中的能力虚假声称问题，提出基于柠檬市场理论的信任层，通过概率描述、筛选和声誉机制实现可信委托。

JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation

JAVEDIT: 联合音频-视觉指令引导视频编辑与智能体数据策展

Yinan Chen, Chuming Lin, Zhennan Chen, Yuxiang Zeng, Junwei Zhu, Yali Bi, Xijie Huang, Chengming Xu, Donghao Luo, Zhucun Xue, Xiaobin Hu, Chengjie Wang, Yong Liu, Jiangning Zhang, Shuicheng Yan

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Nanjing University（南京大学） ； University of Auckland（奥克兰大学） ； Fudan University（复旦大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)

AI总结 针对联合音频-视觉编辑缺乏数据集和基准的问题，提出首个大规模高质量数据集JAVEdit-100k、基准JAVEditBench以及基线模型JAVEdit，在六项指标中五项超越所有基线。

Comments Equal contributions from first two authors. Project page: https://ryanchenyn.github.io/projects/JAVEdit Code: https://github.com/RyanChenYN/JAVEdit Dataset: https://huggingface.co/datasets/Coraxor/JAVEdit-100k

DiTTo: Scalable Order-aware All-in-One Image Restoration Agent

DiTTo: 可扩展的排序感知全能图像修复智能体

Seungho Choi, Jihyong Oh

机构 * CMLab, Chung-Ang University（Chung-Ang 大学 CMLab） ； David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon 大学 计算机科学系 Hippocampus 教授） 纠错

专题命中 Agent评测 ：agent(title,abstract)

AI总结 提出DiTTo框架，通过模拟器高效构建最优修复轨迹数据集，并采用排序感知对齐实现修复专家的即插即用扩展，在多退化图像修复中达到最优性能。

Comments Please visit our project page at https://cmlab-korea.github.io/DiTTo/

A para-model agent for dynamical systems

动力系统的参数模型智能体

Loïc Michel

专题命中 Agent评测 ：agent(title)

AI总结 提出一种广义的无模型控制方法，通过参数模型智能体实现非线性动力系统的控制与无导数优化，并验证其鲁棒性。

Comments 41 pages, 38 figures, partially presented at the French Symposium of Electrical Engineering in Grenoble, Jun. 2016 and at the Sparse days in St Girons III, Jul. 2015

ClinicalMC: A Benchmark for Multi-Course Clinical Decision-Making with Large Language Models

ClinicalMC：面向大语言模型的多疗程临床决策基准

Ruihui Hou, Siyi Zhu, Ziyue Huai, Guangya Yu, Yongqi Fan, Chunming Wang, Tong Ruan

机构 * East China University of Science and Technology, Shanghai, China（东华大学） ； Renji Hospital Affiliated to Shanghai Jiaotong University School of Medicine, Shanghai, China（复旦大学附属中山医院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出ClinicalMC基准，包含多阶段样本，通过多智能体评估框架在单轮静态和多轮动态设置下测试大语言模型的临床决策能力。

DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration

DeskCraft: 桌面代理在专业工作流与人在环协作中的基准测试

Wenkai Wang, Tao Xiong, Jingchen Ni, Yunpeng Bao, Xiyun Li, Tianqi Liu, Hongcan Guo, Zilong Huang, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） ； The University of Hong Kong（香港大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出DeskCraft基准，针对专业创意软件中的长周期工作流和主动人机协作，通过多级难度分类和交互协议评估18种代理，发现GPT-5.4在标准任务上达31.6%，交互任务上达27.6%。

Probe Before You Edit: Probing-Guided Molecular Optimization for LLM Agents in Structure-Based Drug Design

编辑前先探测：基于探测引导的分子优化用于基于结构的药物设计中的LLM代理

Zaifei Yang, Weiyu Chen, Yaqing Wang, James Kwok

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） ； Beijing Institute of Mathematical Sciences and Applications（北京数学科学应用研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出PROBE框架，通过探测口袋-配体复合物的编辑响应来引导LLM代理进行分子优化，解决结合亲和力与成药性之间的冲突，在CrossDocked2020上达到最优性能。

VeRO: A Harness for Agents to Optimize Agents

VeRO: 用于优化智能体的智能体框架

Varun Ursekar, Apaar Shanker, Veronica Chatrath, Yuan Xue, Samuel Marc Denton

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出 VeRO 框架和 VeRO-Bench 基准，通过版本化快照、预算控制评估和结构化执行轨迹来优化智能体代码，并实验比较不同优化器对目标智能体的改进效果。

Comments Accepted to the Forty-Third International Conference on Machine Learning (ICML), 2026

Whom to Query for What: Adaptive Group Elicitation via Multi-Turn LLM Interactions

为谁查询什么：通过多轮LLM交互的自适应群体征询

Ruomeng Ding, Tianwei Gao, Thomas P. Zollo, Eitan Bachmat, Richard Zemel, Zhun Deng

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Columbia University（哥伦比亚大学） ； Ben-Gurion University of the Negev（贝内-约尔大学内盖夫分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 针对有限预算下群体属性不确定性降低问题，提出结合LLM期望信息增益与异构图神经网络传播的自适应群体征询框架，实现问题与受访者联合选择，在三个真实数据集上显著提升群体响应预测。

Comments Published as a conference paper at ICML 2026

Acceptance-Test-Driven Evaluation Protocols for Business-Centric LLM Systems

面向业务中心LLM系统的验收测试驱动评估协议

Eric Liang

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 针对LLM系统概率生成与确定性需求不匹配问题，提出基于验收测试驱动开发、安全工程和业务中心验证的评估协议，将利益相关者目标转化为可执行行为契约，并采用红-训练-绿生命周期确保多维门控通过后才发布。

AgentCL: Toward Rigorous Evaluation of Continual Learning in Language Agents

AGENTCL：面向语言代理持续学习的严格评估

Yiheng Shu, Bernal Jiménez Gutiérrez, Saisri Padmaja Jonnalagedda, Yuguang Yao, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Intuit AI Research（Intuit AI研究） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出AGENTCL评估框架，通过可控任务流和迁移增益指标，严格评估语言代理的持续学习能力，并开发MemProbe探针方法诊断记忆设计的影响。

Comments 10 pages in the main text, 26 pages in total

Hierarchical Online Prompt Mutation with Dual-Loop Feedback for Guardrailed Evidence Document Generation: A Production-Evaluation Case Study

分层在线提示变异与双环反馈用于有护栏的证据文档生成：生产评估案例研究

Nataraj Agaram Sundar, Tejas Morabia

机构 * eBay Inc.（eBay公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI、cs.LG

AI总结 提出分层在线提示变异框架HOPM，通过双环反馈（人工审核与自动评判）优化提示策略，在真实市场纠纷证据生成中显著提升胜率和质量。

Comments 7 pages. Production-evaluation case study of guardrailed LLM evidence-document generation

PnP-Corrector: A Universal Correction Framework for Coupled Spatiotemporal Forecasting

PnP-Corrector：一种用于耦合时空预测的通用校正框架

Hao Wu, Fan Xu, Yuxu Lu, Penghao Zhao, Fan Zhang, Hao Jia, Yuxuan Liang, Ruijian Gou, Qingsong Wen, Xian Wu, Xiaomeng Huang, Yuan Gao

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 针对耦合系统中误差相互放大导致长期预测崩溃的问题，提出一种即插即用的校正框架PnP-Corrector，通过冻结物理模拟引擎并训练校正代理来主动抵消系统偏差，显著提升长期预测的稳定性和准确性。

Identifying Quantum Structure in AI Language: Evidence for Evolutionary Convergence of Human and Artificial Cognition

识别AI语言中的量子结构：人类与人工智能认知进化趋同的证据

Diederik Aerts, Jonito Aerts Arguëlles, Lester Beltran, Suzette Geriente, Roberto Leporini, Massimiliano Sassoli de Bianchi, Sandro Sozzo

机构 * Center Leo Apostel for Interdisciplinary Studies, Vrije Universiteit Brussel (VUB)（利奥·阿波斯泰尔跨学科研究中心，布鲁塞尔自由大学） ； Department of Economics, University of Bergamo（博洛尼亚大学经济系） ； Department of Humanities and Cultural Heritage (DIUM) and Centre CQSCS, University of Udine（乌迪内大学人文与文化遗产系及CQSCS中心） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 通过对大型语言模型进行认知测试，发现其概念组合中存在贝尔不等式显著违背和玻色-爱因斯坦统计，表明人类与人工智能在概念-语言领域均涌现非经典量子结构，支持认知进化趋同假说。

Journal ref Entropy 28, 622, 2026

Human-Like Goalkeeping in a Realistic Football Simulation: a Sample-Efficient Reinforcement Learning Approach

逼真足球模拟中的人性化守门：一种样本高效的强化学习方法

Alessandro Sestini, Joakim Bergdahl, Jean-Philippe Barrette-LaPierre, Florian Fuchs, Brady Chen, Fabio Zinno, Michael Jones, Linus Gisslén

机构 * University of Edinburgh（爱丁堡大学） ； KTH Royal Institute of Technology（皇家理工学院） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种样本高效的深度强化学习方法，通过利用预收集数据和增加网络可塑性，在EA SPORTS FC 25中训练出守门员智能体，其扑救率比内置AI高10%，训练速度比标准DRL快50%，且行为更接近人类。