AI Agent

Predicting Task Difficulty Without Rollouts

无需展开预测任务难度

Stefan Krsteski, Charlotte Meyer

机构 * Andromede AI（安卓迈德人工智能） 纠错

专题命中 Agent评测 ：agent(abstract)；function calling(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对17个跨多领域的智能体基准，提出无需展开的任务难度预测方法，发现token级熵是有效预测信号，可通过难度残差暴露环境缺陷，助力校准基准与构建训练课程。

Evidence-Ledger Adjudication for Claim-Evidence Traceability

用于主张-证据可追溯性的证据账本裁决

Gengyu Chen, Yongjie Yu, Weiling Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Syracuse University（雪城大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 该研究提出证据账本裁决的主张-证据可追溯性工作流，构建2335行盲基准实验，结果显示智能体证据账本条件的关系准确率和宏F1显著优于非智能体基线，可退回需处理的主张并为AI辅助写作提供可审计可追溯层。

AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents

AgentDebugX：用于大语言模型代理中故障可观测性、归因和恢复的开源工具包

Kunlun Zhu, Xuyan Ye, Zhiguang Han, Yuchen Zhao, Bingxuan Li, Weijia Zhang, Muxin Tian, Xiangru Tang, Pan Lu, James Zou, Jiaxuan You, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） ； Google（谷歌公司） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 研究大语言模型代理故障调试难题，提出开源框架AgentDebugX，其核心DeepDebug通过多轮诊断定位根源，在基准测试中表现出色，能修复更多失败任务，还通过多种方式公开工作流程并提供错误中心。

SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions

SciDiagramEdit：从论文修订中学习编辑科学图表

Yasheng Sun, Zezi Zeng, Yifan Yang, Chong Luo, Wenyi Wang, Ziwei Liu, Jürgen Schmidhuber

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） ； Microsoft Research（微软研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对科学论文图表编辑自动化的挑战，提出SciDiagramEdit框架，通过从arXiv版本历史挖掘数据，采用技能进化的智能体学习，能从自然论文修订中学习，提升编辑准确性。

Comments 20 pages

COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows

COMFYCLAW：面向图像生成工作流的自进化技能工具包

Zongxia Li, Dawei Liu, Fuxiao Liu, Yuhang Zhou, Xiyang Wu, Jingxi Chen, Jing Xie, Xiaomin Wu, Lichao Sun

机构 * University of Maryland（马里兰大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nvidia（英伟达） ； Lehigh University（里海大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 提出COMFYCLAW框架，通过类型化图编辑、区域级VLM验证器和渐进式技能库进化，提升ComfyUI工作流构建的代理可靠性和性能，在多个基准上取得最佳平均评分。

ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences

ReplicatorBench：用于社会科学和行为科学中可复制性评估的LLM代理基准测试

Bang Nguyen, Dominik Soós, Qian Ma, Rochana R. Obadage, Zack Ranjan, Sai Koneru, Timothy M. Errington, Shakhlo Nematova, Sarah Rajtmajer, Jian Wu, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Old Dominion University（老道明大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Independent Researcher（独立研究员） ； Uppsala University（乌普萨拉大学） ； Center for Open Science（开放科学中心） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出ReplicatorBench，一个端到端的基准测试，用于评估AI代理在可复制性研究中的能力，涵盖数据提取、实验设计与结果解释三个阶段，并开发了ReplicatorAgent框架以评估不同LLM和编程语言的性能。

Comments Accepted to KDD 2026 AI4Sciences Track, Camera-ready version

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign: LLM代理的上下文隐私对齐

Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian, Jimmy Lin, Spandana Gella

机构 * University of Waterloo（滑铁卢大学） ； ServiceNow AI Research（ServiceNow AI 研究） ； McGill University（麦吉尔大学） ； Mila -- Quebec AI Institute（米拉——魁北克人工智能研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出PrivacyAlign数据集，通过人类标注对齐LLM代理的隐私决策，并引入基于标注的奖励建模以提升隐私对齐性能。

RecoAtlas: From Semantic Plausibility to Set-Level Utility in LLM Recommendation Agents

RecoAtlas: 从语义合理性到集级效用在LLM推荐代理中

Imad Aouali, Flavian Vasile, Otmane Sakhi, Alexandre Gilotte, Benjamin Heymann

机构 * Criteo AI Lab（Criteo人工智能实验室） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；tool-use(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RecoAtlas，一个用于评估购物代理的基准和工具包，通过行为基础的度量标准来评估推荐代理的性能，揭示语义合理性并不一定代表行为基础的效用。

Comments Benchmark on LLM Recommendation Agents

From Assistance to Agency: Rethinking Autonomy and Control in CI/CD Pipelines

从协助到自主：重新思考CI/CD流水线中的自主性与控制

Marcus Emmanuel Barnes, Taher A. Ghaleb, Safwat Hassan

机构 * Faculty of Information University of Toronto Toronto Ontario Canada（信息学院多伦多大学多伦多安大略加拿大） ； Department of Computer Science Trent University Peterborough Ontario Canada（计算机科学系特伦特大学彼得伯格安大略加拿大） ； University of Toronto（多伦多大学） ； Trent University（特伦特大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 本文探讨CI/CD流水线中自主性与控制的重新定义，提出授权转移的设计挑战，分析当前系统在数据平面的操作限制，并提出控制平面安全与治理机制的研究方向。

Comments Accepted to the 3rd ACM International Conference on AI-Powered Software (AIware 2026), Main Track, Montreal, Canada, July 6-7, 2026. 5 pages

MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments

MERRIN：一种多模态证据检索与推理的基准，用于噪声网络环境

Han Wang, David Wan, Hyunji Lee, Thinh Pham, Mikaela Cankosyan, Weiyuan Chen, Elias Stengel-Eskin, Tu Vu, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Virginia Tech（弗吉尼亚理工大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 MERRIN基准评估搜索增强代理在噪声网络环境中的多模态证据检索与推理能力，通过自然语言查询和多模态证据检索测试，发现现有模型在复杂任务中表现有限，需进一步提升多模态处理能力。

Comments First three authors contributed equally. Project Page: https://merrin-benchmark.github.io/

Synthetic Sandbox for Training Machine Learning Engineering Agents

合成沙盒用于训练机器学习工程代理

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao, Hong Yan

机构 * Meta AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SandMLE框架，通过生成多样化的合成机器学习工程环境，显著提升机器学习工程代理的训练效率，实现大规模在线策略学习，并在多个基准测试中取得显著性能提升。

Comments 28 pages, 9 tables, 8 figures

Glia: A Human-Inspired AI for Automated Systems Design and Optimization

Glia：一种受人类启发的AI，用于自动化系统设计与优化

Pouya Hamadanian, Pantea Karimi, Arash Nasr-Esfahany, Kimia Noorbakhsh, Joseph Chandler, Ali ParandehGheibi, Mohammad Alizadeh, Hari Balakrishnan

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 Glia通过人类启发的多智能体工作流利用大语言模型，生成可解释的系统设计，展示了AI在复杂系统问题中创造性和可理解性的能力。

Heterogeneous Debate Engine: Identity-Grounded Cognitive Architecture for Resilient LLM-Based Ethical Tutoring

异质辩论引擎：基于身份的认知架构用于鲁棒的基于大语言模型的伦理导师

Jakub Masłowski, Jarosław A. Chudziak

机构 * Institute of Computer Science, Warsaw University of Technology（华沙理工大学计算机科学研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出异质辩论引擎，结合身份导向检索增强生成与启发式理论思维，解决多代理系统在伦理教学中保持精确回答的挑战。

Comments 15 pages, 3 figures, 4 tables. Accepted at ACIIDS 2026

SODIUM: From Open Web Data to Queryable Databases

SODIUM：从开放网络数据到可查询数据库

Chuxuan Hu, Philip Li, Maxwell Yang, Daniel Kang

机构 * UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究针对需要整合多源网络数据的分析问题，提出SODIUM任务，通过系统化构建潜在数据库支持查询。开发SODIUM-Agent系统，采用ATP-BFS算法实现深度网络探索与结构化信息提取，准确率达91.1%。

Fanar 2.0: Arabic Generative AI Stack

Fanar 2.0：阿拉伯生成AI堆栈

FANAR TEAM, Ummar Abbas, Mohammad Shahmeer Ahmad, Minhaj Ahmad, Abdulaziz Al-Homaid, Anas Al-Nuaimi, Enes Altinisik, Ehsaneddin Asgari, Sanjay Chawla, Shammur Chowdhury, Fahim Dalvi, Kareem Darwish, Nadir Durrani, Mohamed Elfeky, Ahmed Elmagarmid, Mohamed Eltabakh, Asim Ersoy, Masoomali Fatehkia, Mohammed Qusay Hashim, Majd Hawasly, Mohamed Hefeeda, Mus'ab Husaini, Keivin Isufaj, Soon-Gyo Jung, Houssam Lachemat, Ji Kim Lucas, Abubakr Mohamed, Tasnim Mohiuddin, Basel Mousi, Hamdy Mubarak, Ahmad Musleh, Mourad Ouzzani, Amin Sadeghi, Husrev Taha Sencar, Mohammed Shinoy, Omar Sinan, Yifan Zhang

机构 * Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 Fanar 2.0在资源受限条件下实现卓越性能，通过数据质量优先、持续预训练和模型融合，提升阿拉伯语知识、语言、方言及英语能力，同时引入多项新功能。

RIVA: Leveraging LLM Agents for Reliable Configuration Drift Detection

RIVA: 利用LLM代理进行可靠的配置漂移检测

Sami Abuzakuk, Lucas Crijns, Anne-Marie Kermarrec, Rafael Pires, Martijn de Vos

机构 * EPFL（瑞士洛桑联邦理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE

AI总结 RIVA通过多代理系统和交叉验证技术，提高在工具响应错误时的IaC验证可靠性。

EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

EnterpriseBench Corecraft: 在高保真RL环境中训练通用智能体

Sushant Mehta, Logan Ritchie, Suhaas Garre, Ian Niebres, Nick Heiner, Edwin Chen

机构 * Surge AI 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 在高保真RL环境中训练智能体，通过CoreCraft环境验证其在多步骤领域任务中的泛化能力，提升任务通过率并转移至多个基准测试。

FAMOSE: A ReAct Approach to Automated Feature Discovery

FAMOSE：一种用于自动化特征发现的ReAct方法

Keith Burghardt, Jienan Liu, Sadman Sakib, Yuning Hao, Bo Li

机构 * Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 FAMOSE通过ReAct方法实现自动化特征发现，显著提升分类和回归任务的性能，展示了AI代理在创新解决方案中的有效性。

Comments 23 pages, 6 figures

Can Multimodal LLMs Perform Time Series Anomaly Detection?

多模态大语言模型能否进行时间序列异常检测？

Xiongxiao Xu, Haoran Wang, Yueqing Liang, Philip S. Yu, Yue Zhao, Kai Shu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Emory University（埃默里大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； University of Southern California（南加州大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出基于多代理框架的TSAD-Agents，利用多模态大语言模型实现自动时间序列异常检测。

Comments ACM Web Conference 2026 (WWW'26)

Endless Terminals: Scaling RL Environments for Terminal Agents

无尽终端：为终端智能体扩展强化学习环境

Kanishk Gandhi, Shivam Garg, Noah D. Goodman, Dimitris Papailiopoulos

机构 * Stanford University（斯坦福大学） ； Microsoft Research（微软研究院） ； UW-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.CL、cs.LG

AI总结 Endless Terminals 通过自动化生成终端任务并训练智能体，显著提升了在终端基准测试和人工整理基准测试上的性能。

GAMMS: Graph based Adversarial Multiagent Modeling Simulator

基于图的对抗多智能体建模模拟器

Rohan Patil, Jai Malegaonkar, Xiao Jiang, Andre Dion, Gaurav S. Sukhatme, Henrik I. Christensen

机构 * University of Southern California（美国南加州大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.AI、cs.SE

AI总结 GAMMS是一款轻量级多智能体仿真框架，支持图结构环境下的快速开发与评估，提供可视化反馈和现实基础，适用于复杂领域如交通和通信系统。

From Helpfulness to Toxic Proactivity: Diagnosing Behavioral Misalignment in LLM Agents

从有益到有毒的主动性：诊断LLM代理的行为不一致

Xinyue Wang, Yuanhe Zhang, Zhengshuo Gong, Haoran Gao, Fanyu Meng, Zhenhong Zhou, Li Sun, Yang Liu, Sen Su

机构 * Beijing University of Posts（北京邮电大学） ； China Mobile Research Institute（中国移动研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；planning(abstract)；分类 cs.AI、cs.CL

AI总结 本文研究了LLM代理在权衡有益与无害时产生的有毒主动性行为，提出了一种基于双模型互动的评估框架，并通过实验揭示了该现象的普遍性及两种主要趋势。

Comments 9 pages (excluding appendices), 6 figures. Code is available at https://github.com/wxyoio-0715/Toxic-Proactivity

Beyond Factual QA: Mentorship-Oriented Question Answering over Long-Form Multilingual Content

超越事实问答：面向长形式多语言内容的指导型问答

Parth Bhalerao, Diola Dsouza, Ruiwen Guan, Oana Ignat

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MentorQA，首个多语言长形式视频指导型问答数据集和评估框架，通过对比不同架构发现Multi-Agent在复杂和低资源语言中表现更优。

Evolving Excellence: Automated Optimization of LLM-based Agents

精益求精：基于大语言模型的代理的自动化优化

Paul Brookes, Vardan Voskanyan, Rafail Giavrimis, Matthew Truscott, Mina Ilieva, Chrystalla Pavlou, Alexandru Staicu, Manal Adham, Will Evers- Hood, Jingzhi Gong, Kejia Zhang, Matvey Fedoseev, Vishal Sharma, Roman Bauer, Zheng Wang, Hema Nair, Wei Jie, Tianhua Xu, Aurora Constantin, Leslie Kanthan, Michail Basios

机构 * University of Leeds（利兹大学） ； City, University of London（伦敦城市大学） ； University of West London（西伦敦大学） ； University of Edinburgh（爱丁堡大学） ； University of Surrey（萨里大学） ； University of Warwick（沃里克大学） ； King's College London（伦敦国王学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 ARTEMIS通过语义感知的进化算法，自动优化基于大语言模型的代理配置，显著提升多个任务的性能表现。

MegaChat: A Synthetic Persian Q&A Dataset for High-Quality Sales Chatbot Evaluation

MegaChat: 一个用于高质量销售聊天机器人评估的合成波斯语问答数据集

Mahdi Rahmani, AmirHossein Saffari, Reyhane Rahmani

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 MegaChat通过自动化多代理架构生成高质量波斯语问答数据，用于评估销售聊天机器人，优于传统RAG模型。

Comments 6 pages, 11 figures, 2 tables

ConDABench: Interactive Evaluation of Language Models for Data Analysis

Avik Dutta, Priyanshu Gupta, Hosein Hasanbeig, Rahul Pratap Singh, Harshit Nigam, Sumit Gulwani, Arjun Radhakrishna, Gustavo Soares, Ashish Tiwari

机构 * Microsoft（微软） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Do LLM Agents Have Regret? A Case Study in Online Learning and Games

Chanwoo Park, Xiangyu Liu, Asuman Ozdaglar, Kaiqing Zhang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Maryland, College Park（马里兰大学College Park分校） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.LG

Comments Camera ready version of ICLR 2025

Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support

Kevin Pu, Daniel Lazaro, Ian Arawjo, Haijun Xia, Ziang Xiao, Tovi Grossman, Yan Chen

机构 * University of Toronto（多伦多大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents

Hengyu An, Jinghuai Zhang, Tianyu Du, Chunyi Zhou, Qingming Li, Tao Lin, Shouling Ji

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

Comments EMNLP 2025

TextQuests: How Good are LLMs at Text-Based Video Games?

Long Phan, Mantas Mazeika, Andy Zou, Dan Hendrycks

机构 * Center for AI Safety（人工智能安全中心） ； Carnegie Mellon University（卡内基梅隆大学） ； Gray Swan AI（灰天鹅AI） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；tool use(abstract)；分类 cs.AI、cs.CL