AI Agent

Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents

多轮交互中的安全隐患：工具使用智能体的多轮安全风险基准与防御

Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Bo Li, Dawn Song, Xue Lin, Weiyan Shi

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出多轮工具使用安全基准MT-AgentRisk，发现多轮设置下攻击成功率平均增加16%，并设计无训练、与工具无关的自探索防御方法ToolShield，平均降低30%攻击成功率。

The Impossibility of Eliciting Latent Knowledge

引出潜在知识的不可能性

Korbinian Friedl, Francis Rhys Ward, Paul Yushin Rapoport, Tom Everitt, Jonathan Richens

机构 * The London School of Economics and Political Science（伦敦政治经济学院） ； Independent（独立机构） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本文利用因果影响图形式化定义引出潜在知识问题，证明不存在仅依赖行为反馈的训练策略能确保智能体诚实报告其信念。

Comments 24 pages, 3 figures. Includes proofs in appendix

Monte Carlo Pass Search: Using Trajectory Generation for 3D Counterfactual Pass Evaluation in Football

蒙特卡洛传球搜索：利用轨迹生成进行足球3D反事实传球评估

Andrew Kang, Priya Narasimhan

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出蒙特卡洛传球搜索（MCPS），结合价值模型、世界模型和反事实策略，基于3D轨迹数据评估足球传球，通过两种执行盈余分数实现分布感知的传球分析。

Comments CVPR 2026, CVSports Workshop

PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

PSEBench: 一个用于评估大语言模型在患者安全事件分类中的可控且可验证的基准

Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

机构 * Emory University（埃默里大学） ； Scale AI ； Mayo Clinic（梅奥诊所） ； Vanderbilt University Medical Center（范德比大学医学中心） 纠错

专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出基于政策条款卡的结构化构建方法，通过锚点驱动实例化和闭环验证生成带真实标签的叙事，并创建包含5074个案例的基准PSEBench，评估15个代表性LLM在患者安全事件分类中的能力。

OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

OmniGameArena: 一个统一的UE5基准测试，用于具有改进动态的VLM游戏智能体

Mingxian Lin, Shengju Qian, Yuqi Liu, Yi-Hua Huang, Yiyu Wang, Wei Huang, Yitang Li, Fan Zhang, Zeyu Hu, Lingting Zhu, Xin Wang, Xiaojuan Qi

机构 * The University of Hong Kong（香港大学） ； LIGHTSPEED ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出OmniGameArena，一个包含12个UE5游戏的统一基准，以及改进动态曲线（IDC），通过反思机制评估VLM智能体的冷启动分数、改进动态和泛化能力。

From 0-to-1 to 1-to-N: Reproducible Engineering Evidence for MetaAI Recursive Self-Design

从0到1再到N：MetaAI递归自我设计的可复现工程证据

Dun Li, Jiatao Li, Hongzhi Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Shanghai Maritime University（上海海事大学） ； Chizhou University（池州学院） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 提出可复现证据框架，通过四个标准评估现有系统，其中Darwin Goedel Machine在SWE-bench上提升30%，并给出可复现协议MetaAI-Mini。

Comments 6 pages, 2 figures, 7 tables. Supplementary code: https://github.com/DunLi-Tsinghua/MetaAI-Mini

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

用于模拟自主超级摩托车赛车的自定进度课程强化学习

Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 提出自定进度课程深度强化学习框架，结合软演员-评论家算法，动态生成渐进任务，在物理精确模拟器中训练自主摩托车赛车，优于标准SAC。

Comments Presented at the "1st Workshop on Generalization in Autonomous Driving: Paradigms, Practice, and Public Road Demonstrations" at ICRA 2026, Vienna. Oral+poster presentation

Crazyflow: An Accurate, GPU-Accelerated, Differentiable Drone Simulator in JAX

Crazyflow: 基于JAX的精确、GPU加速、可微分的无人机模拟器

Martin Schuck, Marcel P. Rath, Yufei Hua, Abhishek Goudar, SiQi Zhou, Angela P. Schoellig

机构 * Technical University of Munich（慕尼黑技术大学） ； University of Toronto（多伦多大学） ； Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出Crazyflow模拟器，通过GPU加速和可微分设计，实现单机超高速仿真、数千架无人机集群模拟，并支持基于解析梯度的策略学习与采样避障，甚至能在0.38秒内从零训练飞行恢复策略。

Comments Fix minor metadata mistakes

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

CSE-UOI在SemEval-2026任务6中的表现：一种双阶段异构集成与 deliberative 复杂性门控的政治理论逃避检测方法

Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

机构 * University of Ioannina（伊奥安纳大学） ； National Technical University of Athens（雅典国家技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出一种双阶段异构集成方法，结合自我一致性与加权投票，以及新颖的后处理修正机制Deliberative Complexity Gating，用于政治逃避检测，最终在评估集上获得0.85的Macro-F1分数。

Elmes*: Automated Construction of Fine-Grained Evaluation Rubrics for Large Language Models in Long-Tail Educational Scenarios

Elmes*：面向长尾教育场景的大语言模型细粒度评估量规自动构建

Tao Liu, Ye Lu, Ruohua Zhang, Siyu Song, Wentao Liu, Aimin Zhou, Hao Hao

机构 * Shanghai Institute of AI for Education, East China Normal University（上海人工智能教育研究院，东华师范大学） ； School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，东华师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.LG

AI总结 提出Elmes*框架，自动构建细粒度场景特定量规，用于评估大语言模型在教育场景中的多维教学能力，构建Edu-330基准并揭示模型差异。

SentinelBench: A Benchmark for Long-Running Monitoring Agents

SentinelBench: 一个用于长时间运行监控代理的基准测试

Matheus Kunzler Maldaner, Adam Fourney, Amanda Swearngin, Hussein Mozannar, Gagan Bansal, Maya Murad, Rafah Hosn, Saleema Amershi

机构 * University of Florida（佛罗里达大学） ； Microsoft Research, AI Frontiers（微软研究院，人工智能前沿） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 提出SentinelBench，一个包含10个合成网络环境中100个任务的基准测试，用于评估AI代理在长时间监控任务中的表现，衡量任务完成度、反应时间和资源使用。

Comments 18 pages, 16 figures

QueryAgent-R1: Bridging Query Generation and Product Retrieval for E-Commerce Query Recommendation

QueryAgent-R1：连接查询生成与商品检索的电商查询推荐

Dike Sun, Zheng Zou, Jingtong Zang, Qi Sun, Huaipeng Zhaoand Tao Luo, Xiaoyi Zeng

机构 * Alibaba International Digital Commercial Group（阿里巴巴国际数字商业集团） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出QueryAgent-R1框架，通过记忆增强和检索链优化，将查询生成与实际库存检索对齐，以提升电商搜索中查询推荐的产品转化率。

AURA: Intent-Directed Probing for Implicit-Need Surfacing in Situated LLM Agents

AURA: 面向情境化LLM代理中隐式需求挖掘的意图导向探测

Yang Li, Jiaxiang Liu, Jiang Cai, Mingkun Xu

机构 * Guangdong Institute of Intelligence Science and Technology（广东省智能科学与技术研究院） 纠错

专题命中 Agent评测 ：tool use(abstract)；tool-use(abstract)；分类 cs.CL

AI总结 提出AURA方法，通过在场景感知和工具使用之间插入意图推理步骤生成IntentFrame，以结构化估计隐式需求并控制探测预算，在隐式意图基准上提升覆盖率达+0.07，同时减少82%的探测次数并避免隐私违规。

Comments Submitted to EMNLP 2026. Code, simulator, and benchmark: https://github.com/innovation64/AURA

Adaptive Minds: Empowering Agents with LoRA-as-Tools

自适应心智：将LoRA作为工具赋予智能体能力

Pavan C Shekar, Aswanth Krishnan

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 提出将LoRA适配器作为可调用工具的框架，通过路由和智能体推理聚合多个专业适配器的优势，在30个适配器库中达到98.3%路由准确率，并在九类任务上显著提升性能。

Comments 13 pages, 3 figures, 9 tables. ICML 2026 CompLearn Workshop camera-ready (non-archival). Code: https://github.com/qpiai/adaptive-minds

Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems

非参数随机组合梯度下降法在连续马尔可夫决策问题中的Q学习

Alec Koppel, Ekaterina Tolstaya, Ethan Stump, Alejandro Ribeiro

机构 * University of Pennsylvania（宾夕法尼亚大学） ； U.S. Army Research Laboratory（美国陆军研究实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.LG

AI总结 本文提出非参数随机组合梯度下降法用于连续马尔可夫决策问题中的Q学习，通过将贝尔曼最优性方程转化为嵌套非凸随机优化问题，并利用核诱导再生核希尔伯特空间进行参数化，最终证明算法在概率意义下收敛于问题的 stationary 点。

ClinicalMC: A Benchmark for Multi-Course Clinical Decision-Making with Large Language Models

ClinicalMC：面向大语言模型的多疗程临床决策基准

Ruihui Hou, Siyi Zhu, Ziyue Huai, Guangya Yu, Yongqi Fan, Chunming Wang, Tong Ruan

机构 * East China University of Science and Technology, Shanghai, China（东华大学） ； Renji Hospital Affiliated to Shanghai Jiaotong University School of Medicine, Shanghai, China（复旦大学附属中山医院） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出ClinicalMC基准，包含多阶段样本，通过多智能体评估框架在单轮静态和多轮动态设置下测试大语言模型的临床决策能力。

DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration

DeskCraft: 桌面代理在专业工作流与人在环协作中的基准测试

Wenkai Wang, Tao Xiong, Jingchen Ni, Yunpeng Bao, Xiyun Li, Tianqi Liu, Hongcan Guo, Zilong Huang, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） ； The University of Hong Kong（香港大学） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出DeskCraft基准，针对专业创意软件中的长周期工作流和主动人机协作，通过多级难度分类和交互协议评估18种代理，发现GPT-5.4在标准任务上达31.6%，交互任务上达27.6%。

Probe Before You Edit: Probing-Guided Molecular Optimization for LLM Agents in Structure-Based Drug Design

编辑前先探测：基于探测引导的分子优化用于基于结构的药物设计中的LLM代理

Zaifei Yang, Weiyu Chen, Yaqing Wang, James Kwok

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； City University of Hong Kong（香港城市大学） ； Beijing Institute of Mathematical Sciences and Applications（北京数学科学应用研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 提出PROBE框架，通过探测口袋-配体复合物的编辑响应来引导LLM代理进行分子优化，解决结合亲和力与成药性之间的冲突，在CrossDocked2020上达到最优性能。

MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

MCP-Persona：通过环境模拟在真实个人应用上基准测试LLM智能体

Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool use(abstract)；分类 cs.AI

AI总结 针对现有基准忽略个人社交应用中工具与个人账户或本地数据库交互的挑战，提出MCP-Persona基准，通过模拟真实个性化MCP工具评估LLM智能体性能，实验表明现有智能体在个性化工具使用上存在显著困难。

Comments ICML 2026 Camera Ready

Absorbing Complexity: An Interaction-Native Knowledge Harness for Financial LLM Agents

吸收复杂性：面向金融LLM代理的交互原生知识驾驭系统

Ailiya Borjigin, Igor Stadnyk, Ben Bilski, Maksym Chikita, Dmytro Kyrylenko, Sofiia Pidturkina, Julia Stadnyk

机构 * True Trading ； Inc4.net 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 提出交互原生知识驾驭（InKH）架构，通过被动知识注入、时序图记忆和过期失效机制，将复杂性吸收到系统中，在金融LLM代理任务中显著降低延迟、令牌成本和过时知识使用，同时提升任务质量和可追溯性。

Comments 17 pages, 3 figures

HAIM: Human-AI Music Datasets for AI Music Production Tracking Benchmark

HAIM: 用于AI音乐制作跟踪基准的人机音乐数据集

Seonghyeon Go, Yumin Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.AI

AI总结 针对当前AI音乐检测局限于二元分类的不足，提出HAIM数据集，通过多阶段标签定义“AI音乐跟踪”任务，评估现有检测器缺陷，推动向细粒度结构化评估转变。

LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection

LISTEN 你的偏好：面向多目标选择的LLM框架

Adam S. Jovine, Tinghan Ye, Francis Bahk, Jingjing Wang, Matthew Ford, David B. Shmoys, Peter I. Frazier

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出LISTEN框架，利用LLM作为决策代理，通过迭代优化内部偏好模型（LISTEN-U参数法或LISTEN-T非参数法）从自然语言中学习用户隐含偏好，实现多目标选择。

Comments Accepted at IJCAI-ECAI 2026 (the 35th International Joint Conference on Artificial Intelligence)

Do Joint Audio-Video Generation Models Understand Physics?

联合音视频生成模型是否理解物理？

Zijun Cui, Xiulong Liu, Hao Fang, Mingwei Xu, Jiageng Liu, Zexin Xu, Weiguo Pian, Shijian Deng, Feiyu Du, Chenming Ge, Yapeng Tian

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 针对联合音视频生成模型，提出AV-Phys Bench基准测试其物理常识，发现所有模型在物理一致性上表现不足，尤其是事件驱动和环境驱动转换场景。

Comments Preprint. Project Page: https://zijuncui.com/AV-Phys/. Full abstract appears in the PDF

DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents

DEBATE：用于评估角色扮演LLM代理中观点动态的大规模基准

Yun-Shiuan Chuang, Ruixuan Tu, Chengtao Dai, You Li, Smit Vasani, Binwei Yao, Michael Henry Tessler, Sijia Yang, Dhavan Shah, Robert Hawkins, Junjie Hu, Timothy T. Rogers

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 提出DEBATE基准，通过多轮公共消息和Likert量表信念数据，评估多代理角色扮演LLM模拟中观点动态的真实性，发现零样本设置下代理组过度收敛，而监督微调可改善立场对齐并减少组级收敛误差。

GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing

GEM-Bench：生成引擎营销中广告注入响应生成的基准测试

Silan Hu, Shiqi Zhang, Yimin Shi, Xiaokui Xiao

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 针对生成引擎营销中广告注入响应生成缺乏专门基准的问题，提出首个综合基准GEM-Bench，包含多场景数据集、多维度指标和基线方案，实验表明简单提示方法虽能提升点击率但降低用户满意度，而基于预生成无广告响应的插入方法可缓解此问题但增加开销。

Comments Technical Report

SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge?

SEAL: 饱和基准能否通过LLM作为元裁判得以复兴？

Jiamin Chen, Yidi Wu, Qiexiang Wang, Qianben Chen, Yuchen Li, Yansen Zhang, Xiaokun Zhang, Wangchunshu Zhou, Chen Ma

机构 * ByteDance Inc.（字节跳动公司） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 Agent评测 ：agent(abstract)；tool-use(abstract)；分类 cs.CL

AI总结 提出SEAL协议，通过自适应LLM元裁判从饱和基准中提取潜在排名信号，在代码生成、数学推理等任务上以更少调用实现高排名准确率。

PTCG-Bench: Can LLM Agents Master Pokémon Trading Card Game?

PTCG-Bench：LLM智能体能否掌握宝可梦集换式卡牌游戏？

Dongdong Hua, Yifei Sun, Renhong Huang, Feng Gao, Chunping Wang, Yang Yang

机构 * Zhejiang University（浙江大学） ； FinVolution Group（FinVolution集团） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 提出PTCG-Bench基准，通过宝可梦集换式卡牌游戏评估LLM智能体的决策性能和自进化能力，并设计模块化消融实验分析智能体性能。

OpenSkillEval: Automatically Auditing the Open Skill Ecosystem for LLM Agents

OpenSkillEval：自动审计LLM智能体的开放技能生态系统

Jiahao Ying, Boxian Ai, Wei Tang, Siyuan Liu, Yixin Cao

机构 * Singapore Management University（新加坡国立管理学院） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） ； Joy Future Academy, JD（京东探索研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；分类 cs.CL

AI总结 提出自动评估框架OpenSkillEval，通过动态构建真实任务实例和收集社区技能，系统评估技能增强型智能体系统及技能本身，揭示技能可用性不保证有效使用、技能增强收益依赖模型和框架等关键发现。

InsightEval: An Expert-Curated Benchmark for Assessing Insight Discovery in LLM-Driven Data Agents

InsightEval：用于评估LLM驱动数据代理洞察发现能力的专家策划基准

Zhenghao Zhu, Yuanfeng Song, Xin Chen, Chengzhong Liu, Yakun Cui, Caleb Chen Cao, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港理工大学） ； ByteDance（字节跳动） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 针对现有洞察发现基准InsightBench的缺陷，提出数据整理流程构建新基准InsightEval，并引入新指标衡量代理的探索性能。

Beyond One Path: Evaluating and Enhancing Divergent Thinking in Interactive LLM Agents

超越单一路径：评估与增强交互式LLM代理的发散性思维

Jihyeong Park, Ingeol Baek, Jeonghyun Park, Hwanhee Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL

AI总结 提出交互式基准MUTATE和策略ReDNA，用于评估和增强LLM代理在路径和动作层面的发散性思维，解决现有框架中即时收敛压力导致的动作固定问题。

Comments 28 pages, 16 figures, 19 tables