AI Agent

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces

通过动态知识空间实现自动驾驶的去混淆终身学习

Jiayuan Du, Yuebing Song, Yiming Zhao, Xianghui Pan, Jiawei Lian, Yuchu Lu, Liuyi Wang, Chengju Liu, Qijun Chen

机构 * Tongji University（同济大学） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DeLL框架，结合DPMM与因果推理的front-door调整机制，构建动态知识空间以解决自动驾驶中的灾难性遗忘和知识迁移问题，并引入进化轨迹解码器提升规划能力。

Comments Accepted by ECCV 2026

KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning

KAGE-Bench：面向强化学习的已知轴视觉泛化快速评估

Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

机构 * AXXX, Moscow, Russia（AXXX，莫斯科，俄罗斯） ； MIRAI, Moscow, Russia（MIRAI，莫斯科，俄罗斯） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出KAGE-Bench基准，通过解耦视觉轴独立评估像素策略在视觉分布偏移下的泛化能力，发现背景和光度偏移严重影响性能，而智能体外观偏移影响较小。

Comments 41 pages, 47 figures, 5 tables

An Executable Benchmarking Suite for Tool-Using Agents

为工具使用智能体设计的可执行基准测试套件

Zhiqing Zhong, Zhijing Ye, Jiamin Wang, Xiaodong Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文提出一个可执行基准测试套件，通过共享证据准入合同明确工作负载、行动生成驱动器和系统面向声明的证据。该套件连接WebArena Verified和MiniWoB++，并提供统一的工作负载适配器、任务清单、事件模式、回放/冻结政策、声明驱动器和报告管道。

Comments Withdrawn by the authors. The authors identified substantive errors that affect the interpretation of the results and the support for the main conclusions. The current version should not be relied upon

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

SAGE：面向自由形式问答的大语言模型的搜索增强评估

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Dalhousie University（达尔豪斯大学） ； Emory University（埃默里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出SAGE框架，通过主动检索和综合外部证据评估LLM输出的事实性，无需固定参考答案，在多个自由问答基准上实现与人类评估的高度一致。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

More Skills, Worse Agents? Skill Shadowing Degrades Performance When Expanding Skill Libraries

更多技能，更差智能体？扩展技能库时技能遮蔽降低性能

Hongwen Song, Song Wei

机构 * Databricks Inc.（Databricks公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.SE

AI总结 本文研究LLM智能体技能库扩展导致性能下降的现象，提出将性能下降分解为技能遮蔽和上下文开销两种效应，并通过实验证明技能遮蔽是主要瓶颈。

Ensemble RL through Classifier Models: Enhancing Risk-Return Trade-offs in Trading Strategies

通过分类器模型进行集成强化学习：在交易策略中增强风险回报权衡

Zheli Xiong

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在金融交易策略中使用集成强化学习模型的全面研究，利用分类器模型来提升性能。通过将A2C、PPO和SAC等强化学习算法与传统分类器如支持向量机（SVM）、决策树和逻辑回归相结合，探讨不同分类器组如何整合以改善风险回报权衡。研究评估了各种集成方法的有效性，将其与单个强化学习模型在关键金融指标（包括累计回报率、夏普比率（SR）、卡勒姆比率和最大回撤（MDD））上进行比较。结果表明，集成方法在风险调整后的回报方面始终优于基础模型，提供了更好的回撤管理和整体稳定性。然而，我们发现集成性能对方差阈值τ的选择敏感，强调了动态调整τ以达到最佳性能的重要性。本研究强调了将强化学习与分类器结合在自适应决策中的价值，对金融交易、机器人和其他动态环境具有启示。

Comments 23 pages,10 figures, 9 table

Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions

具有时变干预的流行病时间序列中的反事实预测基准测试

Wenhao Mu, Facundo Yan, Anik Mumssen, Marisa Eisenberg, Alexander Rodríguez

机构 * University of Michigan Computer Science and Engineering（密歇根大学计算机科学与工程系） ； University of Michigan Epidemiology & Complex Systems（密歇根大学流行病学与复杂系统） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 为解决缺乏可观测反事实结果的真实基准问题，基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准，支持静态/时变治疗和单/多策略干预，评估多种因果推断方法。

Comments To appear in Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

When Does Deep RL Beat Calibrated Baselines? A Benchmark Study on Adaptive Resource Control

深度强化学习何时超越校准基线？自适应资源控制的基准研究

Guilin Zhang, Chuanyi Sun, Kai Zhao, Xu Chu, Shahryar Sarkani, John Fossaceca

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 通过RLScale-Bench基准测试，发现校准的基于规则的自动缩放器在所有工作负载上成本均低于六种主流深度强化学习算法，并揭示了算法选择、基线校准和评估协议的关键瓶颈。

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?

LLM-WikiRace 基准测试：大语言模型在真实知识图谱上的规划能力有多强？

Juliusz Ziomek, William Bankes, Lorenz Wolf, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University of Oxford, UK（牛津大学，英国） ； University College London (Centre for AI), UK（伦敦大学学院（人工智能中心），英国） ； University of Basel, Switzerland（巴塞尔大学，瑞士） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 提出 LLM-Wikirace 基准，通过维基百科超链接导航任务评估大语言模型的规划、推理与世界知识，发现模型在简单任务上超人类，但困难任务成功率仅 23%，且规划与长程推理是主要瓶颈。

Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents

波的语法：通过神经符号VLM智能体实现可解释的多变量时间序列事件检测

Sky Chenwei Wan, Yifei Y. Wang, Tianjun Hou, Xiqing Chang, Aymeric Jan

机构 * AI Lab, SLB（SLB人工智能实验室） ； Télécom Paris, Institut Polytechnique de Paris, France（巴黎电信学院，巴黎高等理工学院，法国） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出语言引导的时间序列事件检测（TSED）任务，通过事件逻辑树（ELT）将文本描述转化为结构化时序逻辑，并构建神经符号VLM智能体SELA，实现零/少样本事件检测与可解释推理。

Comments 8 pages (main text), 28 pages total including appendix. 9 figures, 7 tables

DSAEval: Evaluating Data Science Agents on a Wide Range of Real-World Data Science Problems

DSAEval：在广泛真实世界数据科学问题上评估数据科学智能体

Maojun Sun, Yifei Xie, Yue Wu, Ruijian Han, Binyan Jiang, Defeng Sun, Yancheng Yuan, Jian Huang

机构 * Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Applied Mathematics, Hong Kong Polytechnic University（应用数学系，香港理工大学） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 提出包含641个真实数据科学问题的基准DSAEval，涵盖多模态环境感知、多查询交互和多维评估，系统评估13个先进LLM智能体，发现Claude-Sonnet-4.5综合最优，多模态感知提升视觉任务性能2.04%-11.30%。

ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

ClawEnvKit：爪型智能体的自动环境生成

Xirui Li, Ming Li, Ion Stoica, Cho-Jui Hsieh, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Arena ； University of California, Berkley（伯克利大学） ； University of California, Los Angeles（洛杉矶大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 提出ClawEnvKit自动生成多样、可验证的爪型智能体训练与评估环境，构建含1040个环境的Auto-ClawEval基准，成本降低13800倍，性能提升达15.7个百分点。

RECAP: Regression Evaluation for Continual Adaptation of Prompts

RECAP: 提示持续适应的回归评估

Harsh Deshpande, Kushal Chawla, Sangwoo Cho, William Campbell, Sambit Sahu

机构 * Capital One 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.CL、cs.LG

AI总结 提出RECAP基准，在严格主动适应-测试协议下评估提示优化方法对约束变化的持续学习能力，发现现有方法在主动场景下性能无显著提升，强调设计主动提示适应方法的必要性。

Position: Deployed Reinforcement Learning should be Continual

立场：部署的强化学习应该是持续的

Parnian Behdin, Kevin Roice, Golnaz Mesbahi

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文主张部署的强化学习系统应持续学习，分析了部署后非平稳性的四个来源，并展示了持续RL的优势和实现方法。

Comments Accepted to the ICML 2026 Position Paper Track. See https://icml.cc/virtual/2026/poster/67195

Defenses & Enablers For Skill Injection Attacks on Terminal Based Agents

针对终端代理的技能注入攻击的防御与使能因素

Yoshinari Fujinuma, Varun Gangal, Traian Rebedea, Makesh Narsimhan Sreedhar, Prasoon Varshney, Rebecca Qian, Anand Kannappan

机构 * Patronus AI ； NVIDIA 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.CL

AI总结 研究基于大语言模型的代理在重用技能时面临的安全威胁，提出守护者防御（动态和静态）将攻击成功率降低过半，并测试了攻击重述的鲁棒性。

Comments First version, small updates and clarifications likely in v2

OpenCompass: A Universal Evaluation Platform for Large Language Models

OpenCompass：大型语言模型的通用评估平台

Maosong Cao, Kai Chen, Haodong Duan, Yixiao Fang, Zhiwei Fei, Tong Gao, Ge Jiaye, Mo Li, Hongwei Liu, Junnan Liu, Yuan Liu, Chengqi Lyu, Han Lyu, Ningsheng Ma, Zerun Ma, Yu Sun, Zhiyong Wu, Linchen Xiao, Zhuozhi Xiong, Jun Xu, Haochen Ye, Zhaohui Yu, Yike Yuan, Songyang Zhang, Yufeng Zhao, Fengzhe Zhou, Peiheng Zhou, Dongsheng Zhu, Lin Zhu, Jingming Zhuo

机构 * OpenCompass Team（OpenCompass团队） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL、cs.LG

AI总结 提出OpenCompass，一个模块化、高兼容性、灵活且高并发的通用LLM评估平台，支持多种任务场景和主流基准数据集。

IMProofBench: Benchmarking AI on Research-Level Mathematical Proof Generation

IMProofBench：在研究级数学证明生成上对人工智能进行基准测试

Johannes Schmitt, Gergely Bérczi, Jasper Dekoninck, Jeremy Feusi, Tim Gehrunger, Raphael Appenzeller, Pieter Belmans, Alessio Bottini, Jim Bryan, João Camarneiro, Ana Cannas da Silva, Niklas Canova, Ana-Maria Castravet, Timo de Wolff, Claudio Fontanari, Filippo Gaia, Baran Hashemi, Daniel Holmes, David Holmes, Aitor Iribar Lopez, Victor Jaeck, Martina Jørgensen, Steven Kelk, Martijn Kool, Stefan Kuhlmann, Adam Kurpisz, Johannes Lengler, Chiara Meroni, Ingmar Metzler, Martin Möller, Samuel Muñoz-Echániz, David Muñoz-Lahoz, Robert Nowak, Georg Oberdieck, Daniel Platt, Dylan Possamaï, Gabriel Ribeiro, Aluna Rizzoli, Daria Sakhanda, Raúl Sánchez Galán, Zheming Sun, Diaaeldin Taha, Josef Teichmann, Richard P. Thomas, Henk van der Pol, Michel van Garrel, Charles Vial, Ignacio Barros, Benjamin Doerr, Peter Grünwald, Henry Liu, David Martins, Aleksandar Mijatović, Sergej Monavari, Marc Roth, Patrick Schnider, Yannik Schuler, Pim Spelier, Yuuji Tanaka, Ronald van Luijk

机构 * ETH Zurich（苏黎世联邦理工学院） ； Aarhus University（奥胡斯大学） 纠错

专题命中 Agent评测 ：agentic(abstract,comments)；分类 cs.CL

AI总结 针对大语言模型数学能力评估，引入IMProofBench基准测试，由专家开发77个经同行评审问题，涵盖详细证明及子问题，模拟现实研究环境，结果显示当前LLMs能解决不少研究级问题，该基准测试将持续发展。

Comments v2: benchmark expanded from 39 to 77 problems; evaluation extended to 14 models including GPT-5.4, Gemini 3.1 Pro, and Claude Opus 4.6; new analyses (IRT-based score aggregation, inter-rater reliability, tool/token usage, non-agentic ablation); contributor author list updated

SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

SKILLER：面向小型语言模型可复用技能提取的语言级强化学习框架

Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对小型语言模型技能生成成本高的问题，提出SKILLER框架，经实验在多基准上优于现有方法，性能接近闭源模型，可大幅降低智能体技能部署成本。

Comments 15 pages, 6 figures, and 8 tables. Project and code: this https URL (https://github.com/DANG-ai/SKILLER)

SkillSight: Calibrating Generic Content Bias for Skill Retrieval

SkillSight：通过共享描述实现准确技能检索

Jinying Xiao, Bin Li, Xiaopeng Li, Jianling Li, Jiacheng Jie, Xiaodong Liu, Ma Jun, Chao Wang, Nyima Tashi, Jie Yu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体技能检索问题，提出SkillSight框架，通过语义和词汇空间校准共享背景，减少偏差，实验证明该方法能提升检索指标，在端到端评估中表现出色且速度快，实现准确高效的技能选择。

Comments 9 pages, 4 figures

OEIS Open: How many conjectures can language models turn into theorems?

OEIS Open：语言模型能将多少个猜想转化为定理？

Tom Adamczewski

机构 * Epoch AI 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究构建OEIS Open基准，发现配备最少工具的语言模型在适中预算下可自主解决部分OEIS未解决数学猜想，访问大量数学文献或复杂智能体循环未提升其性能。

Comments 26 pages, 6 figures. Code: https://github.com/epoch-research/LeanOpenProblems, results: https://github.com/epoch-research/LeanOpenProblems-results

Auditable Agents

可审计代理

Yi Nian, Aojie Yuan, Haiyue Zhang, Jiate Li, Li Li, Xiyang Hu, Hua Wei, Xiongye Xiao, Chaowei Xiao, Yue Zhao

机构 * FORTIS Lab, University of Southern California（南加州大学FORTIS实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文探讨了可审计代理系统的核心问题，提出五个可审计性维度和三种机制类别，通过实证证据证明代理系统需具备审计能力才能实现问责。

Comments 24 pages, 1 figure. Extended version. A condensed 4-page version appears in the Proceedings of the ACM AI Leadership Summit 2026 (Visionary Papers track)

Multiview Representation Learning via Distributed Joint Latent Space Structuring

基于分布式联合隐空间构建的多视图表示学习

Milad Sefidgaran, Piotr Krasnowski, Abdellatif Zaidi

机构 * Huawei Paris Research Center, France（华为巴黎研究中心，法国） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究针对分布式多视图表示学习的客户端协调问题，推导了基于MDL的泛化界，提出分布式高斯乘积混合先验方法，经多组实验验证了其有效性。

Self-Harness: Harnesses That Improve Themselves

Self-Harness：自我改进的操控框架

Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出Self-Harness范式，让LLM智能体通过弱点挖掘、框架提议和验证迭代改进自身操控框架，在Terminal-Bench-2.0上使三种模型的通过率分别提升21.4%、14.3%和14.2%。

FinEvolveBench: A Benchmark for Self-Evolving Agents on Low-Repetition Tasks with Implicit Rewards

经验之树：低重复与隐式奖励环境下自演化智能体的结构化经验管理方案

Zihao Deng, Yining Zhu, Leiming Wang, Jingfei Lu, Junbo Wang, Chuncheng Ran, Yu Yang, Dixuan Yang, Jikun Shen

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 针对低重复任务与隐式奖励环境，提出结构化经验管理方法ToE，通过组织、检索、验证和更新经验，在金融情绪预测基准上优于无经验基线。

Learning Multi-Timescale Interventions under Safety and Resource Constraints

安全与资源约束下的多时间尺度干预学习

David Mguni, Wanrong Yang, Jing Dong, Jing Peng, Ziquan Liu, Muhammad Salman Haleem, Baoxiang Wang, Dominik Wojtczak

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究提出MINT模型，通过增强干预状态与结构化策略处理多时间尺度干预，在三类基准测试中表现优异，尤其在T1DM场景下大幅提升血糖控制效果。

Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

提交前的证据锁定：冻结界面会降低“大模型作为评判者”的评估效果

Divyansh Singh

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 该研究测试了证据锁定等不同LLM-as-Judge评估方案，发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性，而结构化证据引出效果接近标准评判，持久化证据可支持审计但不应替代源答案。

Comments Withdrawn due to an error identified in the code during debugging. The error affects the reported results

Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems

测量模拟到现实的差距：为物联网系统中的强化学习设计一个经济实惠的真实世界基准平台

Rongping Zhou, Omid Tavallaie, Shuaijun Chen, Albert Y. Zomaya

机构 * The University of Sydney（悉尼大学） ； University of Oxford（牛津大学） ； The University of Western Australia（西澳大利亚大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对AIoT系统中强化学习模拟到现实的差距问题，开发了成本低于400美元的真实世界平台，通过硬件模拟键盘让边缘设备智能体玩游戏训练，实验显示模拟训练智能体部署后性能大幅下降，直接现实训练有可行性，为强化学习评估提供了基础。