AI Agent

Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

Agent^2 RL-Bench: 能否让LLM代理在训练后设计自主强化学习？

Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian

机构 * Soochow University（苏州大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； The University of Chicago（芝加哥大学） 纠错

专题命中 Agent评测 ：agent(title,title_cn)；agentic(title,abstract)；分类 cs.AI

AI总结 Agent2 RL-Bench评估LLM代理在训练后自主设计、实现、调试和执行提升基础模型的管道能力，展示代理在强化学习中的智能行为与局限性。

Comments 37 pages, 7 figures, 20 tables

An Activity-Theoretical Approach to Teacher Professional Development in Pedagogical AI Agent Design

基于活动理论的教师专业发展在教学人工智能代理设计中的应用

Haiyang Xin, Qiannan Niu, Shuang Li, Yimeng Sun, Ching Sing Chai, Lingyun Huang, Gaowei Chen

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)

AI总结 本研究通过两轮形成性干预，探讨教师在完成专业发展后为何失去创建AI代理的兴趣，并验证系统性设计能否解决这一问题，发现通过活动理论和自我决定理论的整合，可提升教师的能力与意愿。

Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack

安卓会为打破游戏而做梦吗？通过BenchJack系统性审计AI代理基准

Hao Wang, Hanchen Li, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title)；分类 cs.AI

AI总结 本文提出BenchJack系统，通过自动化红队系统审计AI代理基准，发现219种奖励黑客漏洞，提升基准鲁棒性。

Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents

睡眠通道与溯源门：始终在线自主AI代理中的持久提示注入

Narek Maloyan, Dmitry Namiot

专题命中 Agent评测 ：AI agent(title,abstract)；agent(abstract,abstract_cn)

AI总结 研究提出睡眠通道概念，揭示始终在线AI代理中持久提示注入的机制，并通过层级防御方案和形式化证明提升安全性。

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

Agentick: 一个统一的连续决策制定代理基准测试

Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

机构 * Mila Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；autonomous agent(abstract)；planning(abstract)

AI总结 Agentick是一个统一的连续决策制定代理基准测试，评估RL、LLM、VLM等代理在共同基础上的表现，揭示各方法的不足，为通用自主代理研究提供实验基础。

Integration of an Agent Model into an Open Simulation Architecture for Scenario-Based Testing of Automated Vehicles

将代理模型整合到开放仿真架构中以用于自动驾驶车辆的基于场景测试

Christian Geller, Daniel Becker, Jobst Beckmann, Lutz Eckstein

机构 * Institute for Automotive Engineering, RWTH Aachen University（汽车工程研究所，亚琛工业大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.SE

AI总结 本文提出一种标准化模块化仿真架构，用于在不同仿真环境中集成交通代理模型，通过Open Simulation Interface和Functional Mock-up Interface实现跨平台一致性验证。

Journal ref at - Automatisierungstechnik - 2026 - Band 74, Heft 5 - Special Issue: AI for automated driving

An Agentic LLM-Based Framework for Population-Scale Mental Health Screening

基于代理的大型语言模型框架用于大规模心理健康筛查

Giuliano Lorenzoni, Paulo Alencar, Donald Cowan

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 本文提出基于代理的LLM框架，通过显式策略和代理引导评估，实现对临床信息的处理和适应，展示在抑郁症检测中稳定配置和成本控制的成果。

Comments 8 pages, conference paper presented at IEEE BigData 2025, Macau

ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis

ATBench：一个多样且现实的代理轨迹基准，用于安全评估与诊断

Yu Li, Haoyu Luo, Yuejin Xie, Yuqian Fu, Zhonghao Yang, Shuai Shao, Qihan Ren, Wanying Qu, Yanwei Fu, Yujiu Yang, Jing Shao, Xia Hu, Dongrui Liu

机构 * Shanghai AI Lab（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； KAUST（卡塔尔人工智能科学中心） ； East China Normal University（华东师范大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 ATBench通过多样化的轨迹和现实场景评估代理安全，包含1000条轨迹，挑战性强，支持跨基准比较和长周期故障诊断。

No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills

无需攻击：用于代理技能规范违规的语义模糊测试

Ying Li, Hongbo Wen, Yanju Chen, Hanzhi Liu, Yuan Tian, Yu Feng

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出Sefz框架，通过语义模糊测试发现代理技能中的规范违规问题，揭示了安全规则漏洞对用户信任的影响。

Follow-Bench: A Unified Motion Planning Benchmark for Socially-Aware Robot Person Following

Follow-Bench：一种用于社交感知机器人跟随的统一运动规划基准

Hanjing Ye, Weixi Situ, Jianwei Peng, Yu Zhan, Bingyi Xia, Kuanqi Cai, Hong Zhang

机构 * Shenzhen Key Laboratory of Robotics and Computer Vision（深圳机器人与计算机视觉重点实验室） ； Southern University of Science and Technology（南方科技大学） ； Human-Robot Interfaces and Interaction Laboratory（人机交互实验室） ； Istituto Italiano Di Tecnologia（意大利技术研究院） ； Swiss Federal Technology Institute of Lausanne（洛桑联邦理工学院） 纠错

专题命中 Agent评测 ：planning(title,abstract)

AI总结 本文提出首个全面研究机器人跟随问题，介绍统一基准模拟多样场景，重新实现八种代表性规划器，评估最佳性能规划器以揭示现实部署挑战。

Comments Project page: https://follow-bench.github.io/

TRIAGE: Evaluating Prospective Metacognitive Control in LLMs under Resource Constraints

TRIAGE：在资源限制下评估大语言模型的前瞻性元认知控制

Zabir Al Nazi, Shubhashis Roy Dipta

机构 * University of California, Riverside, USA（加州大学河滨分校） ； University of Maryland, Baltimore County, USA（马里兰大学巴尔的摩县分校） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 研究评估了大语言模型在资源限制下的前瞻性元认知控制能力，通过Triage框架测试不同模型在多个领域的表现，揭示了现有模型在该能力上的显著差距。

Toward Scalable Verifiable Reward: Proxy State-Based Evaluation for Multi-turn Tool-Calling LLM Agents

迈向可扩展的可验证奖励：基于代理状态的多轮工具调用LLM代理评估

Yun-Shiuan Chuang, Chaitanya Kulkarni, Alec Chiu, Avinash Thangali, Zijie Pan, Shivani Shekhar, Yirou Ge, Yixi Li, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出基于代理状态的评估框架，用于多轮工具调用LLM代理的可扩展可验证奖励评估，通过LLM驱动的模拟框架实现稳定且区分模型的排名。

VERA-MH Concept Paper

VERA-MH概念论文

Luca Belli, Kate H. Bentley, Will Alexander, Emily Ward, Matt Hawrilenko, Kelly Johnston, Mill Brown, Adam M. Chekroud

机构 * Spring Health ； Yale University School of Medicine（耶鲁大学医学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 VERA-MH旨在通过自动化评估AI聊天机器人在心理健康中的安全性，尤其关注自杀风险。该系统利用用户代理和判断代理进行模拟对话评分，已初步测试了GPT-5、Claude Opus和Claude Sonnet。

MMRareBench: A Rare-Disease Multimodal and Multi-Image Medical Benchmark

MMRareBench: 一种罕见疾病多模态和多图像医学基准

Junzhi Ning, Jiashi Lin, Yingying Fang, Wei Li, Jiyao Liu, Cheng Tang, Chenglong Ma, Wenhao Tang, Tianbin Li, Ziyan Huang, Guang Yang, Junjun He

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Imperial College London（帝国理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 Agent评测 ：planning(abstract)；workflow(abstract)

AI总结 本文提出MMRareBench，首个评估多模态和多图像临床能力的罕见疾病基准，包含1756个问题-答案对和7958张医学图像，揭示23个MLLMs在多图像任务中表现低下，存在能力稀释效应。

MedOpenClaw and MedFlowBench: Auditing Medical Agents in Full-Study Workflows

MedOpenClaw 和 MedFlowBench：在完整研究流程中审计医疗代理

Weixiang Shen, Chengzhi Shen, Yanzhu Hu, Che Liu, Junde Wu, Jiayuan Zhu, Xiao Han, Zongyue Li, Jingpei Wu, Min Xu, Daguang Xu, Yueming Jin, Benedikt Wiestler, Daniel Rueckert, Jiazhen Pan

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM University Hospital（TUM大学医院） ； LMU Munich（慕尼黑大学） ； Imperial College London（伦敦帝国理工学院） ； University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（NVIDIA公司） ； National University of Singapore（新加坡国立大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)

AI总结 本文提出 MedFlowBench 和 MedOpenClaw，用于评估医疗影像代理在完整研究流程中生成可审计证据的能力，发现仅依赖答案评分不够，需结合正确证据验证。

Comments 33 pages

Synthesizing the Expert: A Validated Multimodal Dataset for Trustworthy AI-Assisted Swimming Coaching

合成专家：一个经过验证的多模态数据集用于可信的人工智能辅助游泳教练

Ahmad Al-Kabbany, Esraa Kassem

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 本文提出一个多模态数据集，用于构建可信的人工智能游泳教练系统，通过多代理LLM架构生成1864个验证的'问题-上下文-答案'三元组，提升自动化指导的可靠性。

BEAVER: An Enterprise Benchmark for Text-to-SQL

BEAVER：一个企业文本到SQL基准测试

Peter Baile Chen, Devin Yang, Weiyue Li, Fabian Wenz, Yi Zhang, Nesime Tatbul, Michael Cafarella, Çağatay Demiralp, Michael Stonebraker

机构 * MIT（麻省理工学院） ； Harvard University（哈佛大学） ； Greenshoe, Inc.（Greenshoe公司） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 BEAVER是首个基于企业私有数据仓库构建的文本到SQL基准测试，包含9128个问题-SQL对和19个领域的812张表，通过合成高质量查询和细粒度评估方法，揭示了现有模型在复杂企业场景下的性能差距。

Comments Dataset and code are available at https://beaverbench.github.io/

Large Language Models Lack Temporal Awareness of Medical Knowledge

大语言模型缺乏医学知识的时间意识

Zihan Guan, Qiao Jin, Guangzhi Xiong, Fangyuan Chen, Mengxuan Hu, Qingyu Chen, Yifan Peng, Zhiyong Lu, Anil Vullikanti

机构 * University of Virginia（弗吉尼亚大学） ； National Institutes of Health（美国国家卫生研究院） ； Dana-Farber Cancer Institute（达纳-法伯癌症研究所） ； Yale University（耶鲁大学） ； Weill Cornell Medicine（韦氏 Cornell 医学院） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TempoMed-Bench基准测试，揭示大语言模型在医学知识时间意识方面的不足，包括知识衰减、历史知识回忆困难及时间不一致行为，指出整合代理搜索工具难以解决该问题。

Comments 35 pages, 18 figures

Plan Before You Trade: Inference-Time Optimization for RL Trading Agents

先规划再交易：用于强化学习交易代理的推理时间优化

Eun Go, Rohan Deb, Arindam Banerjee

机构 * Siebel School of Computing and Data Science（塞比尔计算与数据科学学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FPILOT框架，通过预测价格轨迹优化交易策略，提升总回报和风险调整指标，适用于各种预训练代理。

Identifying AI Web Scrapers Using Canary Tokens

通过信标令牌识别人工智能网络爬虫

Steven Seiden, Triss Ren, Caroline Zhang, Taein Kim, Enze Liu, Emily Wenger

机构 * Duke University（杜克大学） ； University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文提出一种自动识别与大型语言模型相关的网络爬虫的方法，通过动态网站和信标令牌验证爬虫身份，实验表明能可靠识别多个未公开的爬虫。

Shields to Guarantee Probabilistic Safety in MDPs

护盾以保证马尔可夫决策过程中的概率安全

Linus Heck, Filip Macák, Roman Andriushchenko, Milan Češka, Sebastian Junges

机构 * Radboud University（拉德堡德大学） ； Brno University of Technology（布拉格技术大学） 纠错

专题命中 Agent评测 ：autonomous agent(abstract)；分类 cs.AI

AI总结 本文提出一种框架，扩展传统护盾以保证概率安全，证明强安全保证不可行，提供弱保证护盾，并引入离线和在线护盾构造以确保强安全保证。

Comments Accepted to CAV 2026

GeoBuildBench: A Benchmark for Interactive and Executable Geometry Construction from Natural Language

GeoBuildBench：一个用于从自然语言构建可执行几何构造的基准

Jinwoong Kim, Rui Yang, Huishuai Zhang

机构 * Peking University（北京大学） ； Wangxuan Institute of Computer Technology（王璇计算机技术研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 GeoBuildBench评估大语言模型能否将自然语言几何问题转化为可执行构造，包含489道中文教材问题，验证了多模态模型在交互构造任务中的局限性。

What Do You Think I Think? Accounting for Human Beliefs Using Second-Order Theory of Mind

我思考什么？利用二级理论 of mind 账户人类信念

Patrick Callaghan, Reid Simmons, Henny Admoni

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本文提出一种二级理论 of mind 框架，使智能体能检测并反馈人类错误信念及认知偏差，从而提升交互信息量。

Comments To appear in the proceedings of The 2026 Cognitive Science Society Conference

scShapeBench: Discovering geometry from high dimensional scRNAseq data

scShapeBench: 从高维scRNAseq数据中发现几何结构

Andrew J Steindl, João Felipe Rocha, Brian Tshilengi Di Bassinga, Zachary Warren, Matthew Scicluna, César Miguel Valdez Córdova, Shabarni Gupta, Leire Torices, Daniel Neumann, Timothy J. Mann, Ihuan Gunawan, Dhananjay Bhaskar, John G Lock, Christine L Chaffer, Guy Wolf, Smita Krishnaswamy

机构 * Yale University（耶鲁大学） ； Mila / Université de Montréal（Mila / 蒙特利尔大学） ； Garvan Institute of Medical Research（Garvan医学研究机构） ； School of Biomedical Sciences, University of New South Wales（新南威尔士大学生物医学科学学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 Agent评测 ：agentic(abstract)；分类 cs.LG

AI总结 scShapeBench通过合成和专家标注的单细胞数据集，提供高维数据形状检测的基准，结合扩散几何提取Reeb图，改进拓扑-aware评估指标，优于PAGA和Mapper。

Task-Aware Automated User Profile Generation for Recommendation Simulation Using Large Language Models

面向任务的自动化用户画像生成用于推荐模拟的大型语言模型

Xinye Wanyan, Chenglong Ma, Danula Hettiachchi, Ziqi Xu, Jeffrey Chan

专题命中 Agent评测 ：agent(abstract)

AI总结 本文提出APG4RecSim框架，通过自动化生成真实且稳定的用户画像，提升推荐模拟的性能和泛化能力，实验显示其在排序和评分任务中表现优异。

Comments Accepted by SIGIR 2026

FPGA-Accelerated Lock Management and Transaction Processing: Architecture, Optimization, and Design Space Exploration

FPGA加速的锁管理与事务处理：架构、优化与设计空间探索

Shien Zhu, Gustavo Alonso

专题命中 Agent评测 ：agent(abstract)

AI总结 本文提出基于FPGA的锁管理和事务处理架构，通过低延迟锁代理和可扩展事务代理提升事务吞吐量，实验显示在TPC-C基准上比CPU基线高51倍。

Comments 10 pages

Bicriteria Multidimensional Mechanism Design with Side Information

双目标多维机制设计与侧信息

Maria-Florina Balcan, Siddharth Prasad, Tuomas Sandholm

专题命中 Agent评测 ：agent(abstract)

AI总结 本文提出一种多维机制设计方法，利用侧信息提升效率与收益。通过整合改进的VCG机制与最弱类型代理，证明在高质量侧信息下，机制性能可与无先验总社会效益竞争。

Comments Mathematics of Operations Research Special Issue on Market Design; supersedes the NeurIPS 2023 paper of the same title

Pitfall of Precision in Noisy Signaling

精确性在噪声信号中的陷阱

Shuhua Si, Yangfan Zhou

专题命中 Agent评测 ：agent(abstract)

AI总结 研究探讨了在噪声信号中高精确度反而降低决策者福利的现象，揭示了精确度提升导致策略性信号行为增加的悖论，及其对统计歧视的影响。

astroCAMP: A Community Benchmark and Co-Design Framework for Sustainable SKA-Scale Radio Imaging

astroCAMP：一个用于可持续SKA级射电成像的社区基准和协同设计框架

Denisa-Andreea Constantinescu, Rubén Rodríguez Álvarez, Jacques Morin, Etienne Orliac, Mickaël Dardaillon, Sunrise Wang, Hugo Miomandre, Miguel Peón-Quirós, Jean-François Nezan, David Atienza

专题命中 Agent评测 ：workflow(abstract)

AI总结 astroCAMP提出统一的评估指标和标准化数据集，用于SKA级射电成像的跨平台评估和多目标协同设计，解决硬件-软件协同设计中的性能、可持续性和经济性问题。

Comments 13 pages, 16 figures