AI Agent

StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance

StreamMemBench: 面向未来辅助的智能体记忆流式评估

Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun Lu

机构 * Fudan University（复旦大学） ； Amazon Stream（亚马逊流） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出StreamMemBench基准，通过两步任务序列测试智能体记忆从流式观察到后续任务中证据回忆、反馈整合与重用能力，实验发现现有系统在证据使用和反馈转化上存在不足。

RedAct: Redacting Agent Capability Traces for Procedural Skill Protection

RedAct: 为程序技能保护而编辑智能体能力痕迹

Shuwen Xu, Zhitao He, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 提出RedAct框架，通过定位保护关键信息、重写痕迹并嵌入行为水印，将技能转移率降至无技能基线以下，同时保留审计证据。

EpiBench: Verifiable Evaluation of AI Agents on Epigenomics Analysis

EpiBench：人工智能代理在表观基因组学分析中的可验证评估

Harihara Muralidharan, Reema Baskar, Soo Hee Lee, Tim Proctor, Kenny Workman

机构 * LatchBio 纠错

专题命中 Agent评测 ：AI agent(title)；workflow(abstract)；分类 cs.AI

AI总结 提出EpiBench基准，通过106个评估任务测试AI代理在表观基因组学工作流中的决策能力，发现最佳系统GPT-5.5/Pi通过率仅45%，失败多因缺乏深度科学判断。

From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent

从被动生成到主动调查：一种主动的科学同行评审代理

Haishuo Fang, Yue Feng, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Technical University of Darmstadt（达姆施塔特工业大学通用知识处理实验室） ； National Research Center for Applied Cybersecurity ATHENE, Germany（德国国家应用网络安全研究中心 ATHENE） ； School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 提出ProReviewer，一种基于LLM的主动科学同行评审代理，将评审建模为马尔可夫决策过程，通过结构化评审日志引导主动调查，在五个质量维度上平均得分最高，优于现有方法。

Exploring How Agent Voice Accents Shape Human-AI Collaboration in K-12 Group Learning

探索智能体口音如何影响K-12小组学习中的人机协作

Prerna Ravi, Carúmey Stevens, Ben Hurt, Brandon Hanks, Grace Lin, Emma Anderson

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 研究通过33名教师的实验，发现GenAI语音智能体的不同口音（英式、印度式、非裔美式）影响其被感知为工具或同伴，进而影响信任、参与和依赖。

Food4All: An Agentic Framework and Benchmark for Food Resource Navigation with Adaptive User Understanding

Food4All: 一种具有自适应用户理解能力的食物资源导航智能体框架与基准

Yiyang Li, Weixiang Sun, Tianyi Ma, Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

机构 * University of Notre Dame（诺特大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.CL

AI总结 提出Food4All框架，结合食物搜索工具与300个多轮评估任务，在686个印第安纳食物资源上评估六种大语言模型，诊断其在约束条件处理和非理想用户交互中的不足。

Comments We have further refined the benchmark construction and experimental presentation to improve clarity and consistency. The revised version includes updated task design, food-resource data, and evaluation details to better align the benchmark with the intended food resource referral setting. These changes provide a more precise presentation of the experimental findings

ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

ABC-Bench：生物安全的主体生物能力基准

Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

机构 * Andrew Bo Liu（安德鲁·刘） ； Samira Nedungadi（萨米拉·纳杜加迪） ； Bryce Cai（布莱斯·凯） ； Alex Kleinman（亚历克斯·克莱因曼） ； Harmon Bhasin（哈蒙·巴辛） ； Seth Donoughe（塞斯·多诺赫） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出ABC-Bench基准，评估LLM主体在生物安全相关任务上的能力，包括液体处理机器人编程、DNA片段设计和合成筛选规避，所有测试主体均优于人类专家基线。

Comments 18 pages. To be published in ICML 2026

Assessing Automated Prompt Injection Attacks in Agentic Environments

评估智能体环境中的自动化提示注入攻击

David Hofer, Edoardo Debenedetti, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 研究在智能体环境中，黑盒优化方法（TAP）比梯度方法（GCG）更有效，且攻击效果依赖于攻击者模型，任务通用攻击可迁移但跨模型迁移受限。

STAGE-Claw: Automated State-based Agent Benchmarking for Realistic Scenarios

STAGE-Claw：面向真实场景的基于状态的智能体自动化基准测试

Sirui Liang, Bohan Yu, Peiyu Wang, Shiguang Guo, Wenxing Hu, Pengfei Cao, Jian Zhao, Cao Liu, Ke Zeng, Xunliang Cai, Kang Liu

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院） ； Chinese Academy of Sciences（中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Meituan（美团） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出STAGE-Claw框架，自动构建基于状态的个人计算环境中的真实场景任务，通过最终系统状态而非文本响应评估智能体性能，创建40个挑战性任务并分析11个前沿模型。

SkillResolve-Bench: Measuring and Resolving Same-Capability Ambiguity in Agent Skill Retrieval

SkillResolve-Bench：衡量和解决智能体技能检索中的同能力歧义

Jiandong Ding

机构 * Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对智能体技能库中同一能力族内不同技能的执行风险，提出SkillResolve-Bench基准和SkillResolve方法，通过候选族解析和代表性选择，在保持高召回率的同时将有害技能暴露率降至0。

Comments Preprint

Agentic Persona Generation with Critique-Refinement: An Industrial Evaluation

基于批评-改进的智能体角色生成：工业评估

Mohammad Hossein Amini, David Dewar, Shiva Nejati, Mehrdad Sabetzadeh

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.SE

AI总结 提出PerGent方法，通过迭代批评-改进循环利用LLM智能体生成角色，在工业部署中专家认可率达96.9%，优于单次生成方法。

Comments Accepted in the Industry Track of the Requirements Engineering (RE) 2026 Conference

Traxia: A Framework for Verifiable, Agent-Native Scientific Publishing

Traxia：一个可验证的、智能体原生的科学出版框架

Wisdom Dogah

机构 * Faculty of Computing and Mathematical Sciences, University of Mines and Technology (UMaT), Tarkwa, Ghana（加纳塔夸矿业与技术大学计算与数学科学学院） ； BlackMatrix AI Research, Accra, Ghana（加纳阿克拉BlackMatrix AI研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出Traxia框架，通过智能体身份、可验证出版、四层同行评审、声誉机制和知识图谱，解决科学出版中可验证性、归属和可重复性问题。

Comments 22 pages, 3 figures, 3 tables. Preprint. Under active development. Comments welcome

PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures

PQR：一个生成多样化且逼真用户查询的框架，以引发问答代理失败

Yunan Lu, Luigi Liu, Omar Yahia, Arpit Sharma, Zhou Yu

机构 * Columbia University（哥伦比亚大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Walmart（沃尔玛） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 PQR框架通过迭代交互生成多样化且逼真的用户查询，以发现问答代理的失败案例，其方法比现有方法更有效。

FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks

FieldWorkArena：面向真实作业任务的代理AI基准测试

Jun Takahashi, Atsunori Moteki, Akiyoshi Uchida, Shoichi Masui, Fan Yang, Kanji Uchino, Yueqi Song, Yonatan Bisk, Graham Neubig, Ikuo Kusajima, Yasuto Watanabe, Hiroyuki Ishida, Koki Nakagawa, Shan Jiang

机构 * Fujitsu Limited（富士通株式会社） ； Fujitsu Research of America（富士通美国研究部） ； Carnegie Mellon University（卡内基梅隆大学） ； Master’s Student, The University of Tokyo（东京大学硕士研究生） ； Agent Research Collective（代理研究集体） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出FieldWorkArena，用于评估代理AI在真实制造业和零售环境中的性能，通过现场采集的数据和实地访谈设计任务，验证多模态大语言模型的评估可行性。

Comments 27 pages, 10 figures, 7 tables [ICPR 2026 Accepted] Changes from previous version: added supplemental material

What Your Posts Reveal: A Benchmark and Agentic Framework for User-Level Privacy Leakage on Social Media

你的帖子揭示了什么：社交媒体用户级隐私泄露的基准与智能体框架

Zifan Peng, Yini Huang, Aiwen Lu, Qiming Ye, Peixian Zhang, Jingyi Zheng, Yule Liu, Xuechao Wang, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Wuhan University（武汉大学） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 针对社交媒体用户级多模态隐私泄露缺乏统一基准和评估指标的问题，提出SopriBench基准和隐私暴露分数（PES），并开发了无需训练的智能体框架Argus，通过跨帖子线索累积推理实现隐私推断，PES达0.55，较最强基线提升25%。

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

RealClawBench: 来自真实开发者-智能体会话的实时OpenClaw基准测试

Zongwei Lv, Zhewen Tan, Yaoming Li, Yilun Yao, Yuxuan Tian, Lin Sun, Xiangzheng Zhang, Weihong Lin, Tong Yang, Guangxiang Zhao

机构 * Peking University（北京大学） ； Qiyuan Tech（启元科技） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL

AI总结 针对现有基准缺乏真实性的问题，提出RealClawBench框架，通过重构执行环境和确定性可验证评分器，将真实OpenClaw会话转化为可复现、自动评分的任务，评估14个模型后最佳仅解决65.8%任务，揭示了开发者-智能体工作负载上的巨大提升空间。

Comments 19 pages, 5 figures, 8 tables

RAINO: Anchoring Agents in Reality, A Systematic Review and Conceptual Framework for Realism in Agent-Based Modelling

RAINO：将智能体锚定于现实——基于智能体建模中现实主义的系统综述与概念框架

Loïs Vanhée, Melania Borit

机构 * Umeå Universitet（乌梅拉大学） ； UiT The Arctic University of Norway（北极大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文通过系统文献综述，识别了基于智能体建模中现实主义操作化与展示的不足，并提出了RAINO框架（现实锚点、输入、输出），以统一和拓展对现实主义的理解。

Comments The paper has been accepted in the Social Simulation Conference 2025

LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks

LEAP：利用智能体框架增强形式化数学的大语言模型

Po-Nien Kung, Linfeng Song, Dawsen Hwang, Jinsung Yoon, Chun-Liang Li, Simone Severini, Mirek Olšák, Edward Lockhart, Quoc V Le, Burak Gokturk, Thang Luong, Tomas Pfister, Nanyun Peng

机构 * Google Cloud AI Research（谷歌云人工智能研究） ； Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出LEAP智能体框架，通过分解问题、与Lean编译器交互及自我优化，使通用大模型在形式化定理证明上达到最先进性能，并在Putnam竞赛和Lean-IMO-Bench上超越专业系统。

VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring

VLESA: 用于人类活动监测的视觉语言具身安全智能体

Hanjiang Hu, Yiyuan Pan, Jiaxing Li, Xusheng Luo, Alexander Robey, Na Li, Yebin Wang, Changliu Liu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） ； Harvard University（哈佛大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG

AI总结 提出VLESA框架，通过自我中心视频监测人类活动，利用GRPO训练的目标条件安全Q过滤器进行实时安全干预，在ASIMOV-2.0基准上实现更高干预精度。

Comments 18 pages, 5 tables, 5 figures

BigFinanceBench: A Workflow-Grounded Benchmark for Financial-Research Agents

BigFinanceBench: 一个基于工作流的金融研究智能体基准

Alex Wang, Georg Meinhardt, Jacob Katz, Joseph H. Kim, Pratyush K. Chaudhary, Chase Blagden, Eric Xu

机构 * Rogo ； OpenAI 纠错

专题命中 Agent评测 ：workflow(title,abstract)；分类 cs.AI

AI总结 针对金融研究答案可审计推导过程未被充分评估的问题，提出包含928个专家编写任务、每个任务附带点权评分标准的BigFinanceBench基准，用于评估完整推导过程而非仅最终答案，实验表明最佳系统仅达58.8%评分，存在显著提升空间。

Overlaying Governance: A Compositional Authorization Framework for Delegation and Scope in Agentic AI

覆盖治理：面向代理型人工智能的委托与范围的组合授权框架

Amjad Ibrahim, Yong Li

机构 * Huawei Heisenberg Research Center（华为海森堡研究所以） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 针对代理型AI中传统授权框架无法处理递归委托、动态范围等问题，提出一种组合治理框架，通过定义委托类型、权限责任和资源范围衰减，并引入组合算子在不重写现有策略的情况下叠加代理语义，实现可问责的授权。

Comments 12 pages

Capability Advertisement as a Market for Lemons: A Trust Layer for Heterogeneous Agent Networks

能力广告作为柠檬市场：异构智能体网络的信任层

Gaurav Naresh Mittal

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对LLM智能体网络中的能力虚假声称问题，提出基于柠檬市场理论的信任层，通过概率描述、筛选和声誉机制实现可信委托。

What to Format and How: A Benchmark and Workflow Approach for Document Formatting

格式化什么以及如何格式化：文档格式化的基准与工作流方法

Shihao Rao, Liang Li, Jiapeng Liu, Tong Lin, Bing Li, Xiyan Gao, Peng Fu, Jing Huang, Can Ma

机构 * Institute of Information Engineering, Chinese Academy of Sciences（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 Agent评测 ：workflow(title,abstract)；分类 cs.CL

AI总结 针对内容感知的文档格式化任务，提出基准DocFormBench和工作流方法DocFormFlow，通过解耦目标定位与修改执行，在提升准确率的同时降低token消耗。

HomeFlow: A Data Flywheel for Smart Home Agent Training with Verifiable Simulation

HomeFlow: 面向智能家居智能体训练的可验证数据飞轮

Yi Gu, Huacan Wang, Shuo Zhang, Yuqing Hou, Lei Xue, Weipeng Ming, Chen Liu, Fangzhou Yu, Kuan Li, Ronghao Chen, Sen Hu, Xiaofeng Mou, Yi Xu

机构 * Midea Group（美的集团） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Donghua University（东华大学） ； Peking University（北京大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出HomeFlow，一种通过统一仿真环境HomeEnv、程序化家居生成HomeMaker、蓝图编译用户意图、MCTS-Flow合成可验证轨迹，并结合监督微调和逐步RLVE优化智能体的可验证数据飞轮方法，在SmartHome-Bench上达到84.60%和87.03%的任务成功率，其中8B模型超越GPT-5.5 1.23个百分点。

Beyond Offline A/B Testing: Context-Aware Agent Simulation for Recommender System Evaluation

超越离线A/B测试：面向推荐系统评估的上下文感知智能体模拟

Nicolas Bougie, Gian Maria Marconi, Xiaotong Ye, Narimasa Watanabe

机构 * Woven by Toyota（丰田织物） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 针对推荐系统评估中离线指标与在线性能脱节的问题，提出基于大语言模型的上下文感知智能体框架ContextSim，通过生活模拟模块生成时间、地点和需求等上下文场景，并保持智能体行为一致，使模拟交互更贴近真实用户行为，且优化后的推荐系统参数能提升实际参与度。

From Features to Actions: Explainability in Traditional and Agentic AI Systems

从特征到行动：传统与智能体AI系统中的可解释性

Sindhuja Chaduvula, Jessee Ho, Kina Kim, Aravind Narayanan, Ahmed Y. Radwan, Mahshid Alinoori, Muskan Garg, Dhanesh Ramachandram, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； Independent Researcher（独立研究者） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文比较了基于归因的解释与基于轨迹的诊断在静态和智能体设置中的效果，发现归因方法无法可靠诊断智能体轨迹中的执行级故障，而轨迹级可解释性更能定位行为故障。

TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories

TraceGraph: 用于诊断和改进智能体轨迹的共享决策景观

Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出TraceGraph图框架，将多模型智能体轨迹构建为共享决策景观，通过事件摘要和陷阱感知恢复管线提升SWE-bench解决率。

SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems

SkillTrojan：基于技能智能体系统的后门攻击

Yunhao Feng, Yifan Ding, Yingshui Tan, Boren Zheng, Yanming Guo, Xiaolong Li, Kun Zhai, Yishan Li, Wenke Huang

机构 * Alibaba Group（阿里巴巴集团） ； National University of Defense Technology（国防科技大学） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出SkillTrojan，一种针对技能实现而非模型参数的后门攻击方法，通过将恶意逻辑嵌入看似正常的技能中，利用技能组合重构并执行攻击者指定的负载，在保持良性行为的同时实现高攻击成功率。

Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows

Harness-Bench: 在真实智能体工作流中测量不同模型的框架效应

Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

机构 * Peking University（北京大学） ； Qiyuan Tech（启元科技） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 提出Harness-Bench基准，通过106个沙盒离线任务评估不同模型与框架配置组合下的执行性能，发现智能体能力应归因于模型-框架配置而非基础模型。

Comments 16 pages, 4 figures, 11 tables. The first three authors contributed equally

Towards Faithful Agentic XAI: A Verification Method and an Open-World Benchmark for Better Model Faithfulness

迈向忠实代理式XAI：一种验证方法和一个用于更好模型忠实度的开放世界基准

Jaechang Kim, Sunung Mun, Seungjoon Lee, Jaewoong Cho, Jungseul Ok

机构 * Graduate School of AI, POSTECH（POSTECH人工智能研究生院） ； Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系） ； Krafton 纠错

专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI

AI总结 提出FAX框架，通过显式验证分解解释声明并交叉检查忠实工具，以及CRAFTER-XAI-Bench开放世界基准，在强化学习环境中将模拟忠实度从0.20提升至0.46。