AI Agent

Benchmarking the Robustness of Agentic Systems to Adversarially-Induced Harms

评估智能体系统对抗恶意诱导危害的鲁棒性

Jonathan Nöther, Adish Singla, Goran Radanovic

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.LG

AI总结 该研究提出智能体系统危害分类法与BAD-ACTS基准，评估LLM类智能体对抗恶意诱导的鲁棒性，发现其攻击成功率达40%-90%，并提出零样本消息监控防御方法。

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning

SurgWMBench：面向世界建模的手术器械运动规划视觉基准

Huanrong Liu, Weiliang Huang, Bob Zhang, Weichao Cai, Chunlin Tian, Qingbiao Li

机构 * University of Macau（澳门大学） ； National University of Singapore（新加坡国立大学） ； Xiamen University（厦门大学） 纠错

专题命中 Agent评测 ：planning(title,abstract)；workflow(abstract)

AI总结 本文提出SurgWMBench，一种面向短程手术运动规划的视觉基准，可评估手术世界模型的器械运动预测与连续回推稳定性，解决现有指标与器械规划需求不匹配的问题。

DarwinX: Evolving Agent Harnesses Through Natural Selection

DarwinX：通过自然选择进化智能体控制程序

Yifan Zhang, Yutong Dai, Juntao Tan, Luyu Yang, Rishi Mullur, Thai Hoang, Zhiyuan Hu, James Zhu, Phil Mui, Silvio Savarese, Ran Xu, Zeyuan Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 DarwinX是模型参数冻结时通过自然选择进化控制程序的方法，在四个基准中平均提升约17个百分点，控制程序可迁移，进化通用能力而非基准特定补丁。

Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation

Pseudo2CodeQA：面向基于大语言模型的代码生成中结构化算法推理的基准测试

Shadikur Rahman, Umme Ayman Koana, Syed Muhammad Danish

专题命中 Agent评测 ：agentic(summary_cn,abstract)；分类 cs.SE

AI总结 本文提出Pseudo2Code基准测试及Pseudo2Code Agentic Framework，实验表明该框架性能优于现有基线，验证了结构化伪代码对代码生成的提升作用。

Comments 8 pages, 3 figures

Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

业务真值，而非SQL准确率：规则门控的7B分析智能体优于直接提示的32B基线

Morris Lee

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 该研究针对LLM分析智能体的评估缺陷，提出WarehouseReliabilityBench基准，开发规则门控的7B智能体QueryProof，其业务真值率优于直接提示的32B基线，且成本显著降低，假成功比例大幅下降。

Comments 20 pages, 7 figures, 11 tables. Benchmark, code, run records, pre-registration and one-command reproduction: https://github.com/k-w-lee/query_proof

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist：通过双向图对齐检测智能体技能中的不一致性

Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 SkillConsist针对智能体技能不一致检测的挑战，通过双向图对齐等技术构建基准并取得优于基线的检测性能，提升了技能一致性检测效果。

Comments 11 pages, 3 figures

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.CL、cs.SE

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons

ComboShoppingBench：评估大型语言模型智能体在带优惠券的预算约束组合购物篮任务中的表现

Adrian Li, Kelong Mao, Yudong Guo, Heming Xia, Xinwei Yang, Lirui Luo, Jace Wong, Pu Yao, Sulong Xu, Simiu Gu

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本研究推出ComboShoppingBench组合购物基准，通过探索智能体、LLM评判者及确定性验证，发现各类LLM智能体在该基准上表现不佳，凸显其在约束感知组合购物上仍有巨大改进空间。

Improving Constraint Models with LLM Agents

用大语言模型智能体改进约束模型

Florentina Voboril, Stefan Szeider

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 该研究提出一种基于LLM智能体的框架，通过迭代诊断修复改进约束模型，在9个组合优化问题的27个测试实例中多数表现优于原模型，部分问题求解速度提升超两个数量级，证明自主智能体方法可支持约束模型优化。

DRBENCHER: Can Your Agent Identify the Entity, Retrieve Its Properties and Do the Math?

DRBENCHER：你的智能体能识别实体、检索其属性并进行数学运算吗？

Young-Suk Lee, Ramon Fernandez Astudillo, Radu Florian

机构 * IBM Research（IBM研究院） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 DRBENCHER通过综合评估浏览与计算能力，揭示了现有基准测试的不足，其四维标准确保了问题的可验证性、复杂性、难度和多样性，展示了智能体在动态数据环境下的性能限制。

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Macaron-V1：面向具备自我改进与LoRA混合能力的开放持续学习

Mind Lab, :, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, Vic Cao, Amelia Chen, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Pyke Han, Nolan Ho, Ori Hong, Hailee Hou, Piers Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Kuss Koo, Jaron Lee, Andrew Lei, Alexy Li, Dawn Li, Lucian Li, Ray Li, Ricardo Li, Smith Li, Theo Li, Allen Lin, Elliot Lin, Fan Lin, Chen Ling, Kairus Liu, Kieran Liu, Logan Liu, Neo Liu, Xiang Liu, Yuxin Lu, Maeve Luo, Pony Ma, Verity Niu, Cole Qiao, Guian Qiu, Vince Qu, Sentry, Niko Song, Vincent Wang, Bo Wu, Rio Yang, Evelyn Ye, Fiona Ye, Ina Ye, Regis Ye, Josh Ying, Atlas Zeng, Danney Zeng, Salmon Zhan, Anya Zhang, Di Zhang, Mia Zhang, Sueky Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Juno Zhu, Murphy Zhuang

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Macaron-V1开放智能体模型家族，结合MoL架构与递归自我改进机制，经多基准评估验证其有效性，为开放持续学习提供新方案。

Comments 49 pages, technical report

TRACE: TRajectory Attribution for Automated Context Engineering

TRACE：用于自动化上下文工程的轨迹归因

Yikai Zhao, Pradeep Kumar Misra, Saurabh Pandey

机构 * Amazon（亚马逊公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 TRACE是利用历史智能体轨迹挖掘上下文故障的自动化反馈循环，可在上下文层诊断修复超80%的生产AI智能体故障，归因率72.7%、修复有效性82%。

Comments 21 pages, 5 figures, 11 tables

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

重放差距：大语言模型智能体中模型切换的静态评估评估的是错误的世界

Ashritha Gonuguntla

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大语言模型智能体的模型切换静态评估基于错误假设，通过分支展开实验证明模型交换会导致轨迹分歧，重放评估无法准确预测结果，发布了相关工具与轨迹。

Comments 8 pages, 3 figures. Accepted at the Conference on Language Modeling 2026. Code: https://github.com/AshrithaG/replay-gap Data: https://huggingface.co/datasets/ashritha0907/replay-gap-trajectories

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon

Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages

Hyangsuk Min, Yuho Lee, Minjeong Ban, Jiaqi Deng, Nicole Hee-Yeon Kim, Taewon Yun, Hang Su, Jason Cai, Hwanjun Song

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） ； AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments 34 pages, 6 figures

Journal ref ACL 2025 main

WirelessOpsAgent: A Benchmark and Agent Design for Action Assurance in Wireless Networks

WirelessOpsAgent：无线网络行动保障的基准测试与智能体设计

Zijian Lu, Yiping Zuo, Hao Xu, Weicong Chen, Xin He, Jiajia Guo, Shi Jin

专题命中 Agent评测 ：agent(title)

AI总结 针对现有无线网络运维LLM智能体基准未测试执行阶段支持检查的问题，本文提出WirelessOptBench基准与WirelessOpsAgent智能体，使后者在600片段评估中精确行动准确率达0.983，不安全执行率大幅下降。

Comments 10 pages, 7 figures

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

WorldSimProbe：面向具身操控的动作条件世界模型的模拟器保真度诊断

Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； EvoPhys AI（EvoPhys人工智能公司） ； Joy Future Academy, JD（京东探索研究院） ； The University of Sydney（悉尼大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出WorldSimProbe框架，通过五套受控测试评估动作条件世界模型的模拟器保真度，发现其存在动作实现退化等问题，为具身操控模型提供标准化诊断方法。

Comments 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/

EnergyBridge: Benchmarking Household Energy Management, User Participation, and Grid Flexibility

EnergyBridge：家庭能源管理、用户参与度与电网灵活性基准测试

Xudong Wu, Zeqing Wu, Jiarui Zhang, Xuhao Fan, Ziang Ding, Yuming Zhuang, Mingqi Yuan, Yilun Du, Hongjie Jia, Yunfei Mu, Jiayu Chen

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出EnergyBridge基准框架，结合特定区域EnergyPlus环境与LLM用户模拟器，在含584组人类角色扮演判断的实验中，实现了更高授权率、更低能耗与更可靠容量承诺，推动以人为本的电网灵活性研究。

Business Arena: Benchmarking LLM Agents in a Realistic Marketplace

商业竞技场：在现实市场中对大语言模型智能体进行基准测试

Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, Sicong Xie, Guannan Zhang, Xiaoying Xing

机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。

The Anatomy of a Prompt Injection: A Component Model for Structured Analysis

提示注入的剖析：用于结构化分析的组件模型

Jeremy McHugh

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出七个组件的提示注入结构化分析模型，统一相关分类法，结合实例与CTI模式，助力标记、分析提示注入攻击。

Towards Researcher Agents for Knowledge-Graph Question Answering

面向知识图谱问答的研究者智能体

Tommaso Soru, Abdulsobur Oyewale

机构 * Liber AI Research（Liber AI研究院） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出研究者智能体式文本转SPARQL系统，在DBpedia上迭代优化后，其在2025年DBpedia验证集上总体准确率达0.22，发现瓶颈在谓词选择，建议基准采用多指标评分。

Comments Second International TEXT2SPARQL Challenge, co-located with Text2KG at ESWC 2026

When LLM Agents Negotiate: Private Information and Dynamic Bargaining in Supply Chains

当大语言模型智能体进行谈判：供应链中的私人信息与动态议价

Chen Liang, Fasheng Xu

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 该研究以供应链议价问题为场景，将9个LLM与完美贝叶斯均衡基准测试，发现LLM智能体的谈判能力、提供商身份及提示策略对剩余分配和效率有显著影响，为AI智能体审计提供了三维框架。

EmoPatient: An Emotion-Directed Patient Simulator for Realistic Palliative Care Communication Training

EmoPatient：用于姑息治疗沟通训练的情绪导向患者模拟器

Yining Wu, Tianshu Du, Jinrui Fang, Chi Zhang, Sonal Admane, Ying Ding

专题命中 Agent评测 ：agent(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对现有LLM患者模拟器无法捕捉动态情绪变化的问题，提出情绪导向的EmoPatient模拟器，引入情绪指导代理生成动态情绪控制信号，经评估其在情绪真实性指标和稳健性上均优于基线，可提升姑息治疗沟通训练的真实性。

VideoVIBE: A Video-Grounded Diagnostic Benchmark for One-Shot Interactive Website Generation

VideoVIBE：用于一次性交互式网站生成的基于视频的诊断基准

Jiajun Xu, Yanghao Zhou, Jingyun Liao, Yu Bai, Jinxing Zhou, Chengliang Liu, Changsen Yuan, Bo Wang, Qian Liu

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 针对现有一次性交互式网站生成质量评估的不足，提出VideoVIBE基准与V2Lens多智能体系统，实验显示V2Lens可提升Video MLLM的评估性能。

Automated Synthesis of Deterministic Cross-Domain Interfaces

确定性跨域接口的自动合成

Konstantinos Christodoulopoulos, Antonis Selentis-Boulntadakis

专题命中 Agent评测 ：agent(abstract,abstract_cn)

AI总结 该研究提出框架，利用LLM实现智能体与处理程序模块，自动合成跨域确定性网络的静态、动态契约，经实验验证其动态契约性能优于静态配置，且分工模式可保障模型可靠性。