AI Agent

Open Evaluation Agent: Efficient and Promptable Evaluation of Visual Generative Models

开放评估智能体：视觉生成模型的高效且可提示的评估

Shulin Tian, Ziqi Huang, Fan Zhang, Hongyuan Zhu, Yu Qiao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab） ； Agency for Science, Technology and Research (A*STAR)（科学、技术与研究局（A*STAR）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(title,summary_cn)；planning(abstract)；分类 cs.AI

AI总结 该研究提出Evaluation Agent框架及基于其构建的Open-EA，可高效评估视觉生成模型，将评估时间减至传统方法的10%，还通过EA-CoT-10K和EA-3B减少对专有骨干的依赖，验证了其在多基准及跨家族的有效性。

Comments Journal extension of our ACL 2025 paper (arXiv:2412.09645). 12 pages. Code: https://github.com/Vchitect/Evaluation-Agent

ChatMuse: Supporting In-Person Small-Group Conversation Experience with a Proactive Assistive AI Agent in Mixed Reality

ChatMuse：在混合现实中通过主动辅助人工智能代理支持面对面小团体对话体验

Shaoze Zhou, Joaquin Frangi, Diana Nelly Rivera Rodriguez, Rawan Alghofaili, Janet G. Johnson, Lingyao Li, Renkai Ma, Christine Lisetti, Chen Chen

专题命中 Agent评测 ：agent(title,abstract)；AI agent(title,abstract)

AI总结 研究旨在解决面对面小团体对话有效支持信息的设计生成问题，提出ChatMuse系统，它能分析参与者线索并提供实时指导，利用用户行为反应改进支持能力，通过受试者内研究证明了该系统在协助小团体对话方面的可行性和有效性。

Comments 19 pages, 9 figures, 4 tables, Proceedings of the 39th Annual ACM Symposium on User Interface Software and Technology (UIST '26), Detroit, MI, USA

CyberAGENTS: Structured Autonomy for Agentic Gamified Learning in Cybersecurity

CyberAGENTS：面向网络安全领域智能体游戏化学习的结构化自主机制

Ivan Hornung, Deepthi Marasinghe Arachchige, Tharindu Kumarage, Garima Agrawal, Yuli Deng, Ying-Chih Chen, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； Amazon AGI（亚马逊AGI） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 本研究提出CyberAGENTS框架，通过结构化自主机制实现游戏化网络安全学习，经课堂评估验证其可提升学习者参与度与对AI响应的信任度，为相关系统设计提供蓝图。

Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation

人工智能对人工智能管理中的胁迫与欺骗：无提示升级的代理基准测试

Jasmine Brazilek, Maheep Chaudhary, Zoe Lu, Miles Tidmarsh

机构 * CaML ； Sentient Futures 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；AI agent(abstract)；multi-agent(abstract)

AI总结 研究人工智能管理中代理升级问题，引入管理者胁迫基准测试，通过九级阶梯衡量升级，对五个家族六个模型实验，发现权威增加胁迫，伪造成功局限于部分模型，发布基准测试和代码，为管理多智能体动态提供重要参考。

The Collaboration Gap: Exploration and Benchmarking of Open-World Agentic Cooperation

协作差距：开放世界智能体协作的探索与基准测试

Tim R. Davidson, Adam Fourney, Saleema Amershi, Robert West, Eric Horvitz, Ece Kamar

机构 * EPFL（瑞士联邦理工学院） ； Microsoft Research（微软研究院） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI、cs.CL

AI总结 该研究提出协作迷宫求解基准，评估32个模型的协作能力，发现模型存在协作差距，提出中继推理等缓解措施，强调协作相关评估、训练与交互设计的重要性。

Comments Accepted to COLM 2026, code available at https://github.com/trdavidson/collaboration_gap

AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems

AIVV: 用于可信自主系统的神经符号LLM代理集成验证与验证

Jiyong Kwon, Ujin Jeon, Sooji Lee, Guang Lin

机构 * School of Mechanical Engineering, Purdue University（普渡大学机械工程学院） ； School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） ； Department of Computer Science, Purdue University（普渡大学计算机科学系） ； Department of Mathematics, Purdue University（普渡大学数学系） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本文提出AIVV框架，利用LLM作为决策外层循环，通过语义验证区分真实故障与干扰故障，生成可操作的V&V成果，提升自主系统验证效率。

Benchmarking the Robustness of Agentic Systems to Adversarially-Induced Harms

评估智能体系统对抗恶意诱导危害的鲁棒性

Jonathan Nöther, Adish Singla, Goran Radanovic

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 Agent评测 ：agentic(title,abstract)；agent(abstract)；分类 cs.LG

AI总结 该研究提出智能体系统危害分类法与BAD-ACTS基准，评估LLM类智能体对抗恶意诱导的鲁棒性，发现其攻击成功率达40%-90%，并提出零样本消息监控防御方法。

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 Agent评测 ：agent(title,abstract)；workflow(abstract)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

SurgWMBench: A Vision-Based Benchmark for World-Modeling Surgical Instrument Motion Planning

SurgWMBench：面向世界建模的手术器械运动规划视觉基准

Huanrong Liu, Weiliang Huang, Bob Zhang, Weichao Cai, Chunlin Tian, Qingbiao Li

机构 * University of Macau（澳门大学） ； National University of Singapore（新加坡国立大学） ； Xiamen University（厦门大学） 纠错

专题命中 Agent评测 ：planning(title,abstract)；workflow(abstract)

AI总结 本文提出SurgWMBench，一种面向短程手术运动规划的视觉基准，可评估手术世界模型的器械运动预测与连续回推稳定性，解决现有指标与器械规划需求不匹配的问题。

DarwinX: Evolving Agent Harnesses Through Natural Selection

DarwinX：通过自然选择进化智能体控制程序

Yifan Zhang, Yutong Dai, Juntao Tan, Luyu Yang, Rishi Mullur, Thai Hoang, Zhiyuan Hu, James Zhu, Phil Mui, Silvio Savarese, Ran Xu, Zeyuan Chen

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG、cs.SE

AI总结 DarwinX是模型参数冻结时通过自然选择进化控制程序的方法，在四个基准中平均提升约17个百分点，控制程序可迁移，进化通用能力而非基准特定补丁。

Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation

Pseudo2CodeQA：面向基于大语言模型的代码生成中结构化算法推理的基准测试

Shadikur Rahman, Umme Ayman Koana, Syed Muhammad Danish

专题命中 Agent评测 ：agentic(summary_cn,abstract)；分类 cs.SE

AI总结 本文提出Pseudo2Code基准测试及Pseudo2Code Agentic Framework，实验表明该框架性能优于现有基线，验证了结构化伪代码对代码生成的提升作用。

Comments 8 pages, 3 figures

Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

业务真值，而非SQL准确率：规则门控的7B分析智能体优于直接提示的32B基线

Morris Lee

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 该研究针对LLM分析智能体的评估缺陷，提出WarehouseReliabilityBench基准，开发规则门控的7B智能体QueryProof，其业务真值率优于直接提示的32B基线，且成本显著降低，假成功比例大幅下降。

Comments 20 pages, 7 figures, 11 tables. Benchmark, code, run records, pre-registration and one-command reproduction: https://github.com/k-w-lee/query_proof

SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment

SkillConsist：通过双向图对齐检测智能体技能中的不一致性

Chaofan Meng, Yuhang Zheng, Yingnan Zhou, Sihan Xu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 SkillConsist针对智能体技能不一致检测的挑战，通过双向图对齐等技术构建基准并取得优于基线的检测性能，提升了技能一致性检测效果。

Comments 11 pages, 3 figures

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 Agent评测 ：agentic(title)；agent(abstract)；分类 cs.CL、cs.SE

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 Agent评测 ：AI agent(title,abstract)；分类 cs.AI

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons

ComboShoppingBench：评估大型语言模型智能体在带优惠券的预算约束组合购物篮任务中的表现

Adrian Li, Kelong Mao, Yudong Guo, Heming Xia, Xinwei Yang, Lirui Luo, Jace Wong, Pu Yao, Sulong Xu, Simiu Gu

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本研究推出ComboShoppingBench组合购物基准，通过探索智能体、LLM评判者及确定性验证，发现各类LLM智能体在该基准上表现不佳，凸显其在约束感知组合购物上仍有巨大改进空间。

Improving Constraint Models with LLM Agents

用大语言模型智能体改进约束模型

Florentina Voboril, Stefan Szeider

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI、cs.SE

AI总结 该研究提出一种基于LLM智能体的框架，通过迭代诊断修复改进约束模型，在9个组合优化问题的27个测试实例中多数表现优于原模型，部分问题求解速度提升超两个数量级，证明自主智能体方法可支持约束模型优化。

DRBENCHER: Can Your Agent Identify the Entity, Retrieve Its Properties and Do the Math?

DRBENCHER：你的智能体能识别实体、检索其属性并进行数学运算吗？

Young-Suk Lee, Ramon Fernandez Astudillo, Radu Florian

机构 * IBM Research（IBM研究院） 纠错

专题命中 Agent评测 ：agent(title)；分类 cs.AI

AI总结 DRBENCHER通过综合评估浏览与计算能力，揭示了现有基准测试的不足，其四维标准确保了问题的可验证性、复杂性、难度和多样性，展示了智能体在动态数据环境下的性能限制。

Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

Macaron-V1：面向具备自我改进与LoRA混合能力的开放持续学习

Mind Lab, :, Vin Bo, Asher Cai, Jingwei Cao, Song Cao, Vic Cao, Amelia Chen, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Pyke Han, Nolan Ho, Ori Hong, Hailee Hou, Piers Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Kuss Koo, Jaron Lee, Andrew Lei, Alexy Li, Dawn Li, Lucian Li, Ray Li, Ricardo Li, Smith Li, Theo Li, Allen Lin, Elliot Lin, Fan Lin, Chen Ling, Kairus Liu, Kieran Liu, Logan Liu, Neo Liu, Xiang Liu, Yuxin Lu, Maeve Luo, Pony Ma, Verity Niu, Cole Qiao, Guian Qiu, Vince Qu, Sentry, Niko Song, Vincent Wang, Bo Wu, Rio Yang, Evelyn Ye, Fiona Ye, Ina Ye, Regis Ye, Josh Ying, Atlas Zeng, Danney Zeng, Salmon Zhan, Anya Zhang, Di Zhang, Mia Zhang, Sueky Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Juno Zhu, Murphy Zhuang

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Macaron-V1开放智能体模型家族，结合MoL架构与递归自我改进机制，经多基准评估验证其有效性，为开放持续学习提供新方案。

Comments 49 pages, technical report

TRACE: TRajectory Attribution for Automated Context Engineering

TRACE：用于自动化上下文工程的轨迹归因

Yikai Zhao, Pradeep Kumar Misra, Saurabh Pandey

机构 * Amazon（亚马逊公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI、cs.LG

AI总结 TRACE是利用历史智能体轨迹挖掘上下文故障的自动化反馈循环，可在上下文层诊断修复超80%的生产AI智能体故障，归因率72.7%、修复有效性82%。

Comments 21 pages, 5 figures, 11 tables

The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World

重放差距：大语言模型智能体中模型切换的静态评估评估的是错误的世界

Ashritha Gonuguntla

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现大语言模型智能体的模型切换静态评估基于错误假设，通过分支展开实验证明模型交换会导致轨迹分歧，重放评估无法准确预测结果，发布了相关工具与轨迹。

Comments 8 pages, 3 figures. Accepted at the Conference on Language Modeling 2026. Code: https://github.com/AshrithaG/replay-gap Data: https://huggingface.co/datasets/ashritha0907/replay-gap-trajectories

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon

Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages

Hyangsuk Min, Yuho Lee, Minjeong Ban, Jiaqi Deng, Nicole Hee-Yeon Kim, Taewon Yun, Hang Su, Jason Cai, Hwanjun Song

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） ； AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments 34 pages, 6 figures

Journal ref ACL 2025 main

WirelessOpsAgent: A Benchmark and Agent Design for Action Assurance in Wireless Networks

WirelessOpsAgent：无线网络行动保障的基准测试与智能体设计

Zijian Lu, Yiping Zuo, Hao Xu, Weicong Chen, Xin He, Jiajia Guo, Shi Jin

专题命中 Agent评测 ：agent(title)

AI总结 针对现有无线网络运维LLM智能体基准未测试执行阶段支持检查的问题，本文提出WirelessOptBench基准与WirelessOpsAgent智能体，使后者在600片段评估中精确行动准确率达0.983，不安全执行率大幅下降。

Comments 10 pages, 7 figures

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

WorldSimProbe：面向具身操控的动作条件世界模型的模拟器保真度诊断

Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； EvoPhys AI（EvoPhys人工智能公司） ； Joy Future Academy, JD（京东探索研究院） ； The University of Sydney（悉尼大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 Agent评测 ：agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究提出WorldSimProbe框架，通过五套受控测试评估动作条件世界模型的模拟器保真度，发现其存在动作实现退化等问题，为具身操控模型提供标准化诊断方法。

Comments 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/

EnergyBridge: Benchmarking Household Energy Management, User Participation, and Grid Flexibility

EnergyBridge：家庭能源管理、用户参与度与电网灵活性基准测试

Xudong Wu, Zeqing Wu, Jiarui Zhang, Xuhao Fan, Ziang Ding, Yuming Zhuang, Mingqi Yuan, Yilun Du, Hongjie Jia, Yunfei Mu, Jiayu Chen

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本研究提出EnergyBridge基准框架，结合特定区域EnergyPlus环境与LLM用户模拟器，在含584组人类角色扮演判断的实验中，实现了更高授权率、更低能耗与更可靠容量承诺，推动以人为本的电网灵活性研究。

Business Arena: Benchmarking LLM Agents in a Realistic Marketplace

商业竞技场：在现实市场中对大语言模型智能体进行基准测试

Yijun Pan, Yukun Lian, Kunyu Shi, Junbo Li, Hongwei Xue, Sicong Xie, Guannan Zhang, Xiaoying Xing

机构 * Alibaba Group（阿里巴巴集团） ； Yale University（耶鲁大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 研究人员推出Business Arena测试平台，评估15个前沿LLM智能体在跨境商店运营中的表现，发现其平均最终净资产差9倍，最优模型仍逊于人类策略，为商业智能体评估提供了现实测试基准。