AI Agent

Benchmarking LLM Judges for Mobile Agent Evaluation

面向移动智能体评估的LLM评判基准测试

Ziqiang Wan, Li Gu, Zhixiang Chi, Zhi Liu, Seyed Mehdi Ayyoubzadeh, Yuanhao Yu, Yang Wang

机构 * Mila – Québec AI Institute（米拉-魁北克人工智能研究所） ； Concordia University（康考迪亚大学） ； University of Toronto（多伦多大学） ； Shanghai University（上海大学） ； McMaster University（麦克马斯特大学） 纠错

专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.CL

AI总结 该研究推出MobileJudgeBench基准，评估6种LLM评判器方法在移动智能体轨迹上的可靠性，发现简单基线评判器具竞争力、基准质量指标可预测评判器效用，且不同LLM后端故障特征相反。

CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations

CTBench：评估AI智能体在真实电信网络运维中的故障排查能力

Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, Changchang Li, Bowen Liu, Kun Jiang, Mengjie Zhang, Dingcheng Shan, Jing-Cheng Pang, Chenwei Wu, Sijie Wu, Lianying Chao, Haoran Cai, Jiantao Ye, Xubin Li, Simon Mark Lucas, Xin Chen

机构 * Huawei Technologies（华为技术有限公司） ； Paris Research Center, Huawei Technologies（华为技术有限公司巴黎研究中心） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 Agent评测 ：AI agent(title)；agent(abstract)；分类 cs.AI

AI总结 本研究提出CTBench基准，评估AI智能体的电信故障排查能力，发现其路径恢复表现好于根本原因分析，且资源消耗与诊断效果无必然关联。

FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents

FrontierFinance：用于衡量金融智能体前沿智能的具有挑战性的基准

Yuhao Zhang, O. Ozan Koyluoglu, Thejas Venkatesh, Richard Diehl Martinez, Vishank Bhatia, Arash Alidoust, Ashwin Paranjape

机构 * Samaya AI（萨马亚人工智能公司） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；workflow(abstract)；分类 cs.AI、cs.CL

AI总结 该研究推出覆盖投资者全流程的FrontierFinance基准，评估发现工具框架影响智能体表现，Samaya内部系统最优，开源模型Kimi K3成本更低且接近专有模型，最难用例为筛选与发现等。

No One to Blame: A Framework of Constitutive AI Unaccountability

无人可追责：构成型AI不可问责性的框架

Long Hoang Nguyen, Eva Späthe, Sebastian Lins, Ali Sunyaev

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 针对自主AI系统带来的问责挑战，该研究提出构成型AI不可问责性概念，构建诊断框架，在OpenClaw中检测到多数相关条件，为识别AI问责缺口提供实用工具。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026

Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks

用于评估和加固LLM系统指令对抗编码攻击的自动化框架

Anubhab Sahu, Diptisha Samanta, Reza Soosahabi

机构 * Keysight Technologies 纠错

专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出自动化框架评估LLM系统指令在对抗编码攻击时的保密性，通过四个模型和46条指令测试发现结构化序列化攻击成功率高，提出基于Chain-of-Thought的缓解策略。

Comments An earlier version of this manuscript will appear in the proceedings of IEEE Cyber-AI 2026 Conference. Project source code is available at https://github.com/Keysight/LLM-EncodeGuard

VICBench: A Multi-Language Benchmark for Code Vulnerability Detection

VICBench：一个用于代码漏洞检测的多语言基准测试集

Jin Lu, Xuening Han, Yang Zhong, Lin Tan, Kevin Luo, Andrew Gacek, Neha Rungta

专题命中 Agent评测 ：workflow(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 本研究构建了多语言代码漏洞检测基准VICBench，包含100个CVE对应的VIC，规模显著大于现有数据集，经评估现有漏洞检测算法性能有限，该基准可用于可靠评估漏洞检测方法。

Towards the Harness of Embodied Agents

迈向具身智能体的管控

Qi Wang, Tianyi Wang, Chengyang Li, Shikun Ban, Yurun Chen, Yizhong Ge, Jason Qin, Chengtai Li, Wentao Zhu

专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出名为Thea的具身智能体管控系统，通过场景图和退出码评估弥合物理世界与智能体的差距，实现长程任务完成。

Comments Project page: https://eit-hai.github.io/thea

LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes

LakeQuest：用于跨数据湖的有基础问答的三领域基准测试

Michael Solodko, Steven Gong, Guangwei Yu, Satya Krishna Gorti, Jesse C. Cresswell, Victor Zhong

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 Agent评测 ：tool-use(abstract)；agentic(abstract)；分类 cs.AI、cs.CL

AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。

Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams

Diagram-MMU：面向科学图表的多模态基准测试

Weihao Bo, Shan Zhang, Yanpeng Sun, Jie Liu, Yongke Yao, Jinhao Du, Wei He, Kai Zou, Zechao Li, Jingdong Wang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)；分类 cs.AI

AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。

InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk

InfraBench：评估跨层级、全生命周期与风险的基础设施智能体

Yuan Gao, Zeren Yang, Junnan Li, Shawn, Zhong, Ahmed Dajani, Mai Zheng, Andrea Arpaci-Dusseau, Remzi Arpaci-Dusseau

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 针对AI智能体应对真实基础设施复杂度能力不明的问题，提出跨全系统栈、全生命周期且支持细粒度风险评估的InfraBench基准套件，实验表明现有最强智能体仍存在多方面失败模式。

Comments 17 pages, 6 figures. Preprint

The Path to Self-Evolving Clinical Systems: Scaling Medical Agents from Assistance to Autonomy

自我进化临床系统之路：将医疗智能体从辅助扩展到自主

Chunzheng Zhu, Lei Tian, Bohan Tan, Ziqi Zhou, Yuxuan Sun, Yijun Wang, Chengchao Lv, Yilin Wen, Yijun He, Jinghao Lin, Yihang Chen, Chee Wei Tan, Qianshan Wei, Lei Zhao, Bin Pu, Kenli Li, Yuan Xue, Jianxin Lin

机构 * Hunan University（湖南大学） ； ByteDance（字节跳动） ； Duke University（杜克大学） ； Westlake University（西湖大学） ； The University of Hong Kong（香港大学） ； Nanyang Technological University（南洋理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Macau（澳门大学） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 Agent评测 ：agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型等对医疗智能体的重塑，从临床部署出发，将其形式化为决策系统并给出自主性分类。沿统一框架扩展，强调临床环境扩展为关键方向，定位临床自我进化为前沿，还研究了多领域应用及挑战，提供医学成像系统路线图。

Comments Project page: https://github.com/zhcz328/Awesome-Medical-Agents

SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks

SCOPE-Router：面向执行导向任务的成本感知开放集视觉语言模型路由

Tao Yu, Yifei Qu, Zhiqing Cui, Pengfei Zhou, Zhongtian Luo, Yujia Yang, Shenghua Chai, Haopeng Jin, Zhenghao Zhang, Xinming Wang, Hongzhu Yi, Wangbo Zhao, Zhenglin Wan, Yan Huang, Yeshani, Jinwen Luo, Yang You

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； NUS（新加坡国立大学） ； Tencent（腾讯） 纠错

专题命中 Agent评测 ：agentic(abstract,abstract_cn)

AI总结 本文提出SCOPE-Router与CRM+RCCR，构建执行导向VLM路由基准VLM-ExecRouterBench，解决现有VLM路由局限，在多基准上取得更优性能。

Reinforcement learning with reputation-based adaptive exploration promotes cooperation

基于声誉的自适应探索的强化学习促进合作的进化

An Li, Wenqiang Zhu, Chaoqian Wang, Longzhao Liu, Hongwei Zheng, Yishen Jiang, Xin Wang, Shaoting Tang

专题命中 Agent评测 ：agent(abstract)；multi-agent(abstract)

AI总结 本文提出一种结合局部声誉差异和非对称状态依赖声誉更新的Q学习模型，通过高声誉低探索、低声誉高探索机制促进合作，并增强低地位的合作收益和高地位的背叛惩罚。

Comments 12 pages, 6 figures

Journal ref Chaos: An Interdisciplinary Journal of Nonlinear Science, 2026, 36(8)

From Numbers to Judgment: Specialist LLM Agents and Reinforcement Learning for European Listed Real Estate

从数字到判断：专业大语言模型智能体与欧洲上市房地产的强化学习研究

Pardis Taghavi, Santosh Bhavani

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 本研究以欧洲上市房地产分析为对象，提出Larix框架将分析维度映射为专业LLM智能体，结合GRPO微调Qwen3.5-9B，实现数值任务与判断任务的性能提升且可迁移至新企业与监管体系。

The Off-Support Barrier: Why Semantic Safety Constraints Are Not Learning-Problem Invariants, and What Follows for Prior Design, Containment, and Verification

离支撑屏障：为何语义安全约束不是学习问题不变量，以及对先验设计、约束与验证的启示

Yoshinori Watanabe

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出语义安全约束是离支撑对象，基于奇异学习理论推导得出多项推论，以2026年7月OpenAI与Hugging Face评估事件为案例，为AI安全的先验设计、约束验证等问题提供理论启示。

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 Agent评测 ：agentic(abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 18 pages, 11 tables

ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents

ToolHazard：用于基于大语言模型智能体的安全评估与对齐的可扩展对抗环境

Yutao Mou, Pengfei Yang, Zhe Yin, Zhangchi Xue, Xiaotian Luan, Dingyao Yu, Tong Zhang, Shikun Zhang, Wei Ye

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 研究针对集成外部工具的LLM智能体的安全漏洞问题，提出可扩展对抗环境合成框架ToolHazard，构建ToolHazard-Bench测试智能体，生成的对齐数据可提升智能体安全性且保留任务效用。

Comments Work in Progress

DCM Bandits: Multiplayer Information Asymmetric Cascading Bandits for Multiple Clicks

DCM 老虎机：面向多点击的多人信息非对称级联老虎机

Andy Wang, Charlton Shih, William Chang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 本研究将DCM老虎机扩展至多人信息非对称多点击场景，针对含非对称性的三种场景提供次线性悔恨保证，改进了单智能体结果，算法在非对称环境中表现良好，凸显反馈结构的关键作用。

Comments Accepted to the Asia Conference on Machine Learning and Computing (ACMLC 2026)

AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research

AutoWorldModel-Bench：面向自动化世界模型研究的以状态为中心的基准

Marjan Moodi, Xuankang Zhu, Fernando De Mesentier Silva, Harold Chaput, Mohammad Reza Taesiri

机构 * Electronic Arts（美国艺电公司） ； Simon Fraser University（西蒙菲莎大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 AutoWorldModel-Bench是面向AI编码智能体的闭环基准，涵盖8个游戏环境，采用结构化状态表征，64次会话中多数智能体通过研究式修改改进了世界模型，可评估智能体的开放式研究能力。

Comments Project page: https://electronicarts.github.io/AutoWorldModelBench/

A Forced-Structure Reduction and Verifiable Bounds for Conway's 99-Graph

康威99-图的强制结构约简与可验证边界

Aalok Thakkar

机构 * Ashoka University（阿育王大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究通过自主AI智能体对康威99-图问题展开系统性可复现研究，完成强制结构约简、可验证边界等贡献，获最佳验证成果69.43%。

Comments This paper is accepted to the first Conference For AI Scientists (CAISc)

Self-Harness: Harnesses That Improve Themselves

Self-Harness：自我改进的操控框架

Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 提出Self-Harness范式，让LLM智能体通过弱点挖掘、框架提议和验证迭代改进自身操控框架，在Terminal-Bench-2.0上使三种模型的通过率分别提升21.4%、14.3%和14.2%。

FinEvolveBench: A Benchmark for Self-Evolving Agents on Low-Repetition Tasks with Implicit Rewards

经验之树：低重复与隐式奖励环境下自演化智能体的结构化经验管理方案

Zihao Deng, Yining Zhu, Leiming Wang, Jingfei Lu, Junbo Wang, Chuncheng Ran, Yu Yang, Dixuan Yang, Jikun Shen

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 针对低重复任务与隐式奖励环境，提出结构化经验管理方法ToE，通过组织、检索、验证和更新经验，在金融情绪预测基准上优于无经验基线。

Learning Multi-Timescale Interventions under Safety and Resource Constraints

安全与资源约束下的多时间尺度干预学习

David Mguni, Wanrong Yang, Jing Dong, Jing Peng, Ziquan Liu, Muhammad Salman Haleem, Baoxiang Wang, Dominik Wojtczak

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 该研究提出MINT模型，通过增强干预状态与结构化策略处理多时间尺度干预，在三类基准测试中表现优异，尤其在T1DM场景下大幅提升血糖控制效果。

Teaching a Large Language Model Tutor to Withhold the Answer: A Supervisor Architecture and an Evidence-Driven Method for Tuning Socratic Behavior

训练大型语言模型助教以保留答案：一种用于调整苏格拉底式行为的监督架构与证据驱动方法

Yusuf Pisan

专题命中 Agent评测 ：agent(abstract)

AI总结 本研究提出一种监督架构与证据驱动方法，训练LLM助教执行答案保留，通过自动评估调整苏格拉底式行为，使其在全部四个接受标准上达到完全合规。

SolarChain: A Physics-Grounded Embodied IoT System for Verifiable Urban Solar Market Design

SolarChain：连接物理定律、可验证信任与可持续市场的城市能源韧性

Shilin Ou, Yifan Xu, Zhenshan Zhang, Luyao Zhang, Ming-Chun Huang

专题命中 Agent评测 ：agent(abstract)

AI总结 提出SolarChain平台，通过基于热力学极限的物理验证和点对点市场机制，解决城市太阳能数据篡改和投机问题，实现可信交易与可持续投资。

Truthful-in-Expectation Mechanisms for MMS Approximation

期望 truthful 机制用于 MMS 近似

Moshe Babaioff, Uriel Feige, Noam Manaker Morag

专题命中 Agent评测 ：agent(abstract)

AI总结 本文研究了在战略代理具有加性估值的情况下，如何公平分配不可分割物品。提出了一种期望 truthful 机制，保证每个代理获得其最大化最小份额的较大比例。

Diffusion Probe: Generated Image Result Prediction Using CNN Probes

扩散探针：利用CNN探针进行生成图像结果预测

Benlei Cui, Bukun Huang, Zhizeng Ye, Xuemei Dong, Tuo Chen, Hui Xue, Dingkang Yang, Longtao Huang, Jingqun Tang, Haiwen Hong

机构 * Alibaba Group（阿里巴巴集团） ； Laboratory for Statistical Monitoring and Intelligent Governance of Common Prosperity, School of Statistics and Data Science, Zhejiang Gongshang University（浙江工商大学统计与数据科学学院共同富裕统计监测与智能治理实验室） ； Southeast University（东南大学） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； ByteDance Inc.（字节跳动有限公司） 纠错

专题命中 Agent评测 ：agent(abstract)

AI总结 本文提出Diffusion Probe框架，通过早期扩散交叉注意力分布预测最终图像质量，提升文本生成图像的效率与质量。

Comments CVPR 2026

Inferential Capability Does Not Determine Legal Scope

推理能力并不决定法律范围

Nicola Fabiano

专题命中 其他Agent ：agentic(abstract)；分类 cs.AI

AI总结 本文探讨欧盟数字法中《人工智能法案》与GDPR对推理的不同界定，指出推理能力不决定法律范围，提出两层框架及组合效果测试等规则，为智能体架构下的相关监管提供解释方案。

Entangled vs. Separable Choice

纠缠型与可分型选择

Nail Kashaev, Martin Plávala, Victor H. Aguiar

专题命中 其他Agent ：agentic(abstract)

AI总结 该论文提出了一种无需理性等假设的非参数方法，用于区分决策者的纠缠型与可分型选择，其可分性刻画可应用于匹配操纵、辩诉交易等场景。