AI Agent

Agent-Computer Observation Interfaces Enable Dynamic Computer Use

智能体-计算机观察接口实现动态计算机使用

Bojie Li, Noah Shi

机构 * Pine AI University of Washington（Pine AI华盛顿大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 提出智能体-计算机观察接口（AOI），通过关键帧捕获、音频转录和视觉叙述解耦观察与动作，使CU模型在动态任务中性能提升17-48个百分点。

MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks

MUZZLE: 针对间接提示注入攻击的自适应智能体红队测试框架

Georgios Syros, Evan Rose, Brian Grinstead, Christoph Kerschbaumer, William Robertson, Cristina Nita-Rotaru, Alina Oprea

机构 * Northeastern University（东北大学） ； Mozilla Corporation（Mozilla公司） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 提出MUZZLE框架，利用智能体轨迹自动识别高显著性注入面，自适应生成上下文相关的恶意指令，评估网络智能体对间接提示注入攻击的安全性，发现44种新攻击和跨应用攻击策略。

Empathic and agentic artificial intelligence in nursing: perspectives on a human-centered framework for cancer care navigation in the United States

护理中的共情与自主人工智能：美国癌症护理导航中以人为本框架的视角

Tyra Girdwood, Saba Kheirinejad, Parnian Kheirkhah Rahimabad, Brianna M. White, Robert L Davis, David L Schwartz, Arash Shaban-Nejad

机构 * University of Tennessee Health Science Center, College of Nursing（田纳西大学健康科学中心护理学院） ； University of Tennessee Health Science Center, Center for Biomedical Informatics, Department of Pediatrics（田纳西大学健康科学中心生物医学信息中心，儿科系） ； University of Tennessee Health Science Center, Department of Radiation Oncology（田纳西大学健康科学中心放射肿瘤学系） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；workflow(abstract)；分类 cs.AI

AI总结 本文提出一个以人为本的人工智能框架，结合共情与自主方法，基于美国护士协会伦理准则，支持护士在癌症护理导航中增强而非取代人类共情与自主性，改善工作流程、医患关系和护理协调。

Comments 5 Pages, 1 Figure, 1 Table

Journal ref ESMO Real World Data and Digital Oncology, 2026, Vol 12, 100694

Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration

学习适应：通过认知感知探索实现自我改进的网络智能体

Weile Chen, Bingchen Miao, Qifan Yu, Wendong Bu, Guoming Wang, Wenqiao Zhang, Shengyu Zhang, Juncheng Li, Siliang Tang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 提出SCALE框架，利用选择器、预测器和评判器三个对抗角色，通过环境探索自主发现智能体局限性并扩展认知边界，结合SCALE-Hop图探索策略和SCALE-20k数据集，显著提升多模态大语言模型在多种网络环境中的性能和泛化能力。

Comments 24 pages

Scaling Mobile Agent Systems: From Capability Density to Collective Intelligence

扩展移动代理系统：从能力密度到集体智能

Bowei He

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；multi-agent(abstract)；分类 cs.CL

AI总结 本文提出通过紧凑基础模型设计与压缩提升单个代理能力密度，并通过通信丰富的多代理协作实现集体智能，以解决移动代理系统的扩展性问题。

Comments Accepted by ACM MobiSys 2026

CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend

CUJBench：跨模态故障诊断的LLM-代理基准测试

Haoming Meng

专题命中 GUI与网页智能体 ：agent(title,abstract)；multi-agent(abstract)；分类 cs.SE

AI总结 CUJBench是首个结合浏览器可见故障证据与后端可观测性的跨模态故障诊断基准测试，通过LLM辅助生成管道降低标注成本，评估六种前沿模型发现跨模态综合是主要瓶颈。

Comments 10 pages, 1 figure; updated source code url

MGA: Memory-Driven GUI Agent for Observation-Centric Interaction

MGA：基于记忆的GUI代理用于以观察为中心的交互

Weihua Cheng, Junming Liu, Yifei Sun, Botian Shi, Yirong Chen, Ding Wang

机构 * Shanghai Tech University（上海科技大学） ； Tongji University（同济大学） ； East China University of Science and Technology（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 MGA通过解耦长周期轨迹和结构化状态记忆机制，减少认知负担和系统复杂度，实现高效的GUI自动化。

Comments Submitted to ACM MM 2026

Genesis: Evolving Attack Strategies for LLM Web Agent Red-Teaming

Genesis：为LLM网络代理红队测试演变攻击策略

Zheng Zhang, Jiarui He, Yuchen Cai, Deheng Ye, Peilin Zhao, Ruili Feng, Hao Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Jiao Tong University（上海交通大学） ； Tencent（腾讯） ； Nvidia（英伟达） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出Genesis框架，通过遗传算法与混合策略表示生成对抗注入，动态发现有效策略并持续优化，提升网络代理攻击效果。

Comments Accepted by ICME 2026

CRAFT-GUI: Curriculum-Reinforced Agent For GUI Tasks

CRAFT-GUI：基于群体相对策略优化的课程强化代理用于GUI任务

Songqin Nong, Xiaoxuan Tang, Jingxuan Xu, Sheng Zhou, Jianfeng Chen, Tao Jiang, Wenhao Xu

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文提出CRAFT-GUI，通过课程学习框架和群体相对策略优化，解决GUI任务中难度差异和奖励信号单一的问题，实验表明在Android Control和内部基准上分别提升5.6%和10.3%。

ceLLMate: Sandboxing Browser AI Agents

ceLLMate: 浏览器级沙箱框架

Luoxi Meng, Henry Feng, Ilia Shumailov, Earlence Fernandes

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；agent(abstract)；分类 cs.LG

AI总结 ceLLMate通过在HTTP层实现浏览器级沙箱化，有效防止浏览器代理中的提示注入攻击，同时保持较低的延迟开销。

Comments Homepage: https://cellmate-sandbox.github.io

SPILLage: Agentic Oversharing on the Web

SPILLage：网络上的代理过度分享

Jaechul Roh, Eugene Bagdasarian, Hamed Haddadi, Ali Shahin Shamsabadi

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；分类 cs.AI

AI总结 SPILLage研究网络代理在执行任务时无意泄露用户信息的问题，通过分析行为和内容两个维度揭示过度分享现象，并通过实验验证减少过度分享可提升任务成功率。

Blind Gods and Broken Screens: Architecting a Secure, Intent-Centric Mobile Agent Operating System

无目神祇与破碎屏幕：构建一个安全的、以意图为中心的移动代理操作系统

Zhenhua Zou, Sheng Guo, Qiuyang Zhan, Lepeng Zhao, Shuo Li, Qi Li, Ke Xu, Mingwei Xu, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文提出Aura架构，通过结构化交互模型和四项防御支柱，提升移动代理系统的安全性与效率。

Comments 35 pages, 15 figures

Learning with Challenges: Adaptive Difficulty-Aware Data Generation for Mobile GUI Agent Training

面对挑战的学习：面向移动GUI代理训练的自适应难度数据生成

Linjia Kang, Zhimin Wang, Yongkang Zhang, Duo Wu, Jinghe Wang, Ming Ma, Haopeng Yan, Zhi Wang

机构 * Tsinghua University（清华大学） ； Huazhong Agricultural University（华中农业大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 MobileGen通过自适应调整训练难度与代理能力匹配，提升移动GUI代理的性能表现。

Evolving in Tasks: Empowering the Multi-modality Large Language Model as the Computer Use Agent

任务演化：使多模态大语言模型成为计算机使用代理

Yuhao Cheng, Liang Tang, Shuxian Li, Yukang Huo, Tiaonan Duan, Kaer Huang, Yanzhe Jing, Yiqiang Yan

机构 * Lenovo Research（联想研究） ； China Agricultural University（中国农业大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出自演化代理（SEA），通过数据生成、强化学习和模型增强三个创新，使7B参数模型在计算机使用任务中超越同类模型并接近更大规模模型性能。

MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments

MobileWorld: 用于Agent-用户交互和MCP增强环境中的自主移动代理基准测试

Quyu Kong, Xu Zhang, Zhenyu Yang, Nolan Gao, Chen Liu, Panrong Tong, Chenglin Cai, Hanzhang Zhou, Jianan Zhang, Liangyu Chen, Zhidan Liu, Steven Hoi, Yue Wang

机构 * Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团） ； HKUST (GZ)（香港科技大学（广州）） ； University of Florida（佛罗里达大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.CL

AI总结 MobileWorld通过201个任务和20个应用的挑战性基准测试，评估代理在用户交互和MCP增强环境中的表现，揭示了与AndroidWorld相比的显著性能下降。

SkyRL-Agent: Efficient RL Training for Multi-turn LLM Agent

SkyRL-Agent: 多轮长周期LLM代理高效强化学习训练

Shiyi Cao, Dacheng Li, Fangzhou Zhao, Shuo Yuan, Sumanth R. Hegde, Connor Chen, Charlie Ruan, Tyler Griggs, Shu Liu, Eric Tang, Richard Liaw, Philipp Moritz, Matei Zaharia, Joseph E. Gonzalez, Ion Stoica

机构 * NovaSky AI ； UC Berkeley（加州大学伯克利分校） ； Anyscale 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

AI总结 SkyRL-Agent通过高效异步调度和工具增强训练配方，实现多轮长周期LLM代理的高效强化学习训练，使SA-SWE-32B在SWE-Bench上达到39.4% Pass@1，成本降低超2倍。

HARNESS: Human-Agent Risk Navigation and Event Safety System for Proactive Hazard Forecasting in High-Risk DOE Environments

Ran Elgedawy, Sanjay Das, Ethan Seefried, Gavin Wiggins, Ryan Burchfield, Dana Hewit, Sudarshan Srinivasan, Todd Thomas, Prasanna Balaprakash, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（奥克勒斯国家实验室） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

BTL-UI: Blink-Think-Link Reasoning Model for GUI Agent

Shaojie Zhang, Ruoceng Zhang, Pei Fu, Shaokang Wang, Jiahui Yang, Xin Du, Shiqi Cui, Bin Qin, Ying Huang, Zhenbo Luo, Jian Luan

机构 * Xiaomi Inc（小米公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

Comments Accepted at NeurIPS 2025

Cross-Modal Content Optimization for Steering Web Agent Preferences

Tanqiu Jiang, Min Bai, Nikolaos Pappas, Yanjun Qi, Sandesh Swamy

机构 * Stony Brook University（石溪大学） ； AWS AI Labs（亚马逊人工智能实验室） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

GTA1: GUI Test-time Scaling Agent

Yan Yang, Dongxu Li, Yutong Dai, Yuhao Yang, Ziyang Luo, Zirui Zhao, Zhiyuan Hu, Junzhe Huang, Amrita Saha, Zeyuan Chen, Ran Xu, Liyuan Pan, Silvio Savarese, Caiming Xiong, Junnan Li

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

MagicGUI: A Foundational Mobile GUI Agent with Scalable Data Pipeline and Reinforcement Fine-tuning

Liujian Tang, Shaokang Dong, Yijia Huang, Minqi Xiang, Hongtao Ruan, Bin Wang, Shuo Li, Zhiheng Xi, Zhihui Cao, Hailiang Pang, Heng Kong, He Yang, Mingxu Chai, Zhilin Gao, Xingyu Liu, Yingnan Fu, Jiaming Liu, Xuanjing Huang, Yu-Gang Jiang, Tao Gui, Qi Zhang, Kang Wang, Yunke Zhang, Yuran Wang

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model

Tianqing Fang, Hongming Zhang, Zhisong Zhang, Kaixin Ma, Wenhao Yu, Haitao Mi, Dong Yu

专题命中 GUI与网页智能体 ：agent(title,abstract)；autonomous agent(abstract)；分类 cs.CL

Comments EMNLP 2025 Main Conference

Incident Analysis for AI Agents

Carson Ezell, Xavier Roberts-Gaal, Alan Chan

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI

Comments 16 pages (10 pages main text), 4 figures, 3 tables. To be published in the Proceedings of the 2025 AAAI/ACM Conference on AI, Ethics, & Society (AIES)

Enhancing Trust in Autonomous Agents: An Architecture for Accountability and Explainability through Blockchain and Large Language Models

Laura Fernández-Becerra, Miguel Ángel González-Santamarta, Ángel Manuel Guerrero-Higueras, Francisco Javier Rodríguez-Lera, Vicente Matellán Olivera

机构 * Robotics Group, University of León（莱昂大学机器人组） 纠错

专题命中 GUI与网页智能体 ：autonomous agent(title,abstract)；agent(abstract)；分类 cs.AI

LineRetriever: Planning-Aware Observation Reduction for Web Agents

Imene Kerboua, Sahar Omidi Shayegan, Megh Thakkar, Xing Han Lù, Massimo Caccia, Véronique Eglin, Alexandre Aussem, Jérémy Espinas, Alexandre Lacoste

机构 * INSA Lyon（里昂国立应用科学学院） ； Esker（Esker公司） ； ServiceNow Research（ServiceNow研究） ； Mila AI Institute（Mila人工智能研究所） ； McGill University（麦吉尔大学） ； Université Claude Bernard Lyon 1（里昂第一大学） ； LIRIS（LIRIS实验室） 纠错

专题命中 GUI与网页智能体 ：planning(title,abstract)；agent(abstract)；分类 cs.CL

Surfer-H Meets Holo1: Cost-Efficient Web Agent Powered by Open Weights

Mathieu Andreux, Breno Baldas Skuk, Hamza Benchekroun, Emilien Biré, Antoine Bonnet, Riaz Bordie, Nathan Bout, Matthias Brunel, Pierre-Louis Cedoz, Antoine Chassang, Mickaël Chen, Alexandra D. Constantinou, Antoine d'Andigné, Hubert de La Jonquière, Aurélien Delfosse, Ludovic Denoyer, Alexis Deprez, Augustin Derupti, Michael Eickenberg, Mathïs Federico, Charles Kantor, Xavier Koegler, Yann Labbé, Matthew C. H. Lee, Erwan Le Jumeau de Kergaradec, Amir Mahla, Avshalom Manevich, Adrien Maret, Charles Masson, Rafaël Maurin, Arturo Mena, Philippe Modard, Axel Moyal, Axel Nguyen Kerbel, Julien Revelle, Mats L. Richter, María Santos, Laurent Sifre, Maxime Theillard, Marc Thibault, Louis Thiry, Léo Tronchon, Nicolas Usunier, Tony Wu

机构 * H Company（H公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract)；分类 cs.AI

Comments Alphabetical order

ScreenAgent: A Vision Language Model-driven Computer Control Agent

Runliang Niu, Jindong Li, Shiqi Wang, Yali Fu, Xiyu Hu, Xueyuan Leng, He Kong, Yi Chang, Qi Wang

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

Journal ref Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence (IJCAI 2024)

OSUniverse: Benchmark for Multimodal GUI-navigation AI Agents

Mariya Davydova, Daniel Jeffries, Patrick Barker, Arturo Márquez Flores, Sinéad Ryan

机构 * Kentauros AI Inc.（Kentauros AI公司） 纠错

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；agent(abstract)；分类 cs.AI

Enhancing Safety for Autonomous Agents in Partly Concealed Urban Traffic Environments Through Representation-Based Shielding

Pierre Haritz, David Wanke, Thomas Liebig

专题命中 GUI与网页智能体 ：autonomous agent(title,abstract)；agent(abstract)；分类 cs.LG

QCQP-Tunneling: Ellipsoidal Constrained Agent Navigation

Sanjeev Sharma

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；分类 cs.AI

Comments In proceedings of the 2nd IASTED International Conference on Robotics, 2011

Journal ref 2nd IASTED International Conference on Robotics, 2011