AI Agent

LLM-Guided Agentic Floor Plan Parsing for Accessible Indoor Navigation of Blind and Low-Vision People

基于大语言模型的代理楼层计划解析用于视障和低视力人士的无障碍室内导航

Aydin Ayanzadeh, Tim Oates

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；multi-agent(abstract)

AI总结 本文提出一种基于代理的框架，将单张楼层平面图转换为结构化的知识库，生成安全的无障碍导航指令。系统通过多代理模块生成空间知识图谱，并通过路径规划器生成导航指令，实验结果显示在真实场景和基准数据集上均优于单次调用基线。

Digital Twin Synchronization Over Mobile Embodied AI Network With Agentic Intelligence

基于移动具身AI网络的数字孪生同步

Zhouxiang Zhao, Jiaxiang Wang, Yahao Ding, Yinchao Yang, Zhaohui Yang, Mohammad Shikh-Bahaei, Julie A. McCann, Zhaoyang Zhang, Kaibin Huang

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；workflow(abstract)；multi-agent(abstract)

AI总结 本文提出基于移动具身AI网络的数字孪生同步框架，通过五阶段闭环工作流和分层优化算法，实现高保真同步并降低偏差。

Next-Gen CAPTCHAs: Leveraging the Cognitive Gap for Scalable and Diverse GUI-Agent Defense

下一代验证码：利用认知差距实现可扩展且多样化的GUI智能体防御

Jiacheng Liu, Yaxin Luo, Jiacheng Cui, Xinyi Shang, Xiaohan Zhao, Zhiqiang Shen

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； MetaAgentX ； University College London（伦敦大学学院） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.LG

AI总结 提出Next-Gen CAPTCHAs框架，通过利用人机在交互感知、记忆、决策和行动上的认知差距，设计动态任务以区分生物用户与AI智能体，实现可扩展的防御。

Comments Project page at https://greenoso.github.io/NextGen-CAPTCHAs_webpage/

CLI-Anything: Towards Agent-Native Computer Use

CLI-Anything：迈向智能体原生的计算机使用

Yuhao Yang, Tianyu Fan, Chao Huang

专题命中 GUI与网页智能体 ：agent(title,summary_cn)；tool use(abstract)

AI总结 本文提出CLI-Anything方法，通过将现有应用转化为命令行接口，实现智能体原生（agent-native）的计算机使用，避免GUI代理的脆弱性问题。

Bayesian Optimization for Learning Nonlinear MPC in Autonomous Agent Navigation

自主智能体导航中学习非线性模型预测控制的贝叶斯优化

Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

机构 * Talos Robotics AI 纠错

专题命中 GUI与网页智能体 ：agent(title)；autonomous agent(title)；planning(abstract)；分类 cs.LG

AI总结 提出一种无地图框架，结合滚动时域规划与非线性MPC，利用贝叶斯优化自动调参，在仿真和实物四足机器人上实现高效导航。

Comments Published at the IEEE ICRA 2026 Xplore Workshop (Oral), Cross-Disciplinary aspects of Exploration in Robotics, Reinforcement Learning, and Search

Agent Skills for Large Language Models: Architecture, Acquisition, Security, and the Path Forward

大型语言模型的智能体技能：架构、获取、安全与未来路径

Renjun Xu, Yang Yan

机构 * ReDiscovery Hangzhou China（杭州ReDiscovery研究院） ； Westlake University Hangzhou China（西交大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(abstract,comments)；tool use(abstract)；分类 cs.AI

AI总结 本文综述了大型语言模型智能体技能的研究，涵盖架构基础（如SKILL.md规范、渐进式上下文加载）、技能获取（强化学习、自主发现、组合合成）、大规模部署（计算机使用智能体栈、GUI接地）以及安全挑战（26.1%社区技能含漏洞），并提出技能信任与生命周期治理框架。

Comments Accepted by Agent Skills '26 Workshop at ACM Conference on AI and Agentic Systems 2026

WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point

WorldGUI: 一个从任意起点进行桌面GUI自动化的交互式基准测试

Henry Hengyuan Zhao, Kaiming Yang, Wendi Yu, Difei Gao, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） 纠错

专题命中 GUI与网页智能体 ：agent(summary_cn,abstract)；planning(abstract)；workflow(abstract)；分类 cs.AI

AI总结 提出WorldGUI基准测试，覆盖10个桌面和Web应用，在多种系统构建的初始状态下评估GUI代理的规划鲁棒性，并引入WorldGUI-Agent框架通过三阶段批评提升动态环境下的可靠性。

Comments Technique Report

ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use

ROGUE：源于普通计算机使用的错误对齐代理行为

Jeremy Tien, Abishek Anand, Yu-Rou Tuan, Yuchen Shen, J. Zico Kolter, Aran Nayebi

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；AI agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.LG

AI总结 研究AI代理在良性环境中因任务完成而采取不安全行为（违反可纠正性）的问题，通过基准测试发现前沿模型普遍绕过用户中断或限制，且性能提升反而加剧错误对齐。

Comments 27 pages, 13 figures

UI-CUBE: Enterprise-Grade Computer Use Agent Benchmarking Beyond Task Accuracy to Operational Reliability

UI-CUBE：超越任务准确性的企业级计算机使用代理基准测试到操作可靠性

Horia Cristescu, Charles Park, Trong Canh Nguyen, Sergiu Talmacel, Alexandru-Gabriel Ilie, Stefan Adam

机构 * UiPath Romania（UiPath罗马尼亚） ； UiPath UK（UiPath英国） ； UiPath France（UiPath法国） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；workflow(abstract)；分类 cs.AI、cs.SE

AI总结 UI-CUBE通过系统性测试揭示CUA在复杂流程中的性能断崖，表明内存管理等架构限制而非训练优化可解决

Comments 18 pages, 8 figures, 5 tables. Benchmark comprising 226 tasks across two difficulty tiers. Code and benchmark available at https://github.com/UiPath/uipath_enterprise_benchmark

UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning

Haoming Wang, Haoyang Zou, Huatong Song, Jiazhan Feng, Junjie Fang, Junting Lu, Longxiang Liu, Qinyu Luo, Shihao Liang, Shijue Huang, Wanjun Zhong, Yining Ye, Yujia Qin, Yuwen Xiong, Yuxin Song, Zhiyong Wu, Aoyan Li, Bo Li, Chen Dun, Chong Liu, Daoguang Zan, Fuxing Leng, Hanbin Wang, Hao Yu, Haobin Chen, Hongyi Guo, Jing Su, Jingjia Huang, Kai Shen, Kaiyu Shi, Lin Yan, Peiyao Zhao, Pengfei Liu, Qinghao Ye, Renjie Zheng, Shulin Xin, Wayne Xin Zhao, Wen Heng, Wenhao Huang, Wenqian Wang, Xiaobo Qin, Yi Lin, Youbin Wu, Zehui Chen, Zihao Wang, Baoquan Zhong, Xinchun Zhang, Xujing Li, Yuanfan Li, Zhongkai Zhao, Chengquan Jiang, Faming Wu, Haotian Zhou, Jinlin Pang, Li Han, Qi Liu, Qianli Ma, Siyao Liu, Songhua Cai, Wenqi Fu, Xin Liu, Yaohui Wang, Zhi Zhang, Bo Zhou, Guoliang Li, Jiajun Shi, Jiale Yang, Jie Tang, Li Li, Qihua Han, Taoran Lu, Woyu Lin, Xiaokang Tong, Xinyao Li, Yichi Zhang, Yu Miao, Zhengxuan Jiang, Zili Li, Ziyuan Zhao, Chenxin Li, Dehua Ma, Feng Lin, Ge Zhang, Haihua Yang, Hangyu Guo, Hongda Zhu, Jiaheng Liu, Junda Du, Kai Cai, Kuanye Li, Lichen Yuan, Meilan Han, Minchao Wang, Shuyue Guo, Tianhao Cheng, Xiaobo Ma, Xiaojun Xiao, Xiaolong Huang, Xinjie Chen, Yidi Du, Yilin Chen, Yiwen Wang, Zhaojian Li, Zhenzhu Yang, Zhiyuan Zeng, Chaolin Jin, Chen Li, Hao Chen, Haoli Chen, Jian Chen, Qinghao Zhao, Guang Shi

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；AI agent(abstract)；autonomous agent(abstract)；分类 cs.AI、cs.CL

SWIRL: A Staged Workflow for Interleaved Reinforcement Learning in Mobile GUI Control

Quanfeng Lu, Zhantao Ma, Shuai Zhong, Jin Wang, Dahai Yu, Michael K. Ng, Ping Luo

机构 * The University of Hong Kong（香港大学） ； Hong Kong Baptist University（香港 Baptist 大学） ； TCL Corporate Research (Hong Kong) Co., Ltd（TCL 香港研究院） 纠错

专题命中 GUI与网页智能体 ：workflow(title,abstract)；agent(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL

Comments 28 pages, 12 figures

Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence

Yining Hong, Rui Sun, Bingxuan Li, Xingcheng Yao, Maxine Wu, Alexander Chien, Da Yin, Ying Nian Wu, Zhecan James Wang, Kai-Wei Chang

专题命中 GUI与网页智能体 ：agent(title,abstract)；AI agent(abstract)；planning(abstract)；分类 cs.AI、cs.CL

Magma: A Foundation Model for Multimodal AI Agents

Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI、cs.LG

Comments 29 pages, 16 figures, technical report from MSR

ClickAgent: Enhancing UI Location Capabilities of Autonomous Agents

Jakub Hoscilowicz, Bartosz Maj, Bartosz Kozakiewicz, Oleksii Tymoshchuk, Artur Janicki

专题命中 GUI与网页智能体 ：autonomous agent(title,abstract)；agent(abstract)；planning(abstract)；分类 cs.AI、cs.LG

Comments The code for ClickAgent is available at github.com/Samsung/ClickAgent

Agentic Reward Modeling: Verifying GUI Agent via Progressive Trajectory-Grounded Interaction

代理奖励建模：通过在线主动交互验证GUI代理

Chaoqun Cui, Jing Huang, Shijing Wang, Liming Zheng, Qingchao Kong, Zhixiong Zeng

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences ； School of Artificial Intelligence, University of Chinese Academy of Sciences ； School of Computer Science \& Technology, Beijing Jiaotong University 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；agentic(title)

AI总结 VAGEN通过引入代理交互验证范式，解决GUI代理评估中的视觉限制问题，提升评估准确性与性能。

Comments 25 pages, 12 figures

Is Progressive Disclosure All You Need for Long-Context Agents?

长上下文智能体仅靠渐进式披露就够了吗？

Yifeng He, Yinzhe Zhao, Jicheng Wang, Hao Chen

机构 * University of California, Davis（加利福尼亚大学戴维斯分校） ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与网页智能体 ：agent(summary_cn,abstract)；agentic(abstract)；分类 cs.AI、cs.CL、cs.SE

AI总结 研究长文档问答中智能体获取文档路径自行决定读取内容的模式，通过对照研究，在InfiniteBench上对比原始文档导航、Agent Skills包设计与经典混合检索器，发现不同情况下各方法表现不同，渐进式披露在语料库大时作用关键。

Task-Aware Positioning for Improvisational Tasks in Mobile Construction Robots via an AI Agent with Multi-LMM Modules

面向即兴任务的移动建筑机器人AI代理的定位任务感知

Seongju Jang, Francis Baek, SangHyun Lee

机构 * University of Michigan（密歇根大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；AI agent(title)

AI总结 本文提出一种AI代理，通过多LMM模块实现对自然语言描述的即兴任务的理解与定位，使移动建筑机器人能自主完成非预定义任务。

A sub-modular receding horizon solution for mobile multi-agent persistent monitoring

Navid Rezazadeh, Solmaz S. Kia

专题命中 GUI与网页智能体 ：agent(title,abstract)；multi-agent(title)

Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection

并非无障碍功能（A11y）：安卓无障碍功能如何将移动智能体暴露于间接提示注入攻击

Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek

机构 * Radboud University Nijmegen（奈梅亨拉德堡德大学） 纠错

专题命中 GUI与网页智能体 ：AI agent(title,abstract)；agent(abstract)；autonomous agent(abstract)；分类 cs.AI

AI总结 本文揭示安卓移动智能体框架因依赖未过滤的无障碍元数据，存在间接提示注入漏洞，经实证验证其攻击成功率达0.822，需强化零信任输入验证等安全措施。

Agentic AI-driven Immersive Simulation: A Knowledge-Aware Virtual Training Platform forHigh Dose Rate (HDR) Brachytherapy

智能体AI驱动的沉浸式模拟：用于高剂量率（HDR）近距离放射治疗的知识感知虚拟训练平台

Ronghua Xu, Kepha Barasa, Manoj Kumal, Xinyun Liu, Weihua Zhou, Xin Qian

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.AI

AI总结 该研究提出一款智能体AI驱动的沉浸式模拟平台，用于HDR阴道圆柱近距离放射治疗虚拟训练，集成VR、移动计算与RAG技术，经原型验证可提供高保真无风险训练环境，具备合适延迟与高RAG支持质量。

Why Does Agentic Safety Fail to Generalize Across Tasks?

为何代理安全无法跨任务泛化？

Yonatan Slutzky, Yotam Alexander, Tomer Slor, Yoav Nagel, Nadav Cohen

机构 * Some Institute（某些研究所） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.LG

AI总结 本文探讨了代理安全在多任务场景中泛化失败的原因，指出安全要求使任务与安全执行的关系更为复杂，通过理论和实验表明需新的方法提升安全性能。

OpAgent: Operator Agent for Web Navigation

OpAgent：网页导航的运算代理

Yuyu Guo, Wenjie Yang, Siyuan Yang, Ziyang Liu, Cheng Chen, Yuan Wei, Yun Hu, Yang Huang, Guoliang Hao, Dongsheng Yuan, Jianming Wang, Xin Chen, Hang Yu, Lei Lei, Peng Di

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出OpAgent，通过在线强化学习优化网页导航策略，结合层级多任务微调和混合奖励机制，实现71.6%的高成功率。

Single-agent vs. Multi-agents for Automated Video Analysis of On-Screen Collaborative Learning Behaviors

单 agent 与多 agent 在自动视频分析上的协作学习行为研究

Likai Peng, Shihui Feng

机构 * Faculty of Education, The University of Hong Kong（香港大学教育学院） ； Institute of Data Science, The University of Hong Kong（香港大学数据科学研究所） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI

AI总结 本文比较了单 agent 和多 agent 框架在自动编码协作学习场景视频中的性能，提出两种多 agent 方法，分别在场景检测和动作检测任务中表现优异。

Comments 15 pages, 4 figures. To be published in the 27th International Conference on Artificial Intelligence in Education (AIED2026)

Internal APIs Are All You Need: Shadow APIs, Shared Discovery, and the Case Against Browser-First Agent Architectures

内部API足矣：影子API、共享发现以及对浏览器优先代理架构的反对

Lewis Tham, Nicholas Mac Gregor Garcia, Jungpil Hahn

机构 * Unbrowse AI ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；autonomous agent(abstract)；agentic(abstract)；分类 cs.AI

AI总结 本文提出Unbrowse系统，通过共享路由图将浏览器路由发现转化为集体维护的可调用第一方接口索引，提升信息检索效率，同时引入三级微支付模型以促进理性采用。

Comments 17 pages, 2 figures, 5 tables

Multi-Agentic AI for Fairness-Aware and Accelerated Multi-modal Large Model Inference in Real-world Mobile Edge Networks

多智能体AI用于现实世界移动边缘网络中公平性感知和加速的多模态大模型推理

Haiyuan Li, Hari Madhukumar, Shuangyi Yan, Yulei Wu, Dimitra Simeonidou

机构 * Smart Internet Lab, Department of Electrical and Electronic Engineering, University of Bristol（布里斯托大学电子与电气工程系智能互联网实验室） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出多智能体AI框架，通过优化提示路由和模型部署，实现移动边缘网络中多模态大模型推理的低延迟与高公平性。

CovAgent: Overcoming the 30% Curse of Mobile Application Coverage with Agentic AI and Dynamic Instrumentation

CovAgent: 通过代理AI和动态仪器化克服移动应用覆盖的30%诅咒

Wei Minn, Biniam Fisseha Demissie, Yan Naing Tun, Jiakun Liu, Mariano Ceccato, Lwin Khin Shar, David Lo

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.SE

AI总结 CovAgent通过代理AI和动态仪器化技术，显著提升Android应用UI测试的覆盖效率，超越现有方法的30%覆盖限制。

Comments Under Review; We open-source CovAgent at https://osf.io/vxgwm/?view_only=3edf2abe5a12419fa6413933da851847

OmegaUse: Building a General-Purpose GUI Agent for Autonomous Task Execution

OmegaUse：构建一个通用的 GUI 代理以实现自主任务执行

Le Zhang, Yixiong Xiao, Xinjiang Lu, Jingjia Cao, Yusai Zhao, Jingbo Zhou, Lang An, Zikan Feng, Wanxiang Sha, Yu Shi, Congxi Xiao, Jian Xiong, Yankai Zhang, Hua Wu, Haifeng Wang

机构 * Baidu Frontier Research Department（百度前沿研究部） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；agentic(abstract)；分类 cs.AI

AI总结 OmegaUse 是一种通用 GUI 代理模型，通过高质量数据和解耦训练方法实现跨平台自主任务执行，展现卓越的 GUI 任务性能。

Agent-SAMA: State-Aware Mobile Assistant

Linqiang Guo, Wei Liu, Yi Wen Heng, Tse-Hsun, Chen, Yang Wang

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.AI

Comments Accepted to AAAI-26 (Main Technical Track)

In-Browser LLM-Guided Fuzzing for Real-Time Prompt Injection Testing in Agentic AI Browsers

Avihay Cohen

机构 * Avihay Cohen 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；agent(abstract)；AI agent(abstract)；分类 cs.AI

Comments 37 pages , 10 figures

ReInAgent: A Context-Aware GUI Agent Enabling Human-in-the-Loop Mobile Task Navigation

Haitao Jia, Ming He, Zimo Yin, Likang Wu, Jianping Fan, Jitao Sang

专题命中 GUI与网页智能体 ：agent(title,abstract)；planning(abstract)；multi-agent(abstract)；分类 cs.AI