AI Agent

OpenPhone: Mobile Agentic Foundation Models

OpenPhone: 移动代理基础模型

Yangqin Jiang, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 GUI与网页智能体 ：agentic(title)；agent(abstract)；分类 cs.AI

AI总结 OpenPhone通过设备-云协作提升移动GUI代理性能，结合设备端高效模型与云端强大能力，实现成本降低与性能提升的平衡。

Darwinian Memory: A Training-Free Self-Regulating Memory System for GUI Agent Evolution

达尔文记忆：一种无训练的自调节记忆系统用于GUI代理进化

Hongze Mi, Yibo Feng, WenJie Lu, Song Cao, Jinyuan Li, Yanming Li, Xuelin Zhang, Haotian Luo, Songyang Peng, He Cui, Tengfei Tian, Jun Fang, Hua Chai, Naiqiang Tan

机构 * Didichuxing Co. Ltd（滴滴出行有限公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tianjin University（天津大学） ； Sun Yat-sen University（中山大学） ； Fudan University（复旦大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 达尔文记忆系统通过自进化架构提升GUI代理的执行稳定性与成功率，无需额外训练或架构开销。

Me-Agent: A Personalized Mobile Agent with Two-Level User Habit Learning for Enhanced Interaction

Me-Agent：一种具有两级用户习惯学习的个性化移动代理以增强交互

Shuoxin Wang, Chang Liu, Gowen Loo, Lifan Zheng, Kaiwen Wei, Xinyi Zeng, Jingyuan Zhang, Yu Tian

机构 * Yunnan University（云南大学） ； Hong Kong Polytechnic University（香港理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Southeast University（东南大学） ； Chongqing University（重庆大学） ； Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

AI总结 Me-Agent通过两级用户习惯学习方法，提升移动代理在个性化交互中的性能与准确性。

MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents

针对代理的恶意图像补丁：多模态操作系统代理劫持

Lukas Aichberger, Alasdair Paren, Guohao Li, Philip Torr, Yarin Gal, Adel Bibi

机构 * Johannes Kepler University Linz（约翰内斯·开普勒大学林茨） ； University of Oxford（牛津大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.LG

AI总结 本文提出恶意图像补丁（MIPs）攻击，通过篡改屏幕区域使多模态OS代理执行有害操作，揭示了OS代理的安全漏洞。

Comments NeurIPS 2025

Agentic Digital Twins: A Taxonomy of Capabilities for Understanding Possible Futures

代理数字孪生：理解可能未来的能力分类

Christopher Burr, Mark Enzer, Jason Shepherd, David Wagg

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； Mott MacDonald（莫特麦克劳林公司） ； Fujitsu Services Limited（富士通服务有限公司） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 GUI与网页智能体 ：agentic(title,abstract)；分类 cs.AI

AI总结 本文提出代理数字孪生的能力分类，探讨其在不同配置下的表现力与本体重构潜力。

Comments 32 pages, 6 figures

MobileDreamer: Generative Sketch World Model for GUI Agent

MobileDreamer: 用于GUI代理的生成式草图世界模型

Yilin Cao, Yufeng Zhong, Zhixiong Zeng, Liming Zheng, Jing Huang, Haibo Qiu, Peng Shi, Wenji Mao, Wan Guanglu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Meituan（美团） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 MobileDreamer通过生成式草图世界模型和rollout想象策略，提升GUI代理在长周期任务中的决策能力，任务成功率提升5.25%。

OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability

OpenApps: 通过模拟环境变化来衡量UI代理的可靠性

Karen Ullrich, Jingtong Su, Claudia Shi, Arjun Subramonian, Amir Bar, Ivan Evtimov, Nikolaos Tsilivis, Randall Balestriero, Julia Kempe, Mark Ibrahim

机构 * FAIR at Meta（Meta 的 FAIR 研究组） ； New York University（纽约大学） ； Brown University（布朗大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AI总结 OpenApps通过模拟不同应用程序变化来衡量UI代理的可靠性，发现任务成功率在不同环境中有显著波动。

MMWOZ: Building Multimodal Agent for Task-oriented Dialogue

Pu-Hai Yang, Heyan Huang, Heng-Da Xu, Fanshu Sun, Xian-Ling Mao, Chaoxu Mu

机构 * School of Artificial Intelligence, Anhui University, Hefei, China（人工智能学院，安徽大学，合肥，中国） ； School of Computer Science（计算机科学学院） ； School of Computer Science and Technology, Beijing Institute of Technology, Beijing, China（计算机科学与技术学院，北京理工大学，北京，中国） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

AppAgent-Pro: A Proactive GUI Agent System for Multidomain Information Integration and User Assistance

Yuyang Zhao, Wentao Shi, Fuli Feng, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments Accepted at CIKM 2025. 10 pages, 5 figures. Our code is available at: https://github.com/LaoKuiZe/AppAgent-Pro. The demonstration video could be found at: https://www.dropbox.com/scl/fi/hvzqo5vnusg66srydzixo/AppAgent-Pro-demo-video.mp4?rlkey=o2nlfqgq6ihl125mcqg7bpgqu&st=d29vrzii&dl=0

Journal ref Proceedings of the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025), ACM, 2025

GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes

Kristian Kolthoff, Felix Kretzer, Simone Paolo Ponzetto, Alexander Maedche, Christian Bartelt

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.SE

GUI-PRA: Process Reward Agent for GUI Tasks

Tao Xiong, Xavier Hu, Yurun Chen, Yuhang Liu, Changqiao Wu, Pengzhi Gao, Wei Liu, Jian Luan, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

AppAgent v2: Advanced Agent for Flexible Mobile Interactions

Yanda Li, Chi Zhang, Wenjia Jiang, Wanqi Yang, Bin Fu, Pei Cheng, Xin Chen, Ling Chen, Yunchao Wei

机构 * University of Technology Sydney（悉尼技术大学） ； Tencent（腾讯） ； Beijing Jiaotong University（北京交通大学） ； Westlake University（西湖大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

KG-RAG: Enhancing GUI Agent Decision-Making via Knowledge Graph-Driven Retrieval-Augmented Generation

Ziyi Guan, Jason Chun Lok Li, Zhijian Hou, Pingping Zhang, Donglai Xu, Yuzhi Zhao, Mengyang Wu, Jinpeng Chen, Thanh-Toan Nguyen, Pengfei Xian, Wenao Ma, Shengchao Qin, Graziano Chesi, Ngai Wong

机构 * Huawei Hong Kong Research Center（华为香港研究部） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（城市大学） ； Guangzhou Institute of Technology, Xidian University（广州技术学院，西安电子科技大学） ； ICTT and ISN Laboratory, Xidian University（ICTT和ISN实验室，西安电子科技大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

Comments Accepted by the EMNLP 2025

QoE-Aware Service Provision for Mobile AR Rendering: An Agent-Driven Approach

Conghao Zhou, Lulu Sun, Xiucheng Wang, Peng Yang, Feng Lyu, Sihan Lu, Xuemin Shen

机构 * School of Telecommunications Engineering, Xidian University, China（电信工程学院，西安电子科技大学） ； School of Computer Science and Engineering, Central South University, China（计算机科学与工程学院，中南大学） ； State Power Investment Corporation Limited, China（国家电力投资集团有限公司） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Uncertainty-Aware GUI Agent: Adaptive Perception through Component Recommendation and Human-in-the-Loop Refinement

Chao Hao, Shuai Wang, Kaiwen Zhou

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

WebNav: An Intelligent Agent for Voice-Controlled Web Navigation

Trisanth Srinivasan, Santosh Patapati

机构 * Dept. of Applied AI（应用人工智能系） ； Cyrion Labs（Cyrian实验室） ； Dallas, USA（美国达拉斯） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Understanding GUI Agent Localization Biases through Logit Sharpness

Xingjian Tao, Yiwei Wang, Yujun Cai, Zhicheng Yang, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of California, Merced（加州大学梅德福分校） ； The University of Queensland（昆士兰大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

GUI-Robust: A Comprehensive Dataset for Testing GUI Agent Robustness in Real-World Anomalies

Jingqi Yang, Zhilong Song, Jiawei Chen, Mingli Song, Sheng Zhou, linjun sun, Xiaogang Ouyang, Chun Chen, Can Wang

机构 * Zhejiang University（浙江大学） ； Intelligence Indeed（智能实在） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments 10 pages, 4 figures, submitted to NIPS 2025

GUI-explorer: Autonomous Exploration and Mining of Transition-aware Knowledge for GUI Agent

Bin Xie, Rui Shao, Gongwei Chen, Kaiwen Zhou, Yinchuan Li, Jie Liu, Min Zhang, Liqiang Nie

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments ACL 2025. Github: https://github.com/JiuTian-VL/GUI-explorer

TinyClick: Single-Turn Agent for Empowering GUI Automation

Pawel Pawlowski, Krystian Zawistowski, Wojciech Lapacz, Adam Wiacek, Marcin Skorupa, Sebastien Postansque, Jakub Hoscilowicz

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments Accepted to Interspeech 2025

WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks

Ivan Evtimov, Arman Zharmagambetov, Aaron Grattafiori, Chuan Guo, Kamalika Chaudhuri

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments Code and data: https://github.com/facebookresearch/wasp

Does Chain-of-Thought Reasoning Help Mobile GUI Agent? An Empirical Study

Li Zhang, Longxi Gao, Mengwei Xu

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues

Francesco Taioli, Edoardo Zorzi, Gianni Franchi, Alberto Castellini, Alessandro Farinelli, Marco Cristani, Yiming Wang

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments https://intelligolabs.github.io/CoIN/

AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials

Yiheng Xu, Dunjie Lu, Zhennan Shen, Junli Wang, Zekun Wang, Yuchen Mao, Caiming Xiong, Tao Yu

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

Comments ICLR2025 Spotlight https://agenttrek.github.io

Image-Guided Navigation of a Robotic Ultrasound Probe for Autonomous Spinal Sonography Using a Shadow-aware Dual-Agent Framework

Keyu Li, Yangxin Xu, Jian Wang, Dong Ni, Li Liu, Max Q. -H. Meng

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Comments Accepted by IEEE Transactions on Medical Robotics and Bionics

Journal ref IEEE Transactions on Medical Robotics and Bionics (2021)

AutoWebGLM: A Large Language Model-based Web Navigating Agent

Hanyu Lai, Xiao Liu, Iat Long Iong, Shuntian Yao, Yuxuan Chen, Pengbo Shen, Hao Yu, Hanchen Zhang, Xiaohan Zhang, Yuxiao Dong, Jie Tang

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.CL

Comments Accepted to KDD 2024

Recommending and Release Planning of User-Driven Functionality Deletion for Mobile Apps

Maleknaz Nayebi, Konstantin Kuznetsov, Andreas Zeller, Guenther Ruhe

专题命中 GUI与网页智能体 ：planning(title,abstract)；分类 cs.SE

Comments Pre-print of REJ paper. arXiv admin note: substantial text overlap with arXiv:2305.19384

CON: Continual Object Navigation via Data-Free Inter-Agent Knowledge Transfer in Unseen and Unfamiliar Places

Kouki Terashima, Daiki Iwata, Kanji Tanaka

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.LG

Comments 6 pages, 3 figures, workshop paper's draft version

A novel agent with formal goal-reaching guarantees: an experimental study with a mobile robot

Grigory Yaremenko, Dmitrii Dobriborsci, Roman Zashchitin, Ruben Contreras Maestre, Ngoc Quoc Huy Hoang, Pavel Osinenko

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI

Cog-GA: A Large Language Models-based Generative Agent for Vision-Language Navigation in Continuous Environments

Zhiyuan Li, Yanfeng Lu, Yao Mu, Hong Qiao

专题命中 GUI与网页智能体 ：agent(title,abstract)；分类 cs.AI