arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

AI Agent

智能体、工具调用、规划、工作流、多智能体和自主任务执行。

共收录 170 信号源:cs.AI, cs.CL, cs.LG, cs.SE

1. GUI与网页智能体 170 篇

2607.28227 2026-07-31 cs.AI cs.CV 新提交 90%

Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

Qwen-UI-Agent技术报告:面向下一代以真实世界为中心的基础图形用户界面智能体

Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

机构 * Alibaba Group(阿里巴巴集团)

专题命中 GUI与网页智能体 :agent(title,title_cn);分类 cs.AI

AI总结 本研究推出以真实世界为中心的基础GUI智能体Qwen-UI-Agent,结合多环境与数据飞轮等机制,在移动端基准达最优,在多类任务上表现具竞争力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13686 2026-06-15 cs.CL cs.CY 新提交 90%

Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces

电子商务欺骗性界面下的Web Agent安全基准测试

Zijing Shi, Meng Fang, Ling Chen

机构 * AAII, University of Technology Sydney(悉尼科技大学AAII) University of Liverpool(利物浦大学)

专题命中 GUI与网页智能体 :agent(title,title_cn);分类 cs.CL

AI总结 提出WebDecept框架,在电子商务环境中注入七种常见欺骗性界面模式,测试多模态Web Agent的安全性,发现当前Agent极易受骗且提示约束不足。

Comments Accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19926 2026-06-19 cs.HC 新提交 90%

MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management

MemGUI-Agent: 一种具有主动上下文管理的端到端长时移动GUI智能体

Guangyi Liu, Gao Wu, Congxiao Liu, Pengxiang Zhao, Liang Liu, Mading Li, Qi Zhang, Mengyan Wang, Liang Guo, Yong Liu

专题命中 GUI与网页智能体 :agent(title,title_cn)

AI总结 提出MemGUI-Agent,通过主动上下文管理机制(ConAct)将上下文管理作为一等动作,解决长时任务中提示膨胀和关键信息稀释问题,在8B模型上达到最佳性能。

Comments 33 pages, 6 figures. Project page: https://memgui-agent.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19116 2026-06-18 cs.AI cs.CY 新提交 88%

Towards an Agent-First Web: Redesigning the Web for AI Agents

迈向智能体优先的Web:为AI智能体重新设计Web

Eranga Bandara, Ross Gore, Ravi Mukkamala, Asanga Gunaratna, Safdar H. Bouk, Xueping Liang, Peter Foytik, Abdul Rahman, Sachini Rajapakse, Isurunima Kularathna, Pramoda Karunarathna, Chalani Rajapakse, Ng Wee Keong, Kasun De Zoysa, Tharaka Hewa, Amin Hass, Wathsala Herath, Aruna Withanage, Nilaan Loganathan, Atmaram Yarlagadda, Sachin Shetty

机构 * Old Dominion University(老 Dominion 大学) AI Motion Labs(AI Motion 实验室) Florida International University(佛罗里达国际大学) Accenture Technology Labs(Accenture 技术实验室) Nanyang Technological University(南洋理工大学) University of Colombo(科伦坡大学) Center for Wireless Communications, University of Oulu(无线通信中心,奥卢大学) McDonald Army Health Center(麦克唐纳陆军健康中心)

专题命中 GUI与网页智能体 :agent(title,abstract);AI agent(title,abstract);分类 cs.AI

AI总结 本文提出三层重新设计原则,包括访问层(代理继承人类权限)、经济层(基于意图的代币订阅模型)和内容层(ATML标记语言与加密溯源链),以解决AI智能体作为中间人时Web的访问、经济与内容问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14763 2026-06-16 cs.RO cs.LG math.OC 新提交 86%

Bayesian Optimization for Learning Nonlinear MPC in Autonomous Agent Navigation

自主智能体导航中学习非线性模型预测控制的贝叶斯优化

Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

机构 * Talos Robotics AI

专题命中 GUI与网页智能体 :agent(title);autonomous agent(title);planning(abstract);分类 cs.LG

AI总结 提出一种无地图框架,结合滚动时域规划与非线性MPC,利用贝叶斯优化自动调参,在仿真和实物四足机器人上实现高效导航。

Comments Published at the IEEE ICRA 2026 Xplore Workshop (Oral), Cross-Disciplinary aspects of Exploration in Robotics, Reinforcement Learning, and Search

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.17598 2026-07-21 cs.AI cs.CL cs.SE 新提交 86%

Is Progressive Disclosure All You Need for Long-Context Agents?

长上下文智能体仅靠渐进式披露就够了吗?

Yifeng He, Yinzhe Zhao, Jicheng Wang, Hao Chen

机构 * University of California, Davis(加利福尼亚大学戴维斯分校) Zhejiang University(浙江大学) The University of Hong Kong(香港大学)

专题命中 GUI与网页智能体 :agent(summary_cn,abstract);agentic(abstract);分类 cs.AI、cs.CL、cs.SE

AI总结 研究长文档问答中智能体获取文档路径自行决定读取内容的模式,通过对照研究,在InfiniteBench上对比原始文档导航、Agent Skills包设计与经典混合检索器,发现不同情况下各方法表现不同,渐进式披露在语料库大时作用关键。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08939 2026-08-11 cs.AI 新提交 85%

Not an A11y: How Android Accessibility Exposes Mobile AI Agents to Indirect Prompt Injection

并非无障碍功能(A11y):安卓无障碍功能如何将移动智能体暴露于间接提示注入攻击

Rahul Deivasigamani, Sayeda Faatin Alvi, Derqui Andrea, Kaushal Punjabi, Stjepan Picek

机构 * Radboud University Nijmegen(奈梅亨拉德堡德大学)

专题命中 GUI与网页智能体 :AI agent(title,abstract);agent(abstract);autonomous agent(abstract);分类 cs.AI

AI总结 本文揭示安卓移动智能体框架因依赖未过滤的无障碍元数据,存在间接提示注入漏洞,经实证验证其攻击成功率达0.822,需强化零信任输入验证等安全措施。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08163 2026-08-11 cs.AI 新提交 85%

Agentic AI-driven Immersive Simulation: A Knowledge-Aware Virtual Training Platform forHigh Dose Rate (HDR) Brachytherapy

智能体AI驱动的沉浸式模拟:用于高剂量率(HDR)近距离放射治疗的知识感知虚拟训练平台

Ronghua Xu, Kepha Barasa, Manoj Kumal, Xinyun Liu, Weihua Zhou, Xin Qian

专题命中 GUI与网页智能体 :agentic(title,abstract);agent(abstract);AI agent(abstract);分类 cs.AI

AI总结 该研究提出一款智能体AI驱动的沉浸式模拟平台,用于HDR阴道圆柱近距离放射治疗虚拟训练,集成VR、移动计算与RAG技术,经原型验证可提供高保真无风险训练环境,具备合适延迟与高RAG支持质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.13027 2026-07-15 cs.CL cs.AI 新提交 84%

PalmClaw: A Native On-Device Agent Framework for Mobile Phones

PalmClaw:一种用于手机的原生设备上代理框架

Hongru Cai, Yongqi Li, Ran Wei, Wenjie Li

机构 * The Hong Kong Polytechnic University(香港理工大学) Hangzhou Diagens Biotechnology Co., Ltd.(杭州迪基因生物技术有限公司)

专题命中 GUI与网页智能体 :agent(title,abstract);tool use(abstract);分类 cs.AI、cs.CL

AI总结 研究针对移动设备上代理框架存在的问题,提出PalmClaw开源框架,能在手机上原生运行并管理相关要素,将设备能力以工具形式呈现,实验显示该框架提升了任务成功率、缩短完成时间且降低设置负担。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.11588 2026-08-13 cs.AI 新提交 83%

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

CoAdapt-GUI:面向未知GUI应用的工作流上下文与策略联合适配

Linqiang Guo, Li Gu, Zihuan Jiang, Zhixiang Chi, Siobhan Reid, Ziqiang Wang, Yuanhao Yu, Wei Liu, Yang Wang, Tse-Hsun, Chen

机构 * Li Gu(李谷(音译))

专题命中 GUI与网页智能体 :workflow(title,abstract);agent(abstract);分类 cs.AI

AI总结 CoAdapt-GUI框架通过联合适配工作流上下文与策略,在有限交互预算无目标演示的未知GUI应用场景下,将AndroidWorld泛化性能提至45.0%、AndroidWorld Plus提至52.9%,优于仅策略TTA基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28196 2026-07-31 cs.CL 新提交 83%

Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution

保真度≠安全性:轻度压缩的大语言模型通过所有无数据质量防护,但在智能体执行中生成指令中不存在的流程步骤

I. Kennedy, T. Kennedy

专题命中 GUI与网页智能体 :agentic(title,abstract);agent(abstract);分类 cs.CL

AI总结 该研究发现轻度压缩LLM虽通过困惑度、MMLU等无数据质量防护,但在智能体执行SOP时会生成指令外流程步骤,提出基于压缩误差双轴统计量的无数据筛查方法以保障智能体安全。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12056 2026-07-15 cs.AI cs.HC 新提交 83%

Designing Agent-Ready Websites for AI Web Agents: A Framework for Machine Readability, Actionability, and Decision Reliability

为人工智能网络代理设计适用于代理的网站:机器可读性、可操作性和决策可靠性框架

Said Elnaffar, Farzad Rashidi

机构 * UFR Informatique Université Paris Cité(巴黎西岱大学信息学学院)

专题命中 GUI与网页智能体 :agent(title,abstract);AI agent(abstract);分类 cs.AI

AI总结 研究针对人工智能代理介导购物模式下网站设计问题,提出围绕代理可解释性等三个维度的设计框架,通过对照实验评估,结果表明该框架能显著提升人工智能浏览器代理的可靠性与效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27330 2026-06-26 cs.CL cs.AI cs.CV cs.LG 新提交 82%

Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

通过自主经验探索与事后经验利用赋能GUI智能体任务规划

Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能重点实验室) School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)

专题命中 GUI与网页智能体 :planning(title,abstract);分类 cs.AI、cs.CL、cs.LG

AI总结 提出PEEU方法,通过自主探索环境发现经验并利用事后经验合成严格对齐的高层训练数据,提升小型多模态大语言模型在GUI任务中的规划与跨网站泛化能力。

Comments Accepted to ACL 2026 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18112 2026-06-19 cs.RO cs.CV 新提交 82%

Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System

Qwen-RobotNav 技术报告:为智能体导航系统设计的可扩展导航模型

Jiazhao Zhang, Gengze Zhou, Hale Yin, Yiyang Huang, Zixing Lei, Qihang Peng, Haoqi Yuan, Jie Zhang, Xudong Guo, Xiaoyue Chen, An Yang, Fei Huang, Zhibo Yang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Zhuoyuan Yu, Jingyang Fan, Zhixuan Liang, Pei Lin, Ye Wang, Haoyang Li, Anzhe Chen, Kun Yan, Xiao Xu, Jiahao Li, Lulu Hu, Minying Zhang, Shurui Li, Wenhu Xiao, Shuai Bai, Xuancheng Ren, Chenxu Lv, Chenfei Wu, Xiong-Hui Chen

机构 * Qwen Team(通义实验室)

专题命中 GUI与网页智能体 :agentic(title,abstract);planning(abstract)

AI总结 提出 Qwen-RobotNav 可扩展导航模型,通过参数化接口支持多种任务模式和可调观测参数,在15.6M样本上训练,联合视觉语言数据防止行为坍缩,在多个导航基准上取得新最优结果,并展示零样本泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18671 2026-06-18 cs.HC 新提交 82%

HANSEL: Extracting Breadcrumbs from Web Agent Trajectories for Interactive Verification

HANSEL: 从Web智能体轨迹中提取面包屑用于交互式验证

Yujin Zhang, Daye Nam

专题命中 GUI与网页智能体 :agent(title,abstract);AI agent(abstract)

AI总结 提出HANSEL系统,从AI智能体轨迹中提取可交互验证的证据,减少用户审查负担,在基准测试中达到83.7%精确率和88.9%召回率,用户研究显示显著降低任务完成时间和感知努力。

Comments 13 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06914 2026-06-08 cs.CR 新提交 82%

DPAgent-in-the-Middle: Agentic Defense and Repair Against AI-Groomed Deceptive Patterns

中间DPAgent:针对AI诱导欺骗模式的代理防御与修复

Zewei Shi, Ruoxi Sun, Haoyang Li, Seong Oun Hwang, Feng Liu, Minhui Xue, Xingliang Yuan

专题命中 GUI与网页智能体 :agentic(title,abstract);agent(abstract)

AI总结 针对网络界面中的隐私欺骗模式,提出DPAgent框架,通过四个专门代理结合潜在空间净化与防御性提示,主动检测并修复欺骗性界面,检测率达90.98%,修复率77%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15193 2026-07-17 cs.AI 新提交 81%

Plover: Steering GUI Agents through Plan-Centric Interaction

Plover:通过以计划为中心的交互来操控图形用户界面代理

Madhumitha Venkatesan, Shicheng Wen, Jiajing Guo, Jorge Piazentin Ono, Liu Ren, Dongyu Liu

机构 * University of California, Davis(加利福尼亚大学戴维斯分校) Bosch Research North America(博世北美研究院)

专题命中 GUI与网页智能体 :agent(abstract);autonomous agent(abstract);planning(abstract);workflow(abstract)

AI总结 研究针对现实中GUI自动化难题,提出以计划为中心的Plover系统,通过规划器-执行器架构,支持多方式监督与修正,经形成性研究和评估表明,该系统能让GUI自动化更透明、可控与可适应,利于修复故障。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09278 2026-08-11 cs.SE cs.AI 新提交 81%

Software Engineering for and with GUI Agent

面向GUI智能体的软件工程及与GUI智能体协同的软件工程

Shengcheng Yu, Yuchen Ling, Junyang Xing, Quan Zhou, Chunrong Fang, Zhenyu Chen

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI、cs.SE

AI总结 该研究通过分析2018年1月至2026年4月的336篇GUI智能体论文,指出其在恢复机制、安全执行等方面的不足,提出需结合可靠执行与生命周期测试等以构建可部署的GUI智能体系统。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12640 2026-07-15 cs.AI cs.CL 新提交 81%

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

小语言和视觉语言模型网络智能体中GRPO的学习率门控失败:一个可控的无效结果及其机制

Chengguang Gan, Zhixi Cai, Yunhao Liang, Hanjun Wei, Shiwen Ni, Qinghao Zhang

机构 * Monash University(莫纳什大学) University of Chinese Academy of Sciences(中国科学院大学) Shenzhen University of Advanced Technology(深圳先进技术大学) Pusan National University(釜山国立大学)

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI、cs.CL

AI总结 研究4B到8B规模小语言和视觉语言模型网络智能体中GRPO的效果,通过控制变量实验发现其在已掌握任务上无明显提升,解释了学习率导致失败的机制,表明该耦合与模型规模相关。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23049 2026-06-25 cs.CL cs.AI 新提交 81%

PhoneBuddy: Training Open Models for Agentic Phone Use

训练用于代理电话使用的开放模型

Zhengyang Tang, Xin Lai, Pengyuan Lyu, Xinyuan Wang, Tianyi Bai, Chenxin Li, Yiduo Guo, Huawen Shen, Yuxuan Liu, Junyi Li, Zhengyao Fang, Yang Ding, Yi Zhang, Weinong Wang, Xingran Zhou, Liang Wu, Fei Tang, Sunqi Fan, Shangpin Peng, Zheng Ruan, Anran Zhang, Benyou Wang, Ji-Rong Wen, Rui Yan, Chengquan Zhang, Han Hu

机构 * Tencent Hunyuan(腾讯混元) The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院) Wuhan University(武汉大学)

专题命中 GUI与网页智能体 :agentic(title,abstract);分类 cs.AI、cs.CL

AI总结 提出PhoneBuddy训练方案,结合真实应用环境和模拟应用环境PhoneWorld,通过混合强化学习提升开放模型在电话使用任务上的成功率,在150项人类评估中达到45.33%的成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20622 2026-06-23 cs.AI cs.LG 新提交 81%

Darwin Mobile Agent: A Roadmap for Self-Evolution

Darwin移动智能体:自我进化路线图

Daniel Beechey, Derek Yuen, Jianheng Liu, Dezhao Luo, Tiantian He, Weilin Luo, Jun Wang, Kun Shao

机构 * University College London(伦敦大学学院)

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI、cs.LG

AI总结 提出通过移动GUI环境实现智能体自我进化,利用异步并行架构解决数据瓶颈,并规划从任务课程、结果验证和记忆管理三方面去除人类先验的路线图。

Comments Technical Report

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12485 2026-06-12 cs.LG cs.AI 新提交 81%

Speculative Rollback Correction for Quality-Diverse Web Agent Imitation

面向质量多样性的Web智能体模仿的推测性回滚修正

Longkun Hao, Hongyu Lin, Hao Li, Zhichao Yang, Haojie Hao, Dongshuo Huang, Haitao Yang, Hongyu Ge, Ming jie Xie, Yanjun Wu, Zi Hao Yin, Yan Bai, Yihang Lou

机构 * Beihang University(北京航空航天大学) Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所) The Hong Kong University of Science and Technology(香港科技大学) Northwestern Polytechnical University(西北工业大学) Tsinghua University(清华大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Peking University(北京大学)

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI、cs.LG

AI总结 提出推测性回滚修正(SRC)框架,通过固定视野分支审查和回滚机制,在减少教师查询的同时保持轨迹多样性,在WebArena-Infinity上收集了977条通过验证的轨迹和9183个下一步动作示例。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06632 2026-08-10 cs.AI 新提交 79%

Shape Your Feed: An LLM-based Agentic System for Conversational Recommendation

塑造你的信息流:一种基于大语言模型的智能体对话推荐系统

Ziyun Xu, Bosen Ding, Yue Zhang, Ji Qi, Qingyuan Song, Jizhou Huang, Liwei Wang, Jefferey Santelli, Yue Weng, Qichao Que, Zhenheng Yang, Junfeng Pan, Linhong Zhu

机构 * Meta Platforms(元平台公司)

专题命中 GUI与网页智能体 :agentic(title,abstract);分类 cs.AI

AI总结 本文提出基于LLM的智能体推荐框架SYF,采用三层架构实现实时多模态内容协同策划,经离线评估与在线A/B实验验证,可提升信息流相关性与用户情感,为工业场景提供交互式推荐方案。

Comments Accepted in RecSys 2026 Industrial Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05784 2026-08-07 cs.AI 新提交 79%

Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

活动帧:面向智能体记忆与回放的确定性屏幕活动编译

Nossa Iyamu

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI

AI总结 该研究提出确定性零模型流水线将屏幕活动编译为智能体记忆,可缩小上下文体积、提升问答准确率,还能获取智能体成本模型所需的例程开销比率与重复率等参数,相关资源开源。

Comments 14 pages, 5 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03598 2026-08-05 cs.SE 新提交 79%

From Bug Reports to Browser-Executable Procedures: An LLM-Driven Agent for Web GUI Bug Reproduction

从错误报告到浏览器可执行流程:一种大语言模型驱动的Web GUI错误复现智能体

Cunming Zhang, Yu Pei, Michail Papadakis

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.SE

AI总结 本文提出ReBug智能体系统,通过分阶段驱动真实浏览器复现Web GUI错误,在667条真实报告上的评估显示其性能优于基线,可有效支持基于报告的浏览器错误复现。

Comments 13 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20926 2026-07-24 cs.AI 新提交 79%

SciExplore: Evaluating Autonomous Agents from Scientific Navigation to Information Integration

SciExplore:评估从科学导航到信息整合的自主智能体

Yinhao Tang, Youqing Fang, Yanan Sun, Wenran Liu, Weiming Zhang, Bin Liu, Kuikun Liu, Wenwei Zhang, Kai Chen

机构 * University of Science and Technology of China(中国科学技术大学) Shanghai AI Laboratory(上海人工智能实验室)

专题命中 GUI与网页智能体 :autonomous agent(title,abstract);分类 cs.AI

AI总结 介绍用于评估大语言模型和智能体科学信息检索与推理能力的基准SciExplore,包含四类任务,在其上评估多个先进模型和智能体,发现随着任务复杂度增加性能差距大,凸显当前模型在实际科学信息检索场景中的局限。

Comments 25 pages, 13 figures. Submitted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18046 2026-07-21 cs.LG 新提交 79%

SEE: Structure-aware Exploring \& Exploiting for Long-horizon GUI Agent Trajectory Synthesis

SEE:用于长视野GUI代理轨迹合成的结构感知探索与利用

Zhuohang Fan, Beichen Zhang, Yuanfa Li, Changqiao Wu, Wei Liu, Jian Luan, Weigang Zhang

机构 * Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海)) Harbin Institute of Technology (Weihai) Qingdao Research Institute(哈尔滨工业大学(威海)青岛研究院)

专题命中 GUI与网页智能体 :agent(title);planning(abstract);分类 cs.LG

AI总结 针对GUI代理轨迹合成中缺乏高覆盖率长视野轨迹的问题,提出SEE两阶段数据合成框架,通过高效探索和基于图的合成,产生可重复可解释数据,避免虚假循环,提升代理任务成功率和泛化能力,还将发布代码和数据集。

Comments Accepted by ACM International Conference on Multimedia 2026 (ACM MM 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00007 2026-07-03 cs.IR cs.AI 新提交 79%

BaRA: Budget-constrained and Reliable Web Data Collection Agent

BaRA: 基于BFS与反思的网络数据收集代理

Soojeong Lee, Joseph Lee, Yongseong Cho, Sunjae Kim, Youngwoo Moon, Kyungwoo Song

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI

AI总结 提出BaRA框架,结合有界广度优先搜索和历史自反思,在固定交互预算下高效收集网站级数据,在链接发现和可下载多模态提取上优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30697 2026-07-01 cs.OS cs.AI cs.CV 新提交 79%

LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents

LUMOS:面向无障碍AI代理的语义操作系统层

Yogeswar Reddy Thota

专题命中 GUI与网页智能体 :AI agent(title,abstract);分类 cs.AI

AI总结 提出LUMOS语义层,将操作系统无障碍元数据转化为机器可读蓝图,使AI代理通过结构化UI原语而非截图进行观察-行动循环,降低视觉依赖和成本。

Comments The LUMOS repository is available at https://github.com/thotayogeswarreddy/Lumos.git

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.25705 2026-06-25 cs.AI 新提交 79%

GUI agent: Guided Exploration of User-Sensitive Screens

GUI代理:用户敏感屏幕的引导探索

Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

机构 * Huawei Heisenberg Research Center (Munich)(华为海森堡研究中心(慕尼黑)) Huawei Technologies Co., Ltd(华为技术有限公司)

专题命中 GUI与网页智能体 :agent(title,abstract);分类 cs.AI

AI总结 提出一种探索代理,通过系统性地探索查询空间,识别在GUI环境中执行后会导致用户敏感状态的查询,以提升LLM代理的安全性和可靠性。

详情

展开后加载摘要…

URL PDF HTML 收藏