PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
PreAct:在重复任务上加速的计算机使用代理
机构 * Pine AI
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 提出PreAct方法,通过将首次成功执行编译为状态机程序,在后续任务中直接重放,避免逐步骤调用语言模型,实现8.5-13倍加速,并确保重放时屏幕状态匹配。
AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
PreAct:在重复任务上加速的计算机使用代理
机构 * Pine AI
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 提出PreAct方法,通过将首次成功执行编译为状态机程序,在后续任务中直接重放,避免逐步骤调用语言模型,实现8.5-13倍加速,并确保重放时屏幕状态匹配。
CAPED:面向移动GUI代理的上下文感知隐私暴露防御
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 针对移动GUI代理截图上传导致的附带视觉隐私暴露问题,提出上下文感知的预上传暴露控制层CAPED,通过任务需求提取、屏幕上下文隐私先验和UI元素解析,选择性暴露任务所需内容,在保持高任务效用的同时显著降低隐私泄露。
基于开放视觉语言模型的空间问答与导航的二值追踪
机构 * RGA Inc.(RGA公司)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 提出BinTrack,一种全开源的空间定位代理,通过二值搜索轨迹段,在SpaceLocQA基准上准确率提升22.8%,推理速度提升1.5倍,并发布多行程室外数据集GangnamLoop。
Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking
在线技能与记忆模块是否总是值得其令牌消耗?Web代理的预算约束研究
机构 * ServiceNow AI Research(ServiceNow AI 研究院) ; ÉTS Montreal(蒙特利尔高等技术学院) ; University of British Columbia(不列颠哥伦比亚大学) ; McGill University(麦吉尔大学)
专题命中 GUI与网页智能体 :workflow(abstract);分类 cs.CL
AI总结 在固定推理预算下,对比三种在线增强模块与令牌匹配的基线,发现基线在总成功率上匹配或超越所有增强方法,且常使用更少令牌。
PhoneHarness: 通过混合GUI、CLI和工具操作利用手机使用代理
机构 * Tencent Hunyuan(腾讯混元) ; The Chinese University of Hong Kong(香港中文大学) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Tsinghua University(清华大学)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.CL
AI总结 提出PhoneHarness,一个混合动作基准和执行框架,用于评估手机代理在可验证移动工作流中的表现,通过GUI、CLI和工具动作的组合,达到75.0%通过率,比最强基线高12.9个百分点。
Comments Project Page: https://phoneharness.github.io/
MemVenom:网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)) ; Peng Cheng Laboratory(鹏城实验室) ; Tianjin University(天津大学) ; Shenzhen International Graduate School, Tsinghua University(深圳国际研究生学院,清华大学) ; Huawei Technologies Ltd.(华为技术有限公司)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.LG
AI总结 提出MemVenom框架,针对网络代理的外部记忆系统,通过触发条件检索和攻击诱导,实现黑盒多模态记忆投毒,达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
AliyunConsoleAgent:通过蒸馏和强化学习在真实云环境中训练Web智能体
机构 * Alibaba Cloud China(阿里云中国)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 提出AliyunConsoleAgent框架,通过蒸馏前沿模型轨迹进行监督微调,再结合GRPO和双通道结果奖励模型在真实云环境中强化学习,实现文档验证自动化,以低成本达到接近前沿专有模型的成功率。
RunAgent SuperBrowser: 基于人类浏览行为的自主网页导航理论
机构 * RunAgent AI
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.AI
AI总结 提出SuperBrowser自主网页导航代理,通过模仿人类浏览的感知-认知-行动三元机制,在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。
Comments 31 pages, 8 figures, preprint/work in progress
IR-SIM:一种用于导航、学习和基准测试的轻量级技能原生模拟器
机构 * The University of Hong Kong(香港大学) ; Shenzhen Institutes of Advanced Technology(深圳先进技术研究院) ; Southern University of Science and Technology(南方科技大学) ; University of Michigan(密歇根大学) ; University of Macau(澳门大学)
专题命中 GUI与网页智能体 :agent(abstract);分类 cs.LG
AI总结 提出轻量级技能原生导航模拟器IR-SIM,通过YAML配置完全定义场景,支持文本提示生成与修改,用于导航算法基准测试和训练数据自动生成,并桥接高保真模拟器和真实部署。
Comments 12 pages, 6 figures, project website: https://github.com/hanruihua/ir-sim
超越航点:面向视觉语言导航的轨迹中心航点范式
机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)) ; Pengcheng Laboratory(鹏城实验室)
专题命中 GUI与网页智能体 :planning(abstract);分类 cs.AI
AI总结 提出轨迹航点范式,通过TSDF引导的扩散策略预测可执行轨迹,解决VLN-CE中航点不可达与规划控制不一致问题,在基准上取得最优性能。
如果、那么、否则:诊断视觉-语言导航中的条件分支
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Collins Aerospace(柯林斯航空航天公司)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 针对视觉-语言导航智能体的条件分支诊断需求,提出基于场景图的基准CondVLN及轻量级神经符号分支选择模型,可暴露智能体的逻辑决策失败并提升性能2倍。
Comments 11 pages, 1 figure, 3 tables. Project page: https://condvln.github.io/
屏幕之外的评估:与资源受限创业者共同评估AI生成的商业计划书
专题命中 GUI与网页智能体 :planning(abstract)
AI总结 该研究针对资源受限创业者,将BizChat工具扩展出评估模块,通过小组讨论让14名参与者集体评估AI生成的商业计划,发现该方式能提升评估效果。
通过从野外视频进行可扩展学习揭示具身城市导航中的长尾分布
专题命中 GUI与网页智能体 :planning(abstract)
AI总结 该研究提出可扩展框架,从网络规模野外 egocentric 视频学习点目标城市导航策略,自动注释视频并训练视觉-语言-动作策略,表征并诊断导航长尾分布与失败模式,验证了知识迁移效果并揭示长尾结构。
铰接式车辆自主导航的基于时空管的安全证书
专题命中 GUI与网页智能体 :planning(abstract)
AI总结 针对铰接式车辆自主导航的狭窄路线机动挑战,提出基于时空管的规划方法,确保挂车处于道路走廊内,经仿真验证可提供路线安全证书。
Comments Accepted for presentation at the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)
面向健康与福祉的移动及可穿戴传感器融合对话智能体设计
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本教程面向健康领域,旨在教授参与者使用WSDWAS工具,将可穿戴传感器数据与LLM驱动的对话智能体结合,实现从被动监测到可操作福祉对话的转变。
Comments 6 pages, 3 figures. Accepted as a Tutorial at the 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26)
Journal ref In 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26), August 31-September 03, 2026, Swansea, United Kingdom
Graph-MambaNav:利用对象关系知识的时空图Mamba用于目标对象导航
机构 * School of Internet of Things Engineering, Wuxi University(无锡大学物联网工程学院) ; School of Communications and Information Engineering, Nanjing University of Posts and Telecommunications(南京邮电大学通信与信息工程学院)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本研究提出Graph-MambaNav,一种结合LLM常识对象关系的目标感知时空图编码框架,通过节点排序与Mamba建模实现高效导航,在仿真环境表现优异且泛化性好,经真实机器人部署验证有效。
Comments Accepted by IEEE Robotics and Automation Letters (IEEE RA-L), will transfer to 2027 IEEE International Conference on Robotics & Automation (ICRA)
DaViNCi:面向包含连续动作与动态元素的户外视觉语言导航的数据集
机构 * Shanghai Jiao Tong University(上海交通大学)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文提出首个同时包含连续动作与动态元素的户外视觉语言导航数据集DaViNCi,通过实验验证其挑战性,为推动户外VLN向更真实环境发展提供实用支撑。
SAIN:面向移动机器人的、结合主动对话 grounding 的结构感知交互式导航
机构 * School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)机械工程与自动化学院) ; Department of Mechanical Engineering, City University of Hong Kong(香港城市大学机械工程系)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文提出SAIN零样本框架,将主动对话转化为持久导航状态,在VL-LN IIGN基准上提升了导航成功率与加权成功率,无需特定任务策略训练,验证了对话转状态机制的有效性。
Comments 8 pages, 4 figures, and 4 tables
带足迹的匿名智能体的通用会合算法
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文针对带足迹模型中所有连通(有限或可数无限)底层图的会合实例,提出通用会合算法,解决了Das和Pelc提出的开放问题,给出该模型所有实例存在通用算法的肯定答案。
基于旅游视频先验的面向目标的导航指令生成
机构 * Uni-Ubi AI(优必爱人工智能) ; Zhejiang University(浙江大学) ; Tongji University(同济大学)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本研究提出面向目标的视频 grounding 导航指令生成任务VideoNIG,设计两阶段课程学习框架解决该任务,实验表明其可提升指令质量,集成VLN智能体后可实现端到端导航。
无人机辅助的无人机-无人车协同积雪覆盖地形自主导航
专题命中 GUI与网页智能体 :planning(abstract)
AI总结 针对积雪覆盖地形传统导航方法失效的问题,提出无人机-无人车协同导航框架,采用定制U-Net、EKF、YOLOv5等技术实现高分割精度与低定位误差,可在遮挡环境中完成自主导航。
图中移动确定自动机的会合问题
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文研究图中移动确定自动机的会合问题,证明固定小卵石无法实现树的RV-通用DFA,而配备单个可移动小卵石的DFA可成为树的RV-通用DFA。
热力学人机交互
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 该研究提出一种基于热力学的人机交互统一框架,可跨交互模态扩展、无需训练数据且评估时间为O(1),在网页预取任务中取得1.37的预取点击比和98.1%的目标预测准确率。
下一张截图知晓:面向移动GUI智能体的门控事后蒸馏(Gated Hindsight Distillation)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文针对移动GUI智能体训练中丢失动作依据的问题,提出门控事后蒸馏方法,利用下一张截图作为特权信息,在AndroidWorld等基准上相比GRPO提升了任务成功率。
SpikingNav:基于脉冲神经网络策略的鲁棒具身导航
机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; State Key Laboratory of Media Convergence and Communication, Communication University of China(中国传媒大学媒体融合与传播国家重点实验室) ; Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系) ; Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学与技术国家研究中心)
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 本文提出SpikingNav脉冲导航框架,含SSE与SPN,在PointNav、ObjectNav任务中,其参数更少、计算量更低,鲁棒性优于匹配的ANN基线,且可部署于Thruster-V2芯片。
飞行前深思熟虑:面向无人机“看见并到达”导航的视觉引导空间深思熟虑
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 针对无人机“看见并到达”导航中语义-控制失配问题,提出视觉-语言航路点预测框架DBFly,通过空间机动决策链、隐式飞行走廊和感知终端收敛的停止策略,使成功率较SOTA基线平均提升25.07个百分点。
Comments 13 pages, 9 figures
“允许”达成目标:移动GUI智能体中任务完成驱动的弹窗决策的意外代价
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 研究移动GUI智能体的权限素养,发现其存在应用信任偏差、任务优先级覆盖等问题,提示干预效果不一,建议将任务执行与权限授权分离。
LoginTrap:针对基于大语言模型的Web智能体的任务无关型钓鱼式间接提示注入攻击的发现
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 该研究提出LoginTrap攻击,是针对基于LLM的Web智能体的任务无关型登录诱导攻击,在黑盒威胁模型下可达到86%的平均端到端攻击成功率,揭示了登录诱导的认证边界风险并推动相关防御研究。
FocusMem:对潜在GUI记忆中的内容、读出和信任进行因子分解
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 FocusMem将潜在GUI记忆的内容、读出和信任因子分解,解决现有固定记忆方法的细节丢失、阶段适配差和误导问题,在五个GUI智能体基准测试中性能优于基线与现有方法。
Comments 36 pages
ProCAVE:基于预测带宽估计与偏好感知深度强化学习的自适应全生命周期视频流边缘缓存框架
专题命中 GUI与网页智能体 :agent(abstract)
AI总结 该研究针对现有边缘缓存方法在无线动态环境下响应与协调不足的问题,提出ProCAVE框架,结合轻量Transformer、PPO、DDPG实现预测带宽建模与偏好感知缓存控制,实验表明其在字节命中率、回传负载、QoE上优于FlyCache等基线。
Comments 5 pages