AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
Avenir-UX：通过模拟人类网络交互进行自动用户体验评估
机构 * University College London（伦敦大学学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 Avenir-UX通过模拟人类交互行为，提供标准化的可用性评估，结合GUI接地技术，提升用户体验评估的效率和准确性，支持持续、可扩展的数据驱动测试。
MAS-Bench：一种统一的快捷键增强混合移动GUI代理基准测试
机构 * Zhejiang University（浙江大学） ； vivo AI Lab（vivo AI实验室） ； Peking University（北京大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出MAS-Bench，用于评估结合GUI和快捷键的混合移动自动化代理，包含139个任务和9个评估指标，实验显示混合代理在效率上优于纯GUI代理。
BINDER: 基于开放词汇命令的即时自适应移动操作
机构 * Seoul National University（首尔国立大学） ； ECE, ASRI and IPAI in SNU（SNU的电子工程系、先进机器人研究所和智能感知与人工智能实验室）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 BINDER通过分离战略规划与连续环境监控，结合多模态大语言模型和视频大语言模型，实现动态环境下的高效移动操作，提升鲁棒性和适应性。
Comments 12 pages, 8 figures
揭示端到端自动驾驶中导航理解的惊人效能
机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Didi Chuxing（滴滴出行） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 本文提出SNG框架，通过真实导航模式高效表示全局导航信息，结合导航路径与分步信息，提升自动驾驶的全局与局部规划能力，实现无需辅助损失函数的高精度导航建模。
Comments 8 pages, 6 figures. ICRA 2026. Code available at https://fudan-magic-lab.github.io/SNG-VLA-web
WebChain：一个大规模的人工标注的真实世界网页交互轨迹数据集
机构 * Fudan University（复旦大学） ； IMean AI ； WebAgentLab
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 本文提出WebChain数据集，包含31,725条轨迹和318k步，通过视觉、结构和动作数据的三元对齐提供多模态监督，提出双中层训练方法，实现了WebChainBench等公开GUI基准的最先进性能。
ANCHOR：用于GUI代理的分支点数据生成
机构 * Yale University（耶鲁大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 ANCHOR通过分支点生成高质量交互数据，提升桌面环境GUI代理的训练效果和泛化能力。
EE-MCP：通过自动环境生成和经验学习的自进化MCP-GUI代理
机构 * University College London（伦敦大学学院） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出EE-MCP框架，通过自动环境生成和经验学习实现MCP-GUI代理的自进化，通过跨应用分析证明其在MCP主导任务和GUI密集任务中的有效性。
HTNav：一种具有分层结构的混合导航框架用于城市空域视觉-语言导航
机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（教育部脑机智能技术重点实验室）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 本文提出HTNav框架，结合模仿学习与强化学习，通过分层决策机制提升复杂城市环境中的导航精度与鲁棒性。
EchoTrail-GUI: 通过批评者引导的自我探索构建可操作的记忆以改进GUI代理
机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团） ； East China Normal University（华东师范大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出EchoTrail-GUI框架，通过动态记忆系统提升GUI代理任务成功率和效率，验证了结构化记忆在GUI自动化中的有效性。
Comments CVPR 2026 Findings
大型多模态模型距离人类水平的空间行动还有多远？一个面向城市空域目标导向的具身导航基准测试
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Northeastern University（东北大学） ； National University of Defense Technology（国防科技大学） ； Shandong University（山东大学） ； BNRist, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文通过构建包含5037个高质量目标导向导航样本的数据集，评估17种代表性模型在城市3D空间中具身空间行动的能力，发现尽管LMMs展现出新兴行动能力，但仍远未达到人类水平，并揭示导航误差在关键决策分歧后迅速发散的现象。
WorldMAP: 通过生成世界模型提升视觉-语言导航轨迹预测
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shandong University（山东大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy（中关村学院）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 WorldMAP通过生成世界模型与教师-学生框架，将生成的未来场景转化为语义空间结构和规划监督，提升导航轨迹预测的稳定性与准确性，取得最佳性能。
构建计算机使用代理验证器的艺术
机构 * Microsoft Research（微软研究院） ； Browserbase
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出通用验证器，通过四个原则减少噪声、分离奖励信号、区分可控不可控失败、并采用分治上下文管理，提升验证可靠性与准确性。
VenusBench-Mobile: 一个具有能力诊断的挑战性且以用户为中心的移动GUI代理基准测试
机构 * Venus Team, Ant Group（蚂蚁集团金星团队）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出VenusBench-Mobile，通过用户意图驱动的任务设计和能力导向的标注方案，评估移动GUI代理在真实用户场景下的性能，揭示现有代理在感知和记忆方面的缺陷，为实际部署提供重要参考。
在我们信任之前：基础模型导航决策中的失败
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 研究发现基础模型在导航任务中存在显著决策失败，需更细致评估以理解其局限性。
Comments Corrected author order in metadata; manuscript changed
一次投毒，永久利用：针对网络代理的环境注入内存投毒攻击
机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon Web Services（亚马逊云服务）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 研究提出eTAMP攻击，通过环境观察污染代理内存，实现跨会话和跨网站的持久化攻击，实验显示攻击成功率高达32.5%，且环境压力下代理易受攻击，高能力模型同样存在漏洞。
可靠性感知的几何融合用于鲁棒的音频视觉导航
机构 * Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合具身智能研究实验室） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语种认知计算联合国际研究实验室） ； School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出RAVN框架，通过音频衍生的可靠性线索条件跨模态融合，动态校准音频和视觉输入的整合，引入Acoustic Geometry Reasoner和Reliability-Aware Geometric Modulation，提升复杂环境下的导航性能。
Comments Main paper (6 pages). Accepted for publication by the International Joint Conference on Neural Networks (IJCNN 2026)
多读多想：重新审视网络代理中的观察缩减
机构 * NEC Corporation（日本电气股份有限公司）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.CL
AI总结 本文研究网络代理中观察缩减的优化问题，发现模型能力和思考token预算影响观察表示选择，高能力模型适合详细HTML观察，低能力模型适合紧凑的访问树观察，同时引入diff-based表示提升效率。
理解基于蜜蜂启发的无人机导航中的视觉注意力
机构 * School of Engineering and Technology, University of New South Wales, Canberra, Australia（新南威尔士大学工程与技术学院，堪培拉，澳大利亚） ； Queensland Brain Institute, University of Queensland, Brisbane, Australia（昆士兰大学昆士兰脑研究所，布里斯班，澳大利亚）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文通过强化学习训练无人机在仅有optic flow输入的情况下导航隧道，发现训练后的代理主要关注optic flow中的不连续区域和大流量区域，以避开障碍物并保持环境中心位置，模拟飞虫行为。
AI驱动的RAN切片中的对抗攻击：SLA违规与恢复
机构 * Polytechnique Montreal（蒙特利尔理工学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 研究AI驱动RAN切片中对抗攻击的影响，分析预算受限攻击对深度强化学习资源分配的影响，揭示SLA违规及恢复行为。
Webscraper：利用多模态大语言模型进行索引-内容网页抓取
机构 * Dept. of Information Management, National Taiwan University, Taipei, Taiwan（国立台湾大学资讯管理学系，台北，台湾）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出Webscraper框架，利用多模态大语言模型自动导航交互界面并提取结构化数据，通过五阶段提示和定制工具提升动态网站抓取准确性。
超越文本知识的多模态知识库用于增强视觉-语言导航
机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing（丝绸之路多语言认知计算联合国际研究实验室）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出BTK框架，通过整合环境特定文本知识与生成图像知识库，提升视觉-语言导航中的语义 grounding 和跨模态对齐，实验表明在R2R和REVERIE数据集上性能显著提升。
Comments Main paper (37 pages). Accepted for publication by the Information Processing and Management,Volume 63,Issue 6,September 2026,104766
基于语言的视觉导航世界建模
机构 * University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； Clemson University（克莱姆森大学） ； Drexel University（德雷塞尔大学） ； Microsoft Research（微软研究院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文研究了基于语言的视觉导航问题，提出LCVN数据集并开发了两种模型家族，通过语言 grounding、未来状态预测和动作生成实现统一任务学习。
Comments 19 pages, 6 figures, Code: https://github.com/F1y1113/LCVN
AgentRAE: 通过基于通知的视觉后门实现远程动作执行以对抗基于截图的移动GUI代理
机构 * Nanjing University of Science and Technology（南京理工大学） ； Macquarie University（麦考瑞大学） ； Western Sydney University（西澳大学） ； University of Hong Kong（香港大学） ； CSIRO’s Data61（澳大利亚CSIRO Data61）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 针对基于截图的移动GUI代理，提出AgentRAE通过自然视觉触发器诱导远程动作执行，采用两阶段管道提升代理对细微图标差异的敏感度，并通过后训练关联触发器与特定动作，实现高攻击成功率和隐蔽性。
WebNavigator: 通过交互图检索实现全局网络导航
机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Artificial Intelligence（人工智能学院） ； Fellou AI
专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.AI
AI总结 WebNavigator通过交互图检索和路径规划解决自主网络导航中的拓扑盲区问题，实现优于企业级代理的性能。
Comments 24 pages, 3 figures
AdaZoom-GUI: 基于自适应缩放的GUI定位与指令细化
机构 * Lenovo Research（联想研究院） ； Tsinghua University（清华大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出AdaZoom-GUI框架，通过指令细化模块和条件缩放策略提升GUI定位精度与指令理解，构建高质量数据集并采用GRPO训练模型，实现在高分辨率GUI理解中的最佳性能。
DesertFormer：基于Transformer的语义分割用于自动驾驶导航系统中的沙漠地形分类
机构 * Department of Computer Science \& Engineering (AI \& ML) Gayatri Vidya Parishad College of Engineering for Women Visakhapatnam, India
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.LG
AI总结 DesertFormer基于SegFormer B2与层次化Mix Transformer（MiT-B2）架构，针对沙漠地形的低对比度、强光照变化和稀疏植被挑战，实现10类生态意义地形分类，提升地面机器人与自动驾驶车辆的安全路径规划能力。
Comments 10 pages, 6 figures, 3 tables. Preprint also available on Zenodo (DOI: 10.5281/zenodo.19053085)
NaVIDA：基于逆动力学增强的视觉-语言导航
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 NaVIDA通过引入逆动力学监督，增强视觉动态建模，提升导航稳定性与一致性，实验表明其在参数更少的情况下表现优于现有方法。
Comments 27 pages, 11 figures
GameUIAgent：一种基于大语言模型的自动化游戏UI设计框架，采用结构化中间表示
专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.AI
AI总结 本文提出GameUIAgent框架，通过结构化中间表示将自然语言描述转化为Figma设计，结合神经符号管道实现迭代自校正，发现质量天花板效应和渲染评估保真原则。
Comments 8 pages, 6 figures
视觉混淆代理：在计算机使用代理中利用和防御感知失败
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 本文提出了一种新的安全防护机制，通过双重通道对比分类来检测计算机使用代理中的视觉感知错误，以提高系统安全性。
AerialVLA：一种用于无人机导航的视觉-语言-动作模型 via 最小化端到端控制
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出AerialVLA，一种基于视觉-语言-动作的端到端控制模型，通过减少视觉冗余并整合连续3D运动指令与内在着陆信号，实现无人机自主导航。实验表明其在可见环境和未知场景中均表现优异。
Comments 18 pages, 4 figures. Code and demo videos will be available at: https://github.com/XuPeng23/AerialVLA
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈