AI 大模型
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
CAPED：面向移动GUI代理的上下文感知隐私暴露防御
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 针对移动GUI代理截图上传导致的附带视觉隐私暴露问题，提出上下文感知的预上传暴露控制层CAPED，通过任务需求提取、屏幕上下文隐私先验和UI元素解析，选择性暴露任务所需内容，在保持高任务效用的同时显著降低隐私泄露。
基于开放视觉语言模型的空间问答与导航的二值追踪
机构 * RGA Inc.（RGA公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出BinTrack，一种全开源的空间定位代理，通过二值搜索轨迹段，在SpaceLocQA基准上准确率提升22.8%，推理速度提升1.5倍，并发布多行程室外数据集GangnamLoop。
Comments 21 pages, 4 figures, 15 tables. Project page: https://ndb796.github.io/BinaryTracking ; Code and dataset: https://github.com/ndb796/BinaryTracking
在线技能与记忆模块是否总是值得其令牌消耗？Web代理的预算约束研究
机构 * ServiceNow AI Research（ServiceNow AI 研究院） ； ÉTS Montreal（蒙特利尔高等技术学院） ； University of British Columbia（不列颠哥伦比亚大学） ； McGill University（麦吉尔大学）
专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.CL
AI总结 在固定推理预算下，对比三种在线增强模块与令牌匹配的基线，发现基线在总成功率上匹配或超越所有增强方法，且常使用更少令牌。
PhoneHarness: 通过混合GUI、CLI和工具操作利用手机使用代理
机构 * Tencent Hunyuan（腾讯混元） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出PhoneHarness，一个混合动作基准和执行框架，用于评估手机代理在可验证移动工作流中的表现，通过GUI、CLI和工具动作的组合，达到75.0%通过率，比最强基线高12.9个百分点。
Comments Project Page: https://phoneharness.github.io/
隐藏的幽灵之手：揭示MLLM驱动的移动GUI代理中的后门漏洞
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Huawei Inc.（华为公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 本研究提出AgentGhost框架，通过组合目标和交互层触发器，利用监督对比学习和微调注入后门，在移动GUI代理中实现高成功率和隐蔽性，攻击准确率达99.7%。
Comments EMNLP-Findings 2025 (Correcting model settings)
MobileFineTuner：面向真实世界嵌入式AI应用中设备端大语言模型微调的移动原生框架
机构 * Duke Kunshan University（Duke昆山大学） ； The University of Hong Kong（香港大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出移动原生框架MobileFineTuner，通过C++实现资源感知训练运行时（内存高效注意力、激活检查点等），在商用手机上实现端到端LLM微调，显著降低内存压力并提升可执行性。
Comments 26 pages, 25 figures
MemVenom：网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
AliyunConsoleAgent：通过蒸馏和强化学习在真实云环境中训练Web智能体
机构 * Alibaba Cloud China（阿里云中国）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出AliyunConsoleAgent框架，通过蒸馏前沿模型轨迹进行监督微调，再结合GRPO和双通道结果奖励模型在真实云环境中强化学习，实现文档验证自动化，以低成本达到接近前沿专有模型的成功率。
RunAgent SuperBrowser: 基于人类浏览行为的自主网页导航理论
机构 * RunAgent AI
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出SuperBrowser自主网页导航代理，通过模仿人类浏览的感知-认知-行动三元机制，在Mind2Web Hard基准上以89.47%成功率超越现有开源研究代理。
Comments 31 pages, 8 figures, preprint/work in progress
IR-SIM：一种用于导航、学习和基准测试的轻量级技能原生模拟器
机构 * The University of Hong Kong（香港大学） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Southern University of Science and Technology（南方科技大学） ； University of Michigan（密歇根大学） ； University of Macau（澳门大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 提出轻量级技能原生导航模拟器IR-SIM，通过YAML配置完全定义场景，支持文本提示生成与修改，用于导航算法基准测试和训练数据自动生成，并桥接高保真模拟器和真实部署。
Comments 12 pages, 6 figures, project website: https://github.com/hanruihua/ir-sim
MIRAGE: 具有隐式推理和生成世界模型的移动智能体
机构 * Beihang University（北京航空航天大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出MIRAGE框架，通过从显式推理轨迹学习连续潜在表示，使移动智能体能够内部推理并预测未来屏幕状态，在减少生成token的同时提升执行效率。
超越航点：面向视觉语言导航的轨迹中心航点范式
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 提出轨迹航点范式，通过TSDF引导的扩散策略预测可执行轨迹，解决VLN-CE中航点不可达与规划控制不一致问题，在基准上取得最优性能。
WorldFly: 基于世界模型的视觉-语言-动作模型用于无人机导航
机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； BNRist, Tsinghua University（清华大学北京研究院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出WorldFly框架，通过双分支耦合流匹配机制联合生成未来视频预测和导航动作，解决城市峡谷中严重遮挡和视角剧变下的无人机导航问题。
ContactExplorer: 接触覆盖引导的通用灵巧操作探索
机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； RoboScience（机器人科学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出ContactExplorer方法，通过接触覆盖奖励和能量引导奖励，在灵巧操作任务中高效探索接触模式，提升样本效率和成功率。
Comments 24 pages
具有应用的障碍证书自适应强化学习：Brushbot导航
机构 * School of Electrical Engineering, Royal Institute of Technology（皇家理工学院电气工程学院） ； Georgia Institute of Technology（佐治亚理工学院） ； RIKEN Center for Advanced Intelligence Project（日本理化学研究所高级智能研究中心） ； School of Mechanical Engineering（机械工程学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.LG
AI总结 本文提出了一种安全学习框架，结合自适应模型学习算法和障碍证书，用于具有可能非平稳智能体动态的系统。通过稀疏优化技术提取模型的动态结构，并利用学习的模型结合控制障碍证书来约束策略（反馈控制器），以保持安全性，即避免特定的不利状态空间区域。在某些条件下，保证了在安全被非平稳性破坏后，以李雅普诺夫稳定性的方式恢复安全。此外，将动作-价值函数近似重新公式化，使任何基于内核的非线性函数估计方法都能应用于我们的自适应学习框架。最后，保证了障碍证书策略优化的解是全局最优的，确保在温和条件下进行贪心策略改进。所得到的框架通过四旋翼无人机的模拟进行验证，该无人机此前在安全学习文献中被假设为平稳性，然后在动态未知、高度复杂且非平稳的Brushbot机器人上进行测试。
Comments ©2019 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
Journal ref Published in IEEE Transactions on Robotics, 2019
MobiBench: 面向移动GUI智能体的多分支模块化基准
机构 * KAIST（韩国科学技术院） ； Sungkyunkwan University（全北大学） ； Korea University（韩国大学） ； Fluiz
专题命中 GUI与网页智能体 ：AI agent(abstract)；分类 cs.AI
AI总结 提出MobiBench，首个模块化且支持多路径感知的离线基准测试框架，用于高保真、可扩展和可复现地评估移动GUI智能体，并揭示组件级性能瓶颈。
基于LLM的对话式与图形化界面在工业决策任务中的比较：一项探索性混合方法研究
机构 * Department of Computer Science（计算机科学系） ； University of Pisa（比萨大学） ； Department（部门） ； San Matteo Hospital（圣玛泰奥医院） ； Brunel University of London（伦敦布鲁内尔大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 通过混合方法研究，比较了基于LLM的对话式界面与图形化仪表盘在工业决策任务中的表现，发现对话式界面可减少交互努力，但仪表盘在概览和验证方面仍有价值。
HUNT：通过瞬时相对帧在非结构化环境中进行高速无人机导航与跟踪
机构 * New York University（纽约大学） ； University of California Berkeley（加州大学伯克利分校）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.LG
AI总结 提出HUNT框架，利用瞬时相对帧统一搜索与跟踪，实现高速飞行和鲁棒自主性。
STAMP：在可控且可扩展的虚拟环境中训练移动GUI代理的显式记忆
机构 * Tongyi AI Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Beijing Jiaotong University（北京交通大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 提出STAMP框架，通过可控虚拟环境注入确定性记忆变量，生成可验证监督数据并支持在线强化学习，解决移动GUI代理在长时任务中因上下文窗口限制和缺乏显式记忆导致的失败问题。
Comments 24 pages, 4figures, 21 tables
PRO-CUA: 面向计算机使用代理的过程奖励优化
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出PRO-CUA框架，通过过程奖励模型和逐步骤强化学习，解决计算机使用代理训练中的模仿瓶颈和稀疏奖励问题。
Mobile-Aptus: 基于MLLM的手机使用代理中的置信度驱动的主动与鲁棒交互
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； GenAI, Meta（Meta的GenAI）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.CL
AI总结 针对手机使用代理中的过度执行和过度请求问题，提出一种置信度驱动的主动与鲁棒交互框架，通过监督微调和置信度偏差校正实现最优性能。
Comments Accepted by TASLP
经典与神经采样算法在机器人导航中的性能比较
机构 * dept. of Economics Oran2 Mohamed BenAhmed University（经济系奥兰2莫哈梅德·本·阿赫迈德大学）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 本文在含凸凹障碍物的环境中比较了RRT*、Neural RRT*和Neural Informed RRT*三种算法，发现神经引导规划器能生成更短（最多14%）和更平滑（55-75%）的路径，其中Neural Informed RRT*综合性能最优。
Journal ref Presented at The 3rd Edition of National Conference on Applications of Artificial Intelligence A2I' 26. 2026
AndroidDaily: 面向真实世界闭源应用的可验证移动GUI智能体基准
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； StepFun ； Waseda University（早稻田大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.SE
AI总结 针对闭源应用无法获取内部状态导致自动验证困难的问题，提出AndroidDaily基准（350个日常任务）和GRADE评估器（基于可观察外部指南的三层系统），实现无需内部状态的可验证评估，最强模型成功率为62.0%。
Comments 11 pages, 6 figures. Preprint
CFDTwin：用于ANSYS Fluent模拟的POD-NN代理建模的开源GUI和Python工具包
机构 * Department of Mechanical Engineering, University of Arkansas（阿肯色大学机械工程系）
专题命中 GUI与网页智能体 ：workflow(abstract)；分类 cs.LG
AI总结 本文介绍CFDTwin，一个开源Python包和桌面GUI，将参数采样、Fluent自动化、数据提取、降阶模型构建、神经网络训练、验证和预测封装为可重用工作流，用于ANSYS Fluent模拟的POD-NN代理建模。
Comments 9 pages, 3 figures
整流薛定谔桥匹配用于少步视觉导航
机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； College of Computer Science, Chongqing University（重庆大学计算机学院） ； Department of Computer Science, University of Liverpool（利物浦大学计算机科学系） ； Changchun GenY Technology Co., Ltd.（长春GenY科技有限公司）
专题命中 GUI与网页智能体 ：autonomous agent(abstract)；分类 cs.AI
AI总结 提出整流薛定谔桥匹配（RSBM）框架，利用速度场结构不变性和线性方差减少，在仅3步积分中实现高保真生成策略，满足具身AI低延迟需求。
Comments 18 pages, 7 figures, 10 tables. Code available at https://github.com/WuyangLuan/RSBM
MobileExplorer: 通过在线探索加速移动GUI代理的端侧推理
机构 * Hong Kong University of Science and Technology（香港理工大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出MobileExplorer框架，通过在线探索并行探测UI元素并记录为结构化记忆，结合两级回滚机制，减少推理步骤和延迟，提升移动GUI代理的端侧部署效率。
通过视觉反馈学习具有空间推理能力的 GUI 定位
机构 * University of Edinburgh（爱丁堡大学） ； Microsoft（微软）
专题命中 GUI与网页智能体 ：agentic(abstract)；分类 cs.CL
AI总结 本文提出将 GUI 定位重构为交互式搜索任务，利用多步在线强化学习训练 GUI-Cursor 模型，通过光标视觉反馈提升空间推理能力，在 GUI 定位和代理任务上超越强基线。
Comments Accepted at ICML 2026
Claw-Anything: 对更广泛访问用户数字世界的始终在线个人助手的基准测试
机构 * Beijing Institute of Technology（北京理工大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 提出Claw-Anything基准测试，通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度，评估大型语言模型代理在始终在线环境下的性能，发现GPT-5.5仅达34.5% pass@1，并发布自动化数据生成管道提升基线模型23.7%。
MASt3R-Nav: 相对3D地图中的WayPixel导航
机构 * Robotics Research Center, IIIT-Hyderabad, India（1 罗斯科技研究中心，IIIT-海得拉巴，印度） ； University of Heidelberg（2 海德堡大学） ； MBZUAI（3 MBZUAI）
专题命中 GUI与网页智能体 ：planning(abstract)；分类 cs.AI
AI总结 提出一种基于像素相对连接性的地图表示，通过相对3D坐标系中的像素对应构建地图，并利用像素级图进行全局路径规划，训练控制器预测轨迹，实现高精度导航。
Comments 2026 IEEE International Conference on Robotics & Automation (ICRA)
AutoRPA: 通过基于LLM的代码合成实现高效的GUI自动化
机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission（浙江空间信息感知与传输重点实验室） ； School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机科学学院）
专题命中 GUI与网页智能体 ：agent(abstract)；分类 cs.AI
AI总结 本文提出AutoRPA框架，通过将ReAct风格代理的决策逻辑自动转化为鲁棒的RPA功能，提高GUI自动化效率和可重用性，同时减少82%到96%的token使用量。
Comments Accepted in ICML 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈