AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
UI-Zoomer: 基于不确定性的自适应缩放以实现GUI定位
机构 * Zhejiang University（浙江大学）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出UI-Zoomer框架，通过将缩放触发和尺度作为不确定性量化问题，改进GUI定位中的小图标和密集布局识别。实验表明，该方法在多个模型架构上均优于现有基线，提升幅度达13.4%至4.2%。
Comments Project Page: https://zju-real.github.io/UI-Zoomer Code: https://github.com/ZJU-REAL/UI-Zoomer
A1: 一个完全透明的开源、自适应和高效的截断视觉-语言-动作模型
机构 * SYSU（华南理工大学） ； MBZUAI（微软亚洲人工智能研究院） ； Spatialtemporal AI（时空人工智能）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)
AI总结 A1通过利用预训练的VLM提供隐含的 affordance 先验知识，实现低成本、高吞吐量的推理，同时提高机器人操作的成功率，且在多个基准和真实机器人上实现了最先进的成功率。
Avenir-UX：通过模拟人类网络交互进行自动用户体验评估
机构 * University College London（伦敦大学学院）
专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；分类 cs.AI
AI总结 Avenir-UX通过模拟人类交互行为，提供标准化的可用性评估，结合GUI接地技术，提升用户体验评估的效率和准确性，支持持续、可扩展的数据驱动测试。
LongVideo-R1: 低成本长视频理解的智能导航
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Huawei Consumer Business Group（华为消费者业务集团）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 本文提出LongVideo-R1，一种基于多模态大语言模型的智能导航系统，通过高效视频上下文导航减少冗余搜索，提升长视频理解的效率与准确性。
Comments 17 pages, 9 figures, 8 tables, accepted to CVPR 2026
通过多角色编排实现可扩展的轻量级GUI代理
机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可及感知与智能系统重点实验室，浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； AntGroup（蚂蚁集团）
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI
AI总结 本文提出LAMO框架，通过多角色编排提升轻量级GUI代理的任务扩展性，开发出支持单体执行和多代理系统编排的LAMO-3B代理，结合先进规划器实现持续性能提升。
Comments Findings of ACL 2026
Figma2Code: 将多模态设计转换为代码的自动化
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)
AI总结 本文提出Figma2Code任务，通过收集Figma文件元数据与设计图像，构建高质量数据集，评估多种多模态大语言模型，发现专有模型在视觉保真度上表现优异，但布局响应性和代码可维护性有限。
Comments ICLR 2026
UI-Copilot: 通过工具集成策略优化推进长周期GUI自动化
机构 * Zhejiang University（浙江大学） ； Apple（苹果公司） ； Tencent（腾讯）
专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；分类 cs.LG
AI总结 本文提出UI-Copilot框架，通过分离持久观察与临时执行上下文实现内存解耦，结合工具集成策略优化提升长周期GUI任务性能，实验显示其在MemGUI-Bench和AndroidWorld上均优于现有模型。
RiskWebWorld: 电子商务风险管理中GUI代理的现实交互基准
机构 * Ant Group（蚂蚁集团）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 RiskWebWorld是一个用于评估GUI代理在电子商务风险管理中能力的现实交互基准，揭示了通用模型与专用模型在长周期专业任务中的显著能力差距。
ESCAPE：基于长周期移动操作的片段空间记忆与自适应执行策略
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； LiAuto Inc.（LiAuto公司）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV
AI总结 本文提出ESCAPE框架，通过融合感知-地面-执行流程，解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题，在ALFRED基准测试中取得优异成绩。
WebXSkill：自主网页代理的技能学习
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft（微软）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 WebXSkill通过可执行技能框架解决自主网页代理在长周期任务中的执行与适应问题，提升任务成功率。
Comments 21 pages
MAS-Bench：一种统一的快捷键增强混合移动GUI代理基准测试
机构 * Zhejiang University（浙江大学） ； vivo AI Lab（vivo AI实验室） ； Peking University（北京大学）
专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.AI
AI总结 本文提出MAS-Bench，用于评估结合GUI和快捷键的混合移动自动化代理，包含139个任务和9个评估指标，实验显示混合代理在效率上优于纯GUI代理。
面向无人机的视觉与语言导航：进展、挑战与研究路线图
机构 * Autel Robotics, Shenzhen, China（大疆创新，深圳，中国） ； School of Intelligent Software and Engineering, Nanjing University, Nanjing, China（南京大学智能软件与工程学院，南京，中国） ； School of Computer, Data & Information Sciences, University of Wisconsin-Madison, Madison, WI, USA（威斯康星大学麦迪逊分校计算机、数据与信息科学学院，麦迪逊，WI，美国） ； Southern University of Science and Technology, Shenzhen, China（南方科技大学，深圳，中国） ； The University of Hong Kong, Hong Kong SAR, China（香港大学，香港特别行政区，中国） ； School of Software and Microelectronics, Peking University, Beijing, China（北京大学软件与微电子学院，北京，中国）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)
AI总结 本文综述了无人机视觉与语言导航领域，分析了从早期模块化方法到基于大模型的智能系统的发展，探讨了现实部署中的挑战，并提出了未来研究方向。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈