视觉大模型 / VLM

Knowledge Prompting for Few-shot Action Recognition

Yuheng Shi, Xinxiao Wu, Hanxi Lin

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

Structured Exploration Through Instruction Enhancement for Object Navigation

Matthias Hutsebaut-Buysse, Kevin Mets, Tom De Schepper, Steven Latré

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

Comments Paper accepted to the BNAIC/BeNeLearn 2022 conference

ULN: Towards Underspecified Vision-and-Language Navigation

Weixi Feng, Tsu-Jui Fu, Yujie Lu, William Yang Wang

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Comments EMNLP 2022

Ground then Navigate: Language-guided Navigation in Dynamic Scenes

Kanishk Jain, Varun Chhangani, Amogh Tiwari, K. Madhava Krishna, Vineet Gandhi

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Less is More: Generating Grounded Navigation Instructions from Landmarks

Su Wang, Ceslee Montgomery, Jordi Orbay, Vighnesh Birodkar, Aleksandra Faust, Izzeddin Gur, Natasha Jaques, Austin Waters, Jason Baldridge, Peter Anderson

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Comments CVPR 2022 Camera-ready

Bridging the Gap Between Learning in Discrete and Continuous Environments for Vision-and-Language Navigation

Yicong Hong, Zun Wang, Qi Wu, Stephen Gould

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation

Shizhe Chen, Pierre-Louis Guhur, Makarand Tapaswi, Cordelia Schmid, Ivan Laptev

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Learning to Stop: A Simple yet Effective Approach to Urban Vision-Language Navigation

Jiannan Xiang, Xin Eric Wang, William Yang Wang

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Comments Findings of EMNLP 2020

Mapping Natural Language Instructions to Mobile UI Action Sequences

Yang Li, Jiacong He, Xin Zhou, Yuan Zhang, Jason Baldridge

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.LG

Comments Annual Conference of the Association for Computational Linguistics (ACL 2020)

Retrieving and Highlighting Action with Spatiotemporal Reference

Seito Kasai, Yuchi Ishikawa, Masaki Hayashi, Yoshimitsu Aoki, Kensho Hara, Hirokatsu Kataoka

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)；分类 cs.CV

Comments Accepted to ICIP 2020

Language-guided Semantic Mapping and Mobile Manipulation in Partially Observable Environments

Siddharth Patki, Ethan Fahnestock, Thomas M. Howard, Matthew R. Walter

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

Comments To appear at 2019 Conference on Robot Learning (CoRL)

Multi-modal Discriminative Model for Vision-and-Language Navigation

Haoshuo Huang, Vihan Jain, Harsh Mehta, Jason Baldridge, Eugene Ie

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV

Comments Accepted at SpLU-RoboNLP 2019 (workshop at NAACL)

Safe Navigation with Human Instructions in Complex Scenes

Zhe Hu, Jia Pan, Tingxiang Fan, Ruigang Yang, Dinesh Manocha

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI

Designing Mobile and Wearable Sensor-Fused Conversational Agents for Health and Wellbeing

面向健康与福祉的移动及可穿戴传感器融合对话智能体设计

Hansoo Lee, Pablo Fonseca, Md Haseen Akhtar

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本教程面向健康领域，旨在教授参与者使用WSDWAS工具，将可穿戴传感器数据与LLM驱动的对话智能体结合，实现从被动监测到可操作福祉对话的转变。

Comments 6 pages, 3 figures. Accepted as a Tutorial at the 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26)

Journal ref In 28th International Conference on Mobile Human-Computer Interaction (MobileHCI '26), August 31-September 03, 2026, Swansea, United Kingdom

Fusing UI Structure & Semantics for Feature-Oriented App Screen Retrieval & Clustering

融合UI结构与语义的面向特征的应用屏幕检索与聚类

Arun Krishna Vajjala, Yanfu Yan, Ajay Krishna Vajjala, Shrunal Pothagoni, Denys Poshyvanyk, Kevin Moran

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 该研究针对UI编程中代码与图形表示的抽象鸿沟，提出多模态神经符号嵌入技术FRAME，在三项基准测试中提升了屏幕检索与聚类的性能，可增强自动化UI设计与测试工具。

Comments 12 pages, 8 figures, 6 tables. Accepted at the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), Benevento, Italy

CrossTracer: Cross-Embodiment Navigation via VLA Model Reasoning and Trace Residuals Adapting

CrossTracer：基于VLA模型推理与轨迹残差自适应的跨 embodiments 导航

Yao Wang, Siyuan Wang, Zhirui Sun, Wenzheng Chi, Liang Lin, Jiankun Wang, Wenjun Xu

机构 * Peng Cheng Laboratory（鹏城实验室） ； Southern University of Science and Technology（南方科技大学） ； Innovation Investment Research Institute（创新投资研究院） ； Soochow University（苏州大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本研究提出跨 embodiment 导航框架 CrossTracer，通过 VL-Tracer 和 CE-Adapter 优化轨迹，在 NaviTrace 基准得分 45.68，优于 Gemini-2.5-Pro，实际部署于轮式、腿式机器人效果良好。

Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation

超越扁平策略：面向机器人操作具身智能体的分层后训练

He Kong, Zengjue Chen, Qi Wang, Qianli Xing, Runliang Niu, Peidong Liu, Jiawei Li, Shiqi Wang, Yi Chang

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 针对现有VLA模型扁平策略难以处理长时程操作的问题，提出HiRoC分层后训练框架，通过解耦规划与执行并对齐分布，在机器人操作基准上取得优于强基线的性能。

MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation

MMaDA-VLA: 基于统一多模态指令与生成的大型扩散视觉-语言-动作模型

Yang Liu, Pengxiang Ding, Tengyue Jiang, Xudong Wang, Wenxuan Song, Minghui Lin, Han Zhao, Hongyin Zhang, Zifeng Zhuang, Wei Zhao, Siteng Huang, Jinkui Shi, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； East China University of Science and Technology（华东理工大学） ； Huawei Celia Team（华为Celia团队） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； OpenHelix Robotics 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出MMaDA-VLA模型，通过统一多模态理解与生成框架，解决机器人操控中的时序不一致和长周期误差累积问题，实现高效视觉-语言-动作生成。

Comments Accepted by ACM MM 2026

"Allow" to Achieve, Over-Privileged Inadvertently: The Unintended Cost of Task-Completion-Driven Pop-up Decisions in Mobile GUI Agents

“允许”达成目标：移动GUI智能体中任务完成驱动的弹窗决策的意外代价

Dongsheng Chen, Yuxuan Li, Guanhua Chen, Jiaxin Zhang, Xiangyu Zhao, Lei Ma, Xin Yao, Xuetao Wei

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 研究移动GUI智能体的权限素养，发现其存在应用信任偏差、任务优先级覆盖等问题，提示干预效果不一，建议将任务执行与权限授权分离。

Learning to Detect UI Principle Violations via Reinforcement Learning

通过强化学习学习检测用户界面原则违规

Nishi Mehta, Swathi Alse, Himani Kumawat, Yue Yu, Pratik Jayarao

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 研究小型语言模型和编码代理生成的网页前端代码违反界面质量原则的问题，通过统一多来源的界面质量原则，构建数据集并利用强化学习训练轻量级视觉语言模型作为评判器，提升检测效果并发布相关方法支持评估和后续工作。

Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models

面向视觉-语言-动作模型的鲁棒指令泛化的基础语义重绑定

Zhaokai Yin, Zhipeng Zhang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 针对视觉-语言-动作模型因指令释义导致性能骤降的架构问题，提出GSR方法，在LIBERO-Para基准提升成功率44.6%，推出ParaVLA模型，规避低效数据扩展，实现鲁棒指令泛化。

Comments 23 pages, 8 figures

EndoWAM: A Grounded World-Action Model for Generalizable Endoscopic Navigation

EndoWAM：用于通用内窥镜导航的基于接地的世界-动作模型

Jinsong Lin, Zikang Pan, Wanhao Liu, Chi Kit Ng, Liangjing Shao, Zihang Yu, Ziyu Wang, Yin Wang, Jiaxi Wang, Jeremy Yuen-Chun Teoh, Zhiyong Xiong, Huxin Gao, Hongliang Ren

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 EndoWAM是首个用于通用机器人内窥镜导航的世界-动作模型，通过未来接地机制结合轻量型扩散Transformer与离散动作专家，在EndoMotion数据集上优于基线，具强零样本泛化能力。

SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control

SelfWAM：一种用于快速机器人控制的自 grounded 统一世界动作模型

Bikang Pan, Fan Liu, Haotao Lu, Jingya Wang, Ye Shi

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 SelfWAM是一种基于MoT架构的统一自 grounded WAM，通过联合预测动作等改进机器人控制，在RoboTwin 2.0等实验中提升了策略性能与推理速度。

Beyond a Single Judge: The Evidence-Grounded, Social-Weighted Persona Panel for Generative UI Evaluation

超越单一评判者：用于生成式UI评估的社会角色面板模拟

Zheng Wu, Yibo Luo, Pu Zhang, Cheng Yang, Zhuosheng Zhang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 该研究针对GenUI评估问题，提出三阶段ESPP方法，通过多样化角色面板提升评估保真度，揭示用户子群体的结构性分歧，代码已公开。

Do World Action Models Generalize Better than VLAs? A Robustness Study

世界动作模型是否比视觉语言动作模型表现更好？一项鲁棒性研究

Zhanguang Zhang, Zhiyuan Li, Behnam Rahmati, Rui Heng Yang, Yintao Ma, Amir Rasouli, Sajjad Pakdamansavoji, Yangzheng Wu, Lingfeng Zhang, Tongtong Cao, Feng Wen, Xinyu Wang, Xingyue Quan, Yingxue Zhang

机构 * Huawei Technologies（华为技术有限公司） ； University of Toronto（多伦多大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文比较了最新状态的VLA策略和最近发布的WAMs，在不同视觉和语言扰动下评估其性能，发现WAMs在鲁棒性上表现更强，而VLA需要大量训练数据和多样化学习目标。

Vision-TL-Action: Neuro-Symbolic Trajectory Generation from Visual Observations and Temporal Logic

Vision-TL-Action：基于视觉观测和时序逻辑的神经符号轨迹生成

Zezhi Liu, Zhiwei Zheng, Hanqian Luo, Deyun Qin, Shizhen Wu, Yongchun Fang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出Vision-TL-Action模型，通过融合视觉与TL节点标记生成动作轨迹，在Panda、AntMaze任务中优于或接近基线，实现无需物体几何信息的视觉到TL目标的轨迹生成。

Comments 17 pages, 15 figures

DSCD-Nav: Dual-Stance Cooperative Debate for Object Navigation

DSCD-Nav: 双视角协作辩论用于物体导航

Weitao An, Qi Liu, Chenghao Xu, Jiayi Chai, Xu Yang, Kun Wei, Cheng Deng

机构 * School of Electronic Engineering, Xidian University, Xi' an 710071, China.（西安电子科技大学电子工程学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 DSCD-Nav通过双视角协作辩论机制提升机器人在部分可观测环境中的导航可靠性与效率。

VL-LN Bench: Towards Long-horizon Goal-oriented Navigation with Active Dialogs

VL-LN基准：通过主动对话实现长视界目标导向导航

Wensi Huang, Shaohao Zhu, Meng Wei, Siqi Zhang, Jinming Xu, Xihui Liu, Hanqing Wang, Tai Wang, Feng Zhao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 VL-LN基准通过引入主动对话机制，提升长视界目标导向导航任务的性能和可靠性。

ZONDA: Zero-shot Object Navigation with Dynamic Avoidance in Multi-floor Environments

ZONDA：多楼层环境中具有动态避障功能的零样本目标导航

Shaomin Liang, Xuanhong Liao, Shiyao Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； Guangdong Direct Drive Technology Limited（广东直驱技术有限公司） ； South China University of Technology（华南理工大学） ； Great Bay University（大湾区大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 研究针对目标导航任务中现有方法局限，提出ZONDA框架，集成启发式多楼层规划、多视图目标验证、动态行人避障三个核心组件，通过真实机器人及模拟测试取得显著改进结果，在动态基准测试中表现优于现有基线。

GeoWorldAD: Geometry World Action Model for Autonomous Driving

GeoWorldAD：用于自动驾驶的几何世界行动模型

Songyan Zhang, Jinyuan Tian, Hanbing Li, Daqi Liu, Hao Chen, Wenhui Huang, Fang Li, Guang Chen, Hangjun Ye, Long Chen, Kuiyuan Yang, Chen Lv

机构 * Nanyang Technological University（南洋理工大学） ； Xiaomi EV（小米汽车） ； Zhejiang University（浙江大学） ； Harvard University（哈佛大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 研究自动驾驶中安全高效规划决策问题，提出GeoWorldAD模型，通过在自我对齐3D空间中规划轨迹、用潜在未来几何标记预测场景演变，并逐步聚合多尺度几何线索，实验证明该模型在自动驾驶方面性能先进。