视觉大模型 / VLM

SceneGraphVLM: Dynamic Scene Graph Generation from Video with Vision-Language Models

SceneGraphVLM：基于视频的动态场景图生成方法

Vladislav Makarov, Mark Gizetdinov, Dmitry Yudin

机构 * MIRAI 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title)；VLM(abstract,abstract_cn)；visual language model(abstract)；分类 cs.CV

AI总结 SceneGraphVLM通过紧凑的视觉语言模型生成视频场景图，采用TOON格式提升效率，结合监督微调与强化学习实现高精度与速度的平衡，适用于PSG、PVSG和Action Genome数据集。

ScreenParse: Moving Beyond Sparse Grounding with Complete Screen Parsing Supervision

ScreenParse：超越稀疏标注的完整屏幕解析监督

A. Said Gurbuz, Sunghwan Hong, Ahmed Nassar, Marc Pollefeys, Peter Staar

机构 * IBM Research Zurich, Zurich, Switzerland（IBM苏黎世研究实验室，瑞士苏黎世） ； ETH Zurich, Computer Vision（苏黎世联邦理工学院，计算机视觉） ； ETH AI Center, Switzerland（苏黎世联邦理工学院人工智能中心，瑞士） ； ETH Zurich, Photogrammetry（苏黎世联邦理工学院，摄影测量学） ； Microsoft, Switzerland（微软公司，瑞士） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 ScreenParse通过大规模完整屏幕解析标注，训练出性能优异的ScreenVLM模型，显著提升了密集解析能力和迁移表现。

Comments Accepted at ICML 2026. 28 pages, 15 figures

Adaptive Vision-Language Model Routing for Computer Use Agents

自适应视觉-语言模型路由用于计算机使用代理

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

机构 * vLLM Semantic Router Project（vLLM语义路由项目） ； MBZUAI ； McGill University（麦吉尔大学） ； AMD ； Red Hat（红帽公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出自适应VLM路由框架，通过动态选择模型降低推理成本，同时保持可靠性。在ScreenSpot-Pro数据集和OpenClaw基准测试中，AVR实现了高达78%的推理成本降低，并结合视觉困惑代理机制提升安全性。

GUI-Shift: Enhancing VLM-Based GUI Agents through Self-supervised Reinforcement Learning

Longxi Gao, Li Zhang, Pengzhi Gao, Wei Liu, Jian Luan, Mengwei Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Unaffiliated（无隶属机构） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,abstract)；vision-language model(abstract)；grounding(abstract)；分类 cs.AI

Efficient Deployment of Vision-Language Models on Mobile Devices: A Case Study on OnePlus 13R

Pablo Robin Guerrero, Yueyang Pan, Sanidhya Kashyap

机构 * École Polytechnique Fédérale de Lausanne（联邦理工学院洛桑分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；LLaVA(abstract)；MLLM(abstract)；分类 cs.LG

Social-LLaVA: Enhancing Robot Navigation through Human-Language Reasoning in Social Spaces

Amirreza Payandeh, Daeun Song, Mohammad Nazeri, Jing Liang, Praneel Mukherjee, Amir Hossain Raj, Yangzhe Kong, Dinesh Manocha, Xuesu Xiao

专题命中 GUI与屏幕智能体 ：LLaVA(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows

OS-Sentinel: 通过现实工作流中的混合验证实现安全增强的移动GUI代理

Qiushi Sun, Mukai Li, Zhoumianze Liu, Zhihui Xie, Fangzhi Xu, Zhangyue Yin, Kanzhi Cheng, Zehao Li, Zichen Ding, Qi Liu, Zhiyong Wu, Zhuosheng Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 OS-Sentinel通过结合形式验证器和VLM上下文判断者，提升移动GUI代理的安全性，实验显示在多个指标上优于现有方法。

Comments ACL 2026 (Oral) & Best Paper at AIWILD @ ICLR 2026

Divide, Deliberate, Decide: A Multi-Agent Framework for Fine-Grained Egocentric Action Recognition

分、议、决：一种用于细粒度自我中心动作识别的多智能体框架

Alessandro Sottovia, Alessandro Torcinovich, Oswald Lanz

机构 * Faculty of Engineering, Free University of Bozen-Bolzano（博尔扎诺自由大学工程学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种零样本多智能体框架，通过视频分割、异构VLM专家协商和Borda计数聚合，提升细粒度自我中心动作识别性能。

Think Like a Pilot: Fine-Grained Long-Horizon UAV Navigation

像飞行员一样思考：细粒度长时程无人机导航

Xiangyi Zheng, Xiangyu Wang, Qinan Liao, Zimu Tang, Yue Liao, Dongyue Lyu, Guodong Wang, Junjie Liu, Si Liu

机构 * Colab ； Beihang University（北航） ； Meituan（美团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出FLIGHT基准和FLIGHT VLA异步架构，通过低频飞行员推理VLM与高频扩散动作模型解耦，实现无人机长时程语义指令下的平滑连续飞行控制。

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

MMG2Skill: 智能体能否从野外指南中提炼出自我进化的技能？

Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MMG2Skill框架，将多模态异构的野外指南编译为可编辑技能，通过轨迹级根因反馈持续改进，在GUI控制、开放游戏和策略卡牌任务中显著提升VLM智能体性能。

Comments 35 pages, 12 figures, 13 tables. Code: https://github.com/NJU-LINK/MMG2Skill

Bridging the 2D-3D Gap: A Hierarchical Semantic-Geometric Map for Vision Language Navigation

弥合2D-3D鸿沟：面向视觉语言导航的分层语义几何地图

Kailing Li, Tianwen Qian, Lijin Yang, Yuqian Fu, Jingyu Gong, Xiaoling Wang, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Bosch Corporate Research（博世企业研究） ； King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出分层语义几何地图（HSGM），将3D几何信息转化为VLM可理解的结构化表示，结合VLM高层语义规划与经典路径规划，实现零样本视觉语言导航，在R2R-CE和RxR-CE基准上达到最先进性能。

VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models

VLM4VLA：重新审视视觉-语言-动作模型中的视觉-语言模型

Jianke Zhang, Xiaoyu Chen, Qiuyue Wang, Mingsheng Li, Yanjiang Guo, Yucheng Hu, Jiajun Zhang, Shuai Bai, Junyang Lin, Jianyu Chen

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Qwen Team, Alibaba Inc.（阿里巴巴公司Qwen团队） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过VLM4VLA最小适配管道，系统研究视觉-语言模型（VLM）的选择和能力如何影响下游视觉-语言-动作（VLA）策略性能，发现VLM通用能力无法预测下游任务表现，且视觉模块是性能瓶颈。

Recommending Usability Improvements with Multimodal Large Language Models

利用多模态大语言模型推荐可用性改进

Sebastian Lubos, Alexander Felfernig, Damian Garber, Viet-Man Le, Manuel Henrich

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 本文提出一种利用多模态大语言模型自动识别和推荐用户界面可用性改进的方法，通过分析有限的应用上下文和用户交互屏幕记录，基于尼尔森可用性启发式方法生成优先级排序的改进建议，验证了其在软件工程中的实用性。

Comments Accepted for publication at the ACM International Conference on the Foundations of Software Engineering (FSE 2026)

Usability Analysis of Configurator User Interfaces with Multimodal Large Language Models

配置器用户界面的可用性分析：基于多模态大语言模型

Sebastian Lubos, Alexander Felfernig, Damian Garber, Adnan Kraljić, Tarik Kraljić, Viet-Man Le, Thi Ngoc Trang Tran, Gerhard Leitner, Julian Schwazer, Doris Suppan, Reinhard Willfort, Ivan Dukic, Jeremias Fuchs, Manuel Henrich

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 本文通过合成18个配置器特定可用性标准，利用多模态大语言模型对16个实际配置器进行半自动化可用性分析，验证了MLLMs能可靠识别问题并提供领域感知改进建议。

Comments Accepted for publication at the International Conference on Software and Systems Reuse, Product Lines, and Configuration (VARIABILITY 2026)

NaviTrace: Evaluating Embodied Navigation of Vision-Language Models

NaviTrace: 评估视觉-语言模型的具身导航

Tim Windecker, Manthan Patel, Moritz Reuss, Richard Schwarzkopf, Cesar Cadena, Rudolf Lioutikov, Marco Hutter, Jonas Frey

机构 * Robotic Systems Lab, ETH Zurich（苏黎世联邦理工学院机器人系统实验室） ； Intuitive Robots Lab, KIT（卡尔斯鲁厄理工学院直观机器人实验室） ； FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究中心） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 NaviTrace通过语义感知轨迹评分评估视觉-语言模型的具身导航能力，揭示了模型在空间定位和目标定位方面的不足。

Comments 11 pages, 6 figures, with appendix, accepted to ICRA 2026

IROS: A Dual-Process Architecture for Real-Time VLM-Based Indoor Navigation

IROS: 一种用于实时基于视觉语言模型的室内导航的双过程架构

Joonhee Lee, Hyunseung Shin, Jeonggil Ko

机构 * Yonsei University（延世大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,abstract)；vision-language model(abstract)；grounding(abstract)

AI总结 IROS是一种结合视觉语言模型上下文推理与轻量级感知模块的双过程架构，实现低延迟的室内导航。

Visual Test-time Scaling for GUI Agent Grounding

Tiange Luo, Lajanugen Logeswaran, Justin Johnson, Honglak Lee

机构 * University of Michigan（密歇根大学） ； LG AI Research（LG人工智能研究） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICCV2025, https://github.com/tiangeluo/RegionFocus

TRISHUL: Towards Region Identification and Screen Hierarchy Understanding for Large VLM based GUI Agents

Kunal Singh, Shreyas Singh, Mukund Khanna

专题命中 GUI与屏幕智能体 ：VLM(title)；vision language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 8 pages 5 figures

GUI-Bee: Align GUI Action Grounding to Novel Environments via Autonomous Exploration

Yue Fan, Handong Zhao, Ruiyi Zhang, Yu Shen, Xin Eric Wang, Gang Wu

专题命中 GUI与屏幕智能体 ：grounding(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Robot Navigation Using Physically Grounded Vision-Language Models in Outdoor Environments

Mohamed Elnoor, Kasun Weerakoon, Gershom Seneviratne, Ruiqi Xian, Tianrui Guan, Mohamed Khalid M Jaffar, Vignesh Rajagopal, Dinesh Manocha

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)

VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation

Wentao Zhao, Jiaming Chen, Ziyu Meng, Donghui Mao, Ran Song, Wei Zhang

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；vision language model(abstract)；VLM(abstract)

Comments Accepted by RSS2024

Training a Vision Language Model as Smartphone Assistant

Nicolai Dorka, Janusz Marecki, Ammar Anwar

专题命中 GUI与屏幕智能体 ：vision language model(title)；VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments ICLR 2024 workshop on Generative Models for Decision Making

Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification

Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证

Zehai He, Wenyi Hong, Zhen Yang, Ziyang Pan, Mingdao Liu, Xiaotao Gu, Jie Tang

机构 * Tsinghua University（清华大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；visual language model(abstract)；分类 cs.AI

AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。

Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision

训练具有密集具身思维链监督的视觉-语言-动作模型

Haoyang Li, Guanlin Li, Youhe Feng, Chen Zhao, Zhuoran Wang, Yang Li, Qizhe Wei, Shifeng Bao, Haitao Shen, Yihan Zhao, Tong Yang, Jing Zhang

机构 * Renmin University of China（中国人民大学） ； Zhipu AI（智谱AI） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 提出ZR-0模型，通过密集具身思维链监督对齐跨具身表示，采用双流架构（VLM生成结构化推理，扩散Transformer生成动作），在多个仿真和真实平台实现强性能。

GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction

GRACE: 基于接地动作中心证据增强视频多模态大语言模型用于观众情感预测

Ruoxuan Yang, Tieyuan Chen, Xiaofeng Huang, Haibing Yin, Jun Wang, Xiping Chen, Jun Yin, Xuesong Gao, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； The 52nd Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十二研究所） ； Hangzhou Bywin Technology Co., Ltd.（杭州百威科技有限公司） ； Zhejiang Dahua Technology Co., Ltd.（浙江大华技术股份有限公司） ； School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出GRACE框架，通过提取时间有序的主谓宾三元组和视觉实体裁剪，增强视频MLLM对细粒度情感线索的提取与推理，在Pitts数据集上提升Qwen2.5-VL和Qwen3-VL性能。

Comments 13 pages, 5 figures

QuoVLA: Quotient Space for Vision-Language-Action Models

QuoVLA：视觉-语言-动作模型的商空间

Xuan Wang, Yinan Wu, Haoran Duan, Jungong Han

机构 * Department of Automation（自动化系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 针对VLA模型预训练VLM潜在表示动作信息不足的观点，提出商空间框架QuoVLA，通过量化模块和双分支设计压缩潜在表示为动作充分表示，在多个基准上提升泛化性能。

Contrastive Representation Regularization for Vision-Language-Action Models

视觉-语言-动作模型的对比表示正则化

Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

机构 * KAIST（韩国科学技术院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG

AI总结 提出机器人状态感知对比损失（RS-CL），通过对比学习对齐VLM表示与机器人本体感受状态，提升VLA模型在机器人操作任务中的性能。

Comments ICML 2026

DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?

DiffSpot：VLM能发现网页界面中的细微视觉差异吗？

Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

机构 * WeChat AI, Tencent Inc（腾讯公司） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title_cn,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 提出DiffSpot基准，通过CSS属性突变生成可控图像对，评估视觉语言模型在网页界面中检测细微视觉差异的能力，发现最佳模型仅识别40.7%的真实变化。

GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations

GesVLA: 一种具有手势感知能力的视觉-语言-动作模型嵌入表示

Wenxuan Guo, Ziyuan Li, Meng Zhang, Yichen Liu, Yimeng Dong, Chuxi Xu, Yunfei Wei, Ze Chen, Erjin Zhou, Jianjiang Feng

机构 * Tsinghua University（清华大学） ； Dexmal 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出GesVLA模型，通过引入手势作为平行指令模态，解决现有VLA系统在复杂场景中空间模糊问题，采用双VLM架构实现手势表示与动作策略的紧密耦合，并通过手势数据生成管道和两阶段训练策略提升目标定位准确性和人机交互效率。

Comments Project page: https://gwxuan.github.io/GesVLA/

Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents

再思一次，行动一次：验证引导的动作选择用于具身智能体

Nishad Singhi, Christian Bialas, Snehal Jauhri, Vignesh Prasad, Georgia Chalvatzaki, Marcus Rohrbach, Anna Rohrbach

机构 * Technical University of Darmstadt（达姆斯塔特技术大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出验证引导的动作选择框架，通过显式验证步骤提升基于MLLM的具身智能体的鲁棒性，实验证明在复杂任务中性能提升达36%。

Comments CVPR 2026 (Findings)