视觉大模型 / VLM

Socialized Learning and Emergent Behaviors in Multi-Agent Systems based on Multimodal Large Language Models

Sureyya Akin, Shruti T. Tiwari, Ram Bhattacharya, Sagar A. Raman, Kiran Mohanty, Sita Krishnan

专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)

Comments We have identified critical issues in the code implementation that severely deviate from Algorithm 1, invalidating all experimental results and conclusions. Despite exhaustive efforts to correct these issues, we find they fundamentally undermine the paper's core claims. To uphold academic integrity and prevent misinformation, we are withdrawing this manuscript

Grounding Foundational Vision Models with 3D Human Poses for Robust Action Recognition

Nicholas Babey, Tiffany Gu, Yiheng Li, Cristian Meo, Kevin Zhu

机构 * Arizona State University（亚利桑那州立大学） ； Emory University（埃默里大学） ； University of California, Berkeley（加州大学伯克利分校） ； Delft University of Technology（代尔夫特理工大学） ； Algoverse AI Research（Algoverse AI 研究） 纠错

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025 SpaVLE, for code see https://github.com/nbabey20/groundactrec , 9 pages, 1 figure

GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes

Kristian Kolthoff, Felix Kretzer, Simone Paolo Ponzetto, Alexander Maedche, Christian Bartelt

专题命中 GUI与屏幕智能体 ：MLLM(title,abstract)

Say One Thing, Do Another? Diagnosing Reasoning-Execution Gaps in VLM-Powered Mobile-Use Agents

Lingzhong Dong, Ziqi Zhou, Shuaibo Yang, Haiyue Sheng, Pengzhou Cheng, Zongru Wu, Zheng Wu, Gongshen Liu, Zhuosheng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title)；vision-language model(abstract)

Embodied Hazard Mitigation using Vision-Language Models for Autonomous Mobile Robots

Oluwadamilola Sotomi, Devika Kodi, Kiruthiga Chandra Shekar, Aliasghar Arab

机构 * Department of Mechanical and Aerospace Engineering, Tandon School of Engineering, New York University（机械与航空航天工程系，坦顿工程学院，纽约大学） ； GenAuto.ai by General Autonomy Inc.（General Autonomy Inc. 的 GenAuto.ai） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)

Find Everything: A General Vision Language Model Approach to Multi-Object Search

Daniel Choi, Angus Fung, Haitong Wang, Aaron Hao Tan

专题命中 GUI与屏幕智能体 ：vision language model(title,abstract)

Comments 8 pages, 5 figures

Language as Cost: Proactive Hazard Mapping using VLM for Robot Navigation

Mintaek Oh, Chan Kim, Seung-Woo Seo, Seong-Woo Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title)；vision-language model(abstract)

Comments Accepted at IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2025. 8 pages, 7 figures

Iterative Shaping of Multi-Particle Aggregates based on Action Trees and VLM

Hoi-Yin Lee, Peng Zhou, Anqing Duan, Chenguang Yang, David Navarro-Alarcon

专题命中 GUI与屏幕智能体 ：VLM(title)；vision language model(abstract)

SuctionPrompt: Visual-assisted Robotic Picking with a Suction Cup Using Vision-Language Models and Facile Hardware Design

Tomohiro Motoda, Takahide Kitamura, Ryo Hanai, Yukiyasu Domae

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)

Comments 11 pages, 7 figures, 4 tables

Resolving Positional Ambiguity in Dialogues by Vision-Language Models for Robot Navigation

Kuan-Lin Chen, Tzu-Ti Wei, Li-Tzu Yeh, Elaine Kao, Yu-Chee Tseng, Jen-Jee Chen

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)

Leveraging Large Vision Language Model For Better Automatic Web GUI Testing

Siyi Wang, Sinan Wang, Yujia Fan, Xiaolei Li, Yepang Liu

专题命中 GUI与屏幕智能体 ：vision language model(title)；vision-language model(abstract)

PANav: Toward Privacy-Aware Robot Navigation via Vision-Language Models

Bangguo Yu, Hamidreza Kasaei, Ming Cao

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)

Comments 7 pages, 6 figures, conference

CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation

Xinbei Ma, Zhuosheng Zhang, Hai Zhao

专题命中 GUI与屏幕智能体 ：MLLM(title)；multimodal large language model(abstract)

Comments ACL'2024 Findings

Enhancing Robot Explanation Capabilities through Vision-Language Models: a Preliminary Study by Interpreting Visual Inputs for Improved Human-Robot Interaction

David Sobrín-Hidalgo, Miguel Ángel González-Santamarta, Ángel Manuel Guerrero-Higueras, Francisco Javier Rodríguez-Lera, Vicente Matellán-Olivera

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)

Comments 5 pages, 4 figures. This paper is a preprint of an article submitted to the Robot Trust for Symbiotic Societies (RTSS) workshop (ICRA 2024)

The N-Body Problem: Parallel Execution from Single-Person Egocentric Video

N体问题：从单人物体中心视频进行并行执行

Zhifan Zhu, Yifei Huang, Yoichi Sato, Dima Damen

机构 * University of Bristol（布里斯托尔大学） ； The University of Tokyo（东京大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出N体问题，从单人物体中心视频预测N人并行执行任务，通过结构化提示策略引导视觉语言模型推理3D环境、物体使用和时间依赖，在EPIC-Kitchens和HD-EPIC数据集上显著提升动作覆盖率并降低冲突。

Comments accepted at ECCV Workshop, project webpage: https://zhifanzhu.github.io/ego-nbody

G0.5: One Autoregressive Stream for Robot Reasoning and Action

G0.5：用于机器人推理与动作的单自回归流

Yicheng Liu, Zibin Dong, Baijun Ye, Tianyuan Yuan, Tao Jiang, Anqi Yang, Shicheng Cao, Haonan Liu, Yue Sun, Zihan Guo, Xiao Liu, Dong Ke, Changxun Pan, Chenru Wu, Tailai Cheng, Xiaoshu Ren, Xinlei Zhang, Jianning Cui, Zijie Zhao, Haoyu Zhang, Kaiming Xu, Haodong Yang, Bowen Zhang, Jiahui Niu, Shaoting Zhu, Shiduo Zhang, Hang Zhao

机构 * Galaxea（星系科技（Galaxea）） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 本文提出G0.5，一种单自回归流的VLA模型，通过三个关键组件实现推理与动作统一，在7项基准中超越现有最优模型，展现出良好的泛化与指令跟随能力。

Action- and Language-Conditioned Video Assessment for Embodied Control

面向具身控制的动作与语言条件视频评估

Hwanhee Kim, Jaehyun Jang, Seungmin Cha, Hyeonseo Yun, Donghoon Lee, Chang D. Yoo

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。

Comments 21 pages, 7 figures, Published in Sensors

Journal ref Sensors 26(16), 5046 (2026)

WebGrader: Training LLMs for Web Development with Self-Evolving Programmatic Grader

WebGrader：利用自演化程序化评分器训练用于网页开发的大语言模型

Boshui Chen, Huiping Liu, Shaolei Zhang

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出自演化程序化评分器WebGrader，通过分离测试规划等环节生成准确奖励，训练8B策略在WebGen-Bench、WG-core-250数据集上的功能成功率及得分优于多款大语言模型。

Comments 17 pages, 3 figures. Supplementary material is included in the main PDF

MT-Web2Code: Benchmarking Coding Agents on Multi-Turn Regional Reconstruction and Localized Modification

MT-Web2Code：面向多轮区域重构与局部修改的编码智能体基准测试

Qiming Li, Shujie Hu, Haohan Liu, Xiaocheng Feng, Songxiang Liu, Guanglu Wan

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 MT-Web2Code是首个面向多轮区域重构与局部修改的多模态编码基准，实验发现现有编码智能体存在多轮错误滚雪球等问题，其评估指标或助力相关研究。

CoNav-UAV: Cooperative Dual-Altitude Aerial Navigation via Stackelberg Learning

CoNav-UAV：基于Stackelberg学习的协同双高度无人机导航

Junru Song, Wenhao Zhang, Yang Yang, Xuekai Qiu, Feifei Wang, Weien Zhou, Tingsong Jiang, Ying Wen, Yang Li, Wen Yao

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 针对双高度无人机协同导航的合作问题，本文提出CoNav-UAV，通过迭代Stackelberg学习优化高空领导者与低空跟随者，在AerialVLN基准上显著提升导航成功率且适配数据需求更少。

3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance

3D HAMSTER：通过3D轨迹引导在分层视觉语言动作模型中桥接规划与控制

Dongyoon Hwang, Byungkun Lee, Dongjin Kim, Hyojin Jang, Hoiyeong Jin, Jueun Mun, Minho Park, Hojoon Lee, Hyunseung Kim, Jaegul Choo

机构 * Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院） ； Graduate School of Artificial Intelligence, POSTECH（浦项工业大学人工智能研究生院） ； KRAFTON AI 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出3D HAMSTER框架，通过让规划器直接输出度量可靠的3D轨迹，弥合2D引导与3D低层策略之间的差距，在3D轨迹预测、仿真和真实操作中优于现有方法。

Comments Published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026. Code: https://github.com/DAVIAN-Robotics/3D_HAMSTER. Project page: https://davian-robotics.github.io/3D_HAMSTER/

A Modular Vision-Language-Action Robotics Framework for Indoor Environments

面向室内环境的模块化视觉-语言-动作机器人框架

Anindya Jana, Snehasis Banerjee, Arup Sadhu, Ranjan Dasgupta

机构 * TCS Research, Tata Consultancy Services（塔塔咨询服务公司TCS研究部） ； CMU（卡内基梅隆大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出模块化架构，集成环境建图、问题处理和导航，通过双流并行处理（语义体素建图与语言分类）实现自然语言指令驱动的自主任务执行。

Comments IEEE IROS 2025 Workshop on Generative AI for Robotics and Smart Manufacturing

Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

立场：视觉-语言-动作模型无法被验证执行物理推理

Taozhao Chen, Ian Manchester, Huaming Chen

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 本文指出基于预训练视觉-语言模型的VLA系统在机器人操作基准上的性能提升无法区分语义匹配与物理泛化，现有评估指标不能验证物理推理能力。

RAVEN: Long-Horizon Reasoning & Navigation with a Visuo-Spatio-Temporal Memory

RAVEN: 基于视觉-空间-时间记忆的长期推理与导航

Yixun Hu, Zhicheng Zheng, Lihan Zha, Chunwei Xing, Rajdeep Singh, Omar Hossain, Antonio Loquercio, Dhruv Shah

机构 * Princeton University（普林斯顿大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 提出RAVEN记忆系统，通过存储视觉嵌入与位姿时间信息，实现长期机器人问答与导航，在多个基准上超越字幕记忆系统，以10倍更低检索成本匹配前沿VLM。

Comments Project website: https://ravenmem.github.io/

LongWebBench: Evaluating Structural and Functional Webpage Generation in Long-Horizon Settings

LongWebBench: 评估长程设置下的结构和功能性网页生成

Yi Zhao, Zhen Yang, Mengpan Chen, Mingde Xu, Shanghui Gong, Xijun Liu, Jibing Gong, Jie Tang

机构 * Tsinghua University（清华大学） ； Yanshan University（燕山大学） ； University of Waterloo（滑铁卢大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出LongWebBench基准，通过结构保真度和功能可执行性评估长网页生成，发现视觉相似性高但多步交互失败。

Comments 49 pages, 38 figures

Task Robustness via Re-Labelling Vision-Action Robot Data

通过重新标注视觉-动作机器人数据的任务鲁棒性

Artur Kuramshin, Özgür Aslan, Cyrus Neary, Glen Berseth

机构 * Mila — Quebec AI Institute（Mila — 魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出TREAD框架，利用大型视觉语言模型对机器人数据集进行语义子任务分解和多样化指令生成，无需额外数据收集，提升策略在未见任务上的泛化能力。

Comments Project website: https://akuramshin.github.io/tread

Your Model Already Knows: Attention-Guided Safety Filter for Vision-Language-Action Models

你的模型已经知道：面向视觉-语言-动作模型的注意力引导安全过滤器

Seongbin Park, Fan Zhang, Baharan Mirzasoleiman, Shahriar Talebi, Nader Sehatbakhsh

机构 * University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 本文发现VLA模型中的少数注意力头能可靠定位目标物体，利用这一特性提出无需训练的安全框架，结合控制障碍函数和实时目标跟踪器，实现动态障碍物下的碰撞避免，在动态场景中性能提升43%。

Comments Under review

DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions

DragOn：基于拖拽的GUI交互基准与数据集

Nathan Bout, Maxime Langevin, Ronan Riochet

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.AI

AI总结 针对GUI代理在拖拽操作（如拖放、滑动、高亮）上的性能不足，提出DragOn基准和训练数据集，涵盖文本高亮、单元格选择、元素缩放和滑块操作四个领域，包含28.6万张训练截图和350万个训练任务，评估了多个模型并显示数据集能提升下游任务性能。

Journal ref Published as a workshop paper at SCALE - 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving

DriveWAM: 视频生成先验实现自动驾驶的可扩展世界-动作建模

Chen Shi, Jinrui Xu, Shaoshuai Shi, Kehua Sheng, Bo Zhang, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Voyager Research, Didi Chuxing（Voyager Research，滴滴出行） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 提出DriveWAM，通过将预训练视频扩散Transformer适配为自回归视频-动作策略，并引入场景演化驾驶引导和选择性KV记忆，实现可扩展的世界-动作建模，在NAVSIM和PhysicalAI基准上取得强规划性能。

MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content

MIRAGE：通过用户生成内容对移动GUI代理的上下文感知提示注入

Ruoqi Guo, Yi Liu, Gelei Deng, Yiheng Xiong, Yuekang Li, Ying Zhang, Leo Yu Zhang, Lida Zhao, Ji Jie, Yuxiao Lu

机构 * Griffith University（格里菲斯大学） ； Quantstamp ； Nanyang Technological University（南洋理工大学） ； Singapore Management University（新加坡管理学院） ； University of New South Wales（新南威尔士大学） ； Wake Forest University（威克森林大学） ； Independent Researcher（独立研究者） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出MIRAGE管道，通过将攻击者控制的文本嵌入用户生成内容区域，在不修改代理、应用或操作系统的情况下，对视觉语言模型驱动的移动GUI代理实现高成功率的提示注入攻击。