视觉大模型 / VLM

GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation

GaussianDream：用于机器人操作的前馈3D高斯世界模型

Zijian Zhang, Yuqing Jiang, Qian Cheng, Xiaofan Li, Si Liu, Ding Zhao, Ping Luo, Weitao Zhou, Haibao Yu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 提出GaussianDream，一种前馈3D高斯世界模型插件，通过可学习查询编码当前帧3D空间结构和短期未来演化，在训练时用静态重建和未来预测头监督，推理时仅保留查询条件化动作生成，在多个机器人操作基准上达到最先进性能。

Comments 19 pages, 9 figures

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

GUI-CIDER：通过因果内化和密度感知示例重选进行GUI代理的中期训练

Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 提出GUI-CIDER中期训练方法，通过因果内化和密度感知示例重选显式内化GUI世界知识，提升代理对GUI操作的理解和任务成功率。

Neural Implicit Action Fields: From Discrete Waypoints to Continuous Functions for Vision-Language-Action Models

神经隐式动作场：从离散路点到连续函数的视觉-语言-动作模型

Haoyun Liu, Jianzhuang Zhao, Xinyuan Chang, Tianle Shi, Chuanzhang Meng, Jiayuan Tan, Feng Xiong, Tong Lin, Dongjie Huo, Mu Xu, SongLin Dong, Zhiheng Ma, Yihong Gong, Sheng Zhong

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology（深圳大学计算微电子学院） ； Guangdong Provincial Key Laboratory of Computility Microelectronics（广东省计算微电子重点实验室） ； Amap, Alibaba Group（阿里集团Amap） ； Shenzhen University（深圳大学） ； Xi'an Jiaotong University（西安交通大学） ； Beijing University of Chemical Technology（北京化工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 针对视觉-语言-动作模型预测离散动作路点与物理运动连续性不匹配的问题，提出神经隐式动作场（NIAF），通过将动作表示从离散路点重构为连续函数，实现任意时间分辨率的连续动作流形合成，支持解析求导和显式速度监督，提升控制平滑性和物理合理性。

Comments Accepted at ICML 2026

RoVLA: Multi-Consistency Constraints for Robust Vision-Language-Action Models

RoVLA: 多一致性约束用于鲁棒的视觉-语言-动作模型

Jingzhou Luo, Yifan Wen, Yongjie Bai, Xinshuai Song, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era AI实验室） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出RoVLA框架，通过多一致性约束提升视觉-语言-动作模型的鲁棒性，通过指令语义、轨迹演变和观察扰动三种互补变换增强模型的稳定性和泛化能力。

NORM-Nav: Zero-Shot Mobile Robot Navigation with Natural Language Behavioral Constraints

NORM-Nav: 通过自然语言行为约束实现零样本移动机器人导航

Dongjie Huo, Junhui Wang, Chao Gao, Yan Qiao, Dong Zhang, Guyue Zhou

机构 * College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute of Systems Engineering and Collaborative Laboratory for Intelligent Science and Systems, Macau University of Science and Technology（澳门大学系统工程与智能科学与系统联合实验室） ； School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract_cn)

AI总结 本文提出NORM-Nav框架，通过将自然语言行为约束整合到基于成本图的规划中，提升移动机器人在人类环境中导航的社交适应性，实验表明其在任务成功率和轨迹贴近人类参考方面优于基线方法。

AirNav: A Large-Scale UAV Vision-and-Language Navigation Dataset with Natural and Diverse Instructions

AirNav: 一个大规模无人机视觉与语言导航数据集，包含自然且多样的指令

Hengxing Cai, Yijie Rao, Ligang Huang, Zanyang Zhong, Jinhan Dong, Jingjun Tan, Changhao Nai, Jue Hou, Wenhao Lu, Renxin Zhong

机构 * School of Intelligent Systems Engineering, Sun Yat-Sen University（中山大学智能系统工程学院） ； Beihang University（北京航空航天大学） ； Peking University（北京大学） ； Beijing University Of Posts and Telecommunications（北京邮电大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Xiamen University（厦门大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 本文提出AirNav数据集，包含137K自然多样指令的导航样本，评估了多种方法，提出AirVLN-R1模型在测试中取得51.82%的成功率，并通过实际无人机实验验证了仿真到现实的迁移能力。

Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation

沙盒计划，开放世界导航：学习物理基础的抽象经验以实现具身导航

Zhixuan Shen, Jiawei Du, Ziyu Guo, Han Luo, Lilan Peng, Joey Tianyi Zhou, Haonan Luo, Tianrui Li

机构 * School of Computing and Artificial Intelligence, Southwest Jiaotong University, China（计算机与人工智能学院，西南交通大学，中国） ； Centre for Frontier AI Research A*STAR, Singapore（前沿人工智能研究A*STAR中心，新加坡） ； School of Computer Science, University of Leeds, UK（计算机科学学院，利兹大学，英国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出SAGE框架，通过物理基础的语义抽象学习，提升具身导航性能，在A-EQA任务中取得53.21%的成功率，且在物理室内机器人部署中表现良好。

Comments 28 pages, 15 figures, Extended Version of accepted ICML 2026 Paper

Membership Inference Attacks on Vision-Language-Action Models

针对视觉-语言-动作模型的成员推断攻击

Yuefeng Peng, Mingzhe Li, Kejing Xia, Renhao Zhang, Amir Houmansadr

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文首次系统研究了针对视觉-语言-动作（VLA）模型的成员推断攻击（MIAs），提出了样本级和轨迹级的攻击设置，并展示了在多个VLA基准和模型上，攻击方法在黑盒环境下表现出色，揭示了VLA模型在隐私方面的高风险。

Actionable Understanding: Action Units for Bridging the Knowledge-Action Gap in Post-FAIR Knowledge Infrastructures

可操作的理解：用于弥合后FAIR知识基础设施中知识-行动鸿沟的行动单元

Lars Vogt

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出行动单元作为知识-行动鸿沟的解决方案，通过结构化扩展计划规范，明确适用条件和上下文基础，构建可操作的知识基础设施。

UIGaze: How Closely Can VLMs Approximate Human Visual Attention on User Interfaces?

UIGaze: VLMs在用户界面上如何接近人类视觉注意力？

Min Song, Yoonseong Lee, Yeonhu Seo

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

AI总结 UIGaze研究VLMs在用户界面中预测人类视觉注意力的能力，通过零样本坐标预测管道评估九种先进模型，发现VLMs在不同UI类型和更长时间观看中表现出不同程度的匹配。

Comments 6 pages, 4 tables, 1 figure

ExpressMM: Expressive Mobile Manipulation Behaviors in Human-Robot Interactions

ExpressMM: 人机交互中的表达性移动 manipulation 行为

Souren Pashangpour, Haitong Wang, Matthew Lisondra, Goldie Nejat

机构 * Autonomous Systems and Biomechatronics Laboratory（自主系统与生物机械实验室） ； Department of Mechanical and Engineering（机械与工程系） ； University of Toronto（多伦多大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出ExpressMM框架，结合视觉语言模型和低层策略生成表达性机器人行为，支持中断交互，提升人机协作任务中的沟通效果与社会适应性。

The Invisible Mentor: Inferring User Actions from Screen Recordings to Recommend Better Workflows

隐形导师：从屏幕记录推断用户行为以推荐更好的工作流程

Litao Yan, Andrew Head, Ken Milne, Vu Le, Sumit Gulwani, Chris Parnin, Emerson Murphy-Hill

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出InvisibleMentor系统，通过屏幕记录推断用户行为，推荐更高效的工作流程，优于传统依赖日志或用户提示的助手。

Comments 15 pages, 6 figures

Journal ref Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), 1-17, 2026

LiveVLN: Breaking the Stop-and-Go Loop in Vision-Language Navigation

LiveVLN: 突破视觉语言导航中的停止与前进循环

Xiangchen Wang, Weiye Zhu, Teng Wang, TianTian Geng, Zekai Zhang, Zhiyuan Qi, Jinyu Yang, Feng Zheng

机构 * Southern University of Science and Technology（南方科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Spatialtemporal AI（时空AI） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 LiveVLN通过增强预训练视觉语言导航器，实现更连续的具身导航，减少等待时间并提升动作可用性，实验证明在真实部署中显著提升执行效率。

Comments 8 pages, 4 figures

Proactive Detection of GUI Defects in Multi-Window Scenarios via Multimodal Reasoning

通过多模态推理主动检测多窗口场景中的GUI缺陷

Xinyao Zhang, Rui Wang, Jinhao Cui, Haotian Huang, Wei Xue, Wenhua Hu, Jianwen Xiang, Rui Hao

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 本文提出一种端到端框架，通过主动触发多窗口状态，利用多模态大语言模型检测定位GUI缺陷，实验表明多窗口设置显著增加布局缺陷暴露，方法在应用和细粒度层面均优于基线方法。

RHINO-AR: An Augmented Reality Exhibit for Teaching Mobile Robotics Concepts in Museums

RHINO-AR：一种用于博物馆中教学移动机器人概念的增强现实展览

Nils Dengler, Tim Graf, Leif Van Holland, Patrick Stotko, Reinhard Klein, Maren Bennewitz

机构 * Humanoid Robots Lab, University of Bonn, Germany（波恩大学人形机器人实验室，德国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 RHINO-AR通过将虚拟重建的机器人置于真实博物馆空间，解决了VR展览与现实环境分离的问题，提升了非专业观众对移动机器人导航概念的理解。

Vision-and-Language Navigation for UAVs: Progress, Challenges, and a Research Roadmap

面向无人机的视觉与语言导航：进展、挑战与研究路线图

Hanxuan Chen, Jie Zheng, Siqi Yang, Tianle Zeng, Siwei Feng, Songsheng Cheng, Ruilong Ren, Hanzhong Guo, Shuai Yuan, Xiangyue Wang, Kangli Wang, Ji Pei

机构 * Autel Robotics, Shenzhen, China（大疆创新，深圳，中国） ； School of Intelligent Software and Engineering, Nanjing University, Nanjing, China（南京大学智能软件与工程学院，南京，中国） ； School of Computer, Data & Information Sciences, University of Wisconsin-Madison, Madison, WI, USA（威斯康星大学麦迪逊分校计算机、数据与信息科学学院，麦迪逊，WI，美国） ； Southern University of Science and Technology, Shenzhen, China（南方科技大学，深圳，中国） ； The University of Hong Kong, Hong Kong SAR, China（香港大学，香港特别行政区，中国） ； School of Software and Microelectronics, Peking University, Beijing, China（北京大学软件与微电子学院，北京，中国） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文综述了无人机视觉与语言导航领域，分析了从早期模块化方法到基于大模型的智能系统的发展，探讨了现实部署中的挑战，并提出了未来研究方向。

VULCAN: Vision-Language-Model Enhanced Multi-Agent Cooperative Navigation for Indoor Fire-Disaster Response

VULCAN：基于视觉-语言模型的多智能体协作导航用于室内火灾应急响应

Shengding Liu, Qiben Yan

机构 * Computer Science \& Engineering Michigan State University East Lansing, MI, USA 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出VULCAN框架，结合多模态感知与视觉语言模型，解决火灾环境下多智能体协作导航的挑战，通过模拟真实火灾场景评估现有方法的失效模式，强调鲁棒感知与危险意识规划的重要性。

Comments INFOCOM EIN Workshop 2026

WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents

WebAgentGuard: 一种基于推理的守护模型，用于检测Web代理中的提示注入攻击

Yulin Chen, Tri Cao, Haoran Li, Yue Liu, Yibo Li, Yufei He, Le Minh Khoi, Yangqiu Song, Shuicheng Yan, Bryan Hooi

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出WebAgentGuard，一种基于推理的多模态守护模型，用于检测Web代理中的提示注入攻击。通过构建合成多模态数据集并采用推理密集型监督微调和强化学习，模型在多个基准测试中优于现有方法，同时保持代理的实用性，不引入额外延迟。

Adaptor: Advancing Assistive Teleoperation with Few-Shot Learning and Cross-Operator Generalization

Adaptor：通过少样本学习和跨操作者泛化提升辅助远程操作

Yu Liu, Yihang Yin, Tianlv Huang, Fei Yan, Yuan Xu, Weinan Hong, Wei Han, Yue Cao, Xiangyu Chen, Zipei Fan, Xuan Song

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； IO-AI TECH 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 Adaptor通过少样本学习和跨操作者泛化方法，提升辅助远程操作中意图识别的鲁棒性，实验表明其在真实和模拟基准上表现优异，具备低方差和跨操作者泛化能力。

Comments Accepted to the 2026 IEEE International Conference on Robotics and Automation (ICRA 2026)

UIPress: Bringing Optical Token Compression to UI-to-Code Generation

UIPress：将光学令牌压缩引入UI到代码生成

Dasen Dai, Shuoqi Li, Ronghao Chen, Huacan Wang, Biao Wu, Qizhen Lan

机构 * The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出UIPress，一种轻量级学习压缩模块，通过结合深度可分离卷积、元素引导的空间重加权和Transformer细化，将UI截图的视觉令牌从约6700压缩到256，结合LoRA实现表示差距桥接，提升效率并优于现有方法。

Comments 10 pages, 3 figures

HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models

HiF-VLA：通过运动表示实现视觉-语言-动作模型的回顾、洞察与前瞻性

Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； HKUST(GZ)（香港科技大学（广州）） ； Nanjing University（南京大学） ； Westlake Robotics（西湖机器人） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 HiF-VLA通过运动表示提升视觉-语言-动作模型的时序推理能力，采用回顾、洞察和前瞻性机制，在长时域任务中表现优异，且推理延迟低。

Comments CVPR 2026, Project page: https://hifvla.github.io, Github: https://github.com/OpenHelix-Team/HiF-VLA

Administrative Decentralization in Edge-Cloud Multi-Agent for Mobile Automation

边缘-云多智能体中的行政去中心化

Senyao Li, Zhigang Zuo, Haozhao Wang, Junyu Chen, Zhanbo Jin, Ruixuan LI

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出AdecPilot，通过将行政去中心化原则应用于边缘-云多智能体框架，实现边缘代理的重新定义，提升任务成功率并降低云资源消耗与延迟。

T2T: Captioning Smartphone Activities Using Mobile Traffic

T2T: 利用移动流量进行智能手机活动描述

Jiyu Liu, Yong Huang, Yanzhao Lu, Yun Tie, Wanqing Tu

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出T2T系统，通过加密移动流量生成智能手机活动描述，解决语义鸿沟和文本标注不足问题，实现高可读性文本生成。

Comments Accepted by IEEE International Joint Conference on Neural Networks 2026

CrowdVLA: Embodied Vision-Language-Action Agents for Context-Aware Crowd Simulation

CrowdVLA: 一种用于情境感知人群模拟的具身视觉-语言-动作代理

Juyeong Hwang, Seong-Eun Hong, Jinhyun Kim, JaeYoung Seon, Giljoo Nam, Hanyoung Jang, HyeongYeop Kang

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 CrowdVLA通过引入视觉-语言-动作代理，解决了人群模拟中监督不足、控制不稳定和数据偏差等问题，推动模拟从运动导向转向感知驱动的决策制定。

Don't Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction

不要盲目行动：通过动作-效果验证和自我修正实现鲁棒的GUI自动化

Yuzhe Zhang, Xianwei Xue, Xingyong Wu, Mengke Chen, Chen Liu, Xinran He, Run Shao, Feiran Liu, Huanmin Xu, Qiutong Pan, Haiwei Wang

机构 * Beijing University of Technology（北京工业大学） ； Baidu Inc.（百度公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出VeriGUI框架，通过动作-效果验证和自我修正机制，解决GUI自动化中环境噪声导致的失败问题，提升恢复性能。

Comments ACL 2026 Main Conference

FSUNav: A Cerebrum-Cerebellum Architecture for Fast, Safe, and Universal Zero-Shot Goal-Oriented Navigation

FSUNav: 一种用于快速、安全和通用零样本目标导向导航的脑皮层-小脑架构

Mingao Tan, Yiyang Li, Shanze Wang, Xinming Zhang, Wei Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； College of Information Science and Technology, Eastern Institute of Technology（东方理工学院信息科学与技术学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出FSUNav架构，通过整合视觉语言模型与小脑-脑皮层模块，实现跨异构平台的零样本目标导航，提升效率与安全性。

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

VeriOS: 基于查询的人机GUI交互以实现可信操作系统代理

Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 VeriOS通过引入查询驱动的人机GUI交互框架，提升操作系统代理在不可信环境中的任务完成能力，实验显示其在不可信场景中性能显著提升，同时保持正常场景下的稳定性。

Read More, Think More: Revisiting Observation Reduction for Web Agents

多读多想：重新审视网络代理中的观察缩减

Masafumi Enomoto, Ryoma Obara, Haochen Zhang, Masafumi Oyamada

机构 * NEC Corporation（日本电气股份有限公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文研究网络代理中观察缩减的优化问题，发现模型能力和思考token预算影响观察表示选择，高能力模型适合详细HTML观察，低能力模型适合紧凑的访问树观察，同时引入diff-based表示提升效率。

Semantic Zone-Based Map Management for Stable AI-Integrated Mobile Robots

基于语义区域的映射管理：用于稳定集成AI的移动机器人

Huichang Yun, Seungho Yoo

机构 * Dept. of computer Engineering, Pukyong National University（釜庆大学计算机工程系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出一种基于语义区域的映射管理方法，以在内存限制下稳定使用密集地图。通过将关键帧与语义室内区域关联，该方法减少了关键帧加载和卸载频率，提高了内存使用效率，并在实验中验证了其在内存压力下的稳定性和性能优势。

See Something, Say Something: Context-Criticality-Aware Mobile Robot Communication for Hazard Mitigations

看见即应言：面向灾害缓解的上下文感知移动机器人通信

Bhavya Oza, Devam Shah, Ghanashyama Prabhu, Devika Kodi, Aliasghar Arab

机构 * New York University Tandon School of Engineering（纽约大学坦登工程学院） ； The City College of New York, Grove School of Engineering（纽约市立学院格罗夫工程学院） ； ASAS LABS, Department of Mechanical and Aerospace Engineering, Tandon School of Engineering, New York University（纽约大学坦登工程学院机械与航空航天工程系ASAS实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出一种上下文感知的移动机器人通信框架，通过感知驱动自适应消息生成，提升灾害响应速度和有效性，在60多次实验中验证了结构化关键性评估对响应速度和缓解效果的提升。