视觉大模型 / VLM

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

VTAM：用于复杂物理交互的视频-触觉-动作模型超越VLAs

Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VTAM通过整合触觉感知提升复杂物理交互的稳定性，其多模态框架在接触密集任务中表现优异，成功率达到90%。

Comments https://plan-lab.github.io/projects/vtam/

CATNAV: Cached Vision-Language Traversability for Efficient Zero-Shot Robot Navigation

CATNAV：基于缓存的视觉-语言可 traversability 用于高效零样本机器人导航

Aditya Potnis, Francisco Affonso, Shreya Gummadi, Naveen Kumar Uppalapati, Girish Chowdhary

机构 * Field Robotics Engineering and Science Hub (FRESH)（田纳西机器人工程与科学中心（FRESH）） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；visual reasoning(abstract)

AI总结 CATNAV通过多模态LLM生成零样本、体态感知的成本图，利用视觉语义缓存机制减少85.7%的在线VLM查询，结合基于VLM的轨迹选择模块，在五项导航任务中实现更高的目标到达率和更少的行为约束违规。

Comments 8 pages, 6 figures

Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos

Ego2Web：一种基于第一人称视频的网络代理基准测试

Shoubin Yu, Lei Shu, Antoine Yang, Yao Fu, Srinivas Sunkara, Maria Wang, Jindong Chen, Mohit Bansal, Boqing Gong

机构 * Google DeepMind（谷歌DeepMind） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 Ego2Web通过结合真实世界第一人称视频与网络任务，解决网络代理在现实物理环境中的感知问题，提出LLM-as-a-Judge评估方法，揭示当前代理在视觉理解和任务规划上的不足。

Comments CVPR 2026. Project page: https://ego2web.github.io/

Describe-Then-Act: Proactive Agent Steering via Distilled Language-Action World Models

描述-然后-行动：通过蒸馏的语言-动作世界模型实现前瞻性智能体导航

Massimiliano Pappa, Luca Romani, Valentino Sacco, Alessio Palma, Stéphane Lathuilière, Fabio Galasso, Xavier Alameda-Pineda, Indro Spinelli

机构 * Sapienza University of Rome, Italy（罗马大学萨皮恩扎） ； Inria, Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI

AI总结 本文提出DILLO模型，通过蒸馏方法实现无需视觉模拟的前瞻性智能体导航，提升任务成功率。

ImmerseGen: Agent-Guided Immersive World Generation with Alpha-Textured Proxies

ImmerseGen：基于代理的沉浸式世界生成与Alpha纹理代理

Jinyan Yuan, Bangbang Yang, Keke Wang, Panwang Pan, Lin Ma, Xuehai Zhang, Xiao Liu, Zhaopeng Cui, Yuewen Ma

机构 * Bytedance（字节跳动） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV

AI总结 ImmerseGen通过轻量级几何代理和合成RGBA纹理实现高效沉浸式VR场景生成，结合地形条件纹理和上下文感知纹理生成多样且视觉一致的世界，提升真实感和渲染效率。

Comments Accepted by IEEE VR 2026 and TVCG Special Issue. Project webpage: https://immersegen.github.io

Task-Aware Positioning for Improvisational Tasks in Mobile Construction Robots via an AI Agent with Multi-LMM Modules

面向即兴任务的移动建筑机器人AI代理的定位任务感知

Seongju Jang, Francis Baek, SangHyun Lee

机构 * University of Michigan（密歇根大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)

AI总结 本文提出一种AI代理，通过多LMM模块实现对自然语言描述的即兴任务的理解与定位，使移动建筑机器人能自主完成非预定义任务。

SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation

SG-VLA：学习空间接地的视觉-语言-动作模型用于移动操作

Ruisen Tu, Arth Shukla, Sohyun Yoo, Xuanlin Li, Junxi Li, Jianwen Xie, Hao Su, Zhuowen Tu

机构 * UC San Diego（南加洲大学） ； Lambda, Inc（Lambda公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出SG-VLA模型，通过辅助任务协同训练和多模态输入增强，提升移动操作中视觉-语言-动作模型的空间感知与表征能力，实现在家庭环境中更高效的物体抓取与操作。