VLA / 视觉-语言-动作模型

Teaching Vision-Language-Action Models What to See and Where to Look

教视觉-语言-动作模型看什么和看哪里

Yuguang Yang, Canyu Chen, Zhewen Tan, Yizhi Wang, Zichao Feng, Chunyang Liu, Kehua Sheng, Juan Zhang, Linlin Yang, Baochang Zhang, Yan Wang, Bo Zhang, Xianbin Cao

机构 * School of Electronic Information Engineering, Beihang University（北京航空航天大学电子信息工程学院） ； National College for Excellent Engineers, Beihang University（北京航空航天大学卓越工程师学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； DiDi（滴滴出行） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Cyber Science and Technology, Beihang University（北京航空航天大学网络安全科学与技术学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title)；分类 cs.CV

AI总结 提出DriveTeach-VLA框架，通过驾驶感知视觉蒸馏和2D轨迹引导提示，教VLA模型关注驾驶相关区域，实现端到端自动驾驶轨迹预测，在NAVSIM和nuScenes上达到最优性能。

Comments The paper has been accepted by ECCV 2026

Neuro-Symbolic Safety Guidance for Vision-Language-Action Models via Constrained Flow Matching

基于约束流匹配的视觉-语言-动作模型神经符号安全引导

William English, Hao Zheng, Rickard Ewetz

机构 * UCF. EDU（UCF教育机构） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract)；vision-language-action(title,abstract)；action model(title)；分类 cs.RO

AI总结 针对VLA模型缺乏有效安全措施的问题，提出神经符号安全引导机制，通过约束流匹配在去噪过程中修正轨迹，实现预测性避碰，在SafeLIBERO上显著提升安全性和任务成功率。

The Moving Eye: Enhancing VLA Spatial Generalization via Hybrid Dynamic Data Collection

移动之眼：通过混合动态数据收集增强VLA空间泛化能力

Jincheng Tang, Yilong Zhu, Zhengyuan Xie, Jiang-Jiang Liu, Jiaxing Zhang

机构 * Lion Rock AI Lab, China Merchants Research Institute of Advanced Technology（狮岩人工智能实验室，中国商人先进科技研究院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Nankai University（南开大学） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 针对VLA模型空间泛化脆弱性问题，提出混合动态数据策略，结合连续相机运动与多样静态视角，减少虚假相关性，提升对未见相机位姿和物体配置的泛化能力。

Comments IROS 2026

VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon

VLA-Corrector：面向自适应动作视界的轻量级检测与校正推理

Yi Pan, Miao Pan, Qi Lu, Jiaming Huang, Man Zhang, Siteng Huang, Xin Li, Jie Zhang, Yongliang Shen, Xuhong Zhang, Wenqi Zhang

机构 * OmniAI Group of ZJU ACES Lab（浙江大学ACES实验室OmniAI组） ； Zhejiang University（浙江大学） ； Alibaba DAMO Academy（阿里巴巴达摩院） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(abstract)；分类 cs.RO

AI总结 提出VLA-Corrector，一种轻量级校正推理框架，通过潜在空间视觉监控和在线梯度引导，实现事件触发的自适应动作视界，在不修改骨干策略权重的情况下，中断复合错误并提升鲁棒性。

Comments 22 pages, 14 figures

Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos

运动聚焦的潜在动作使跨实体VLA训练能从人类自我中心视频中学习

Runze Xu, Yiluo Zhang, Jian Wang, Yu Wang, Jincheng Yu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Tianfu Jiangxi Laboratory（天府江西实验室） 纠错

专题命中 VLA模型 ：VLA(title,title_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 提出基于潜在动作的框架，利用混合解耦VQ-VAE从无标签人类视频中提取通用动作先验，通过意图-感知解耦策略减少动作幻觉，仅需50条轨迹即可适配下游任务。

Comments Accepted by IROS 2026

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

先学移动再学做事：面向VLA的任务无关预训练

Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLA模型 ：VLA(title_cn,summary_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出任务无关预训练（TAP）框架，先通过自监督逆动力学从廉价无标签交互数据学习可迁移运动先验，再用少量专家数据将先验与语言对齐，显著降低VLA模型对专家演示的依赖。

Comments Accepted to ICML 2026, 21 pages,6 figures

VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation

VT-WAM: 面向密集接触操作的视觉-触觉世界动作模型

Shuai Tian, Yupeng Zheng, Yuhang Zheng, Songen Gu, Yujie Zang, Yuxing Qin, Weize Li, Haoran Li, Wenchao Ding, Dongbin Zhao

机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； TARS Robotics ； National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO

AI总结 提出VT-WAM，在统一流匹配框架中联合学习视觉预测、触觉变形预测和动作预测，通过非对称混合Transformer注意力和接触门控注意力引导，在六项真实密集接触操作任务中平均成功率71.67%。

PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation

PhysMani：基于物理原理的动态物体操作3D世界模型

Peng Yun, Shouwang Huang, Hao Li, Jinxi Li, Jianan Wang, Bo Yang

机构 * vLAR Group, The Hong Kong Polytechnic University（香港理工大学vLAR Group） ； Astribot 纠错

专题命中 VLA模型 ：action model(abstract)；分类 cs.RO、cs.CV、cs.AI

AI总结 提出PhysMani框架，结合物理原理的3D高斯世界模型与未来感知动作策略模型，通过在线优化学习无散度高斯速度场预测动态，在16个任务基准上超越基线方法。

Comments ECCV 2026. Code and data are available at: https://github.com/vLAR-group/PhysMani

LIME: Learning Intent-aware Camera Motion from Egocentric Video

LIME: 从自我中心视频学习意图感知的相机运动

Boyang Sun, Jiajie Li, Yung-Hsu Yang, Chenyangguang Zhang, Tim Engelbracht, Sunghwan Hong, Cesar Cadena, Marc Pollefeys, Hermann Blum

机构 * ETH Zurich（苏黎世联邦理工学院） ； Microsoft（微软） ； University of Bonn（波恩大学） 纠错

专题命中 VLA模型 ：vision-language-action(abstract)；分类 cs.RO、cs.CV、cs.LG

AI总结 提出LIME模型，从自我中心视频中挖掘多意图相机运动监督，结合自回归观察增益输出与连续流匹配位姿头，实现语言条件相机运动生成。

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

InterCMDM：用于自回归人体交互生成的块因果扩散

Qing Yu, Kent Fujiwara

机构 * LY Corporation（LY公司） 纠错

专题命中 VLA模型 ：action model(abstract)；分类 cs.CV

AI总结 提出InterCMDM块因果潜扩散框架，通过双流因果扩散Transformer和多重任务注意力掩码实现自回归双人交互生成，解决因果性缺失和时间漂移问题，在InterHuman和InterX上达到最优性能。

Comments Accepted to ECCV 2026, Project website: https://yu1ut.com/InterCMDM-HP/

CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

CoFL-S: 用于局部语言条件导航的空间可查询扇区流场

Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

机构 * Dragon Lab, Department of Mechanical Engineering, The University of Tokyo（龙实验室，机械工程系，东京大学） 纠错

专题命中 语言条件控制 ：vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出CoFL-S，一种低层级视觉-语言-动作框架，通过预测机器人局部可见扇区上的语言条件流场并滚动生成连续轨迹，在连续时间Habitat基准测试中优于动作令牌和动作块基线，并实现零样本真实世界部署。

Comments 27 pages, 13 figures

Bridge-WA: Predicting Where and How the World Changes for Robotic Action

Bridge-WA: 预测世界变化的位置和方式以支持机器人动作

Yongjie Bai, Hanting Wang, Mingtong Dai, Qijun Zhong, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Pengcheng Laboratory（鹏城实验室） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； X-Era AI Lab（X-Era AI实验室） 纠错

专题命中 部署与泛化 ：vision-language-action(abstract)；action model(abstract)；分类 cs.RO

AI总结 提出Bridge-WA轻量框架，通过蒸馏未来变化教师模型为三个紧凑先验，引导动作生成聚焦于场景变化的位置和方式，提升机器人操作的成功率和鲁棒性。

Comments 21 pages, 8 figures, https://hcplab-sysu.github.io/BRIDGE-WA