VLA / 视觉-语言-动作模型

S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresight

S-VAM：通过自蒸馏几何和语义前瞻性构建快捷视频动作模型

Haodong Yan, Zhide Zhong, Jiaguan Zhu, Junjie He, Weilin Yuan, Wenxuan Song, Xin Gong, Yingjie Cai, Guanyi Zhao, Xu Yan, Bingbing Liu, Ying-Cong Chen, Haoang Li

机构 * The Hong Kong University of Science ； Technology (Guangzhou) Huawei Foundation Model Department 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

AI总结 S-VAM通过自蒸馏策略实现单次前向传递生成几何和语义表示，提升动作预测效率，实验证明在复杂环境中优于现有方法。

Information-Theoretic Constraints for Continual Vision-Language-Action Alignment

信息论视角下的持续视觉-语言-动作对齐约束

Libang Zhao, Qixin Zeng, Hongyin Zhang, Donglin Wang

机构 * Westlake University, China（西湖大学） ； University of Southampton, UK（南安普顿大学） 纠错

专题命中 VLA模型 ：vision-language-action(title)；VLA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Info-VLA框架，通过两个互补约束保持跨模态信息结构，解决持续学习中视觉语言动作对齐退化问题，实验表明其在任务保持与适应性上优于现有方法。

FUTURE-VLA: Forecasting Unified Trajectories Under Real-time Execution

FUTURE-VLA：在实时执行下统一轨迹预测

Jingjing Fan, Yushan Liu, Shoujie Li, Botao Ren, Siyuan Li, Xiao-Ping Zhang, Wenbo Ding, Zhidong Deng

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； Shenzhen International Graduation School, Tsinghua University（深圳国际研究生院，清华大学） ； Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学） ； School of Mechanical and Aerospace Engineering, Nanyang Technological University（机械与航空航天工程学院，南洋理工大学） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.RO、cs.AI

AI总结 FUTURE-VLA通过实时执行实现统一轨迹预测，采用双效效率范式提升时空信息密度，实现实时预测与人机交互机制，取得多项任务的高成功率。

Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining

通过联合优化的世界-动作模型扩展离线模型基于的强化学习

Jie Cheng, Ruixi Qiao, Yingwei Ma, Binhua Li, Gang Xiong, Qinghai Miao, Yongbin Li, Yisheng Lv

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

AI总结 JOWA通过联合优化的世界-动作模型扩展离线RL，实现高效泛化和高性能

Comments Accepted by ICLR 2025

DTP: A Simple yet Effective Distracting Token Pruning Framework for Vision-Language Action Models

DTP: 一种简单而有效的干扰令牌修剪框架用于视觉-语言动作模型

Chenyang Li, Jieyuan Liu, Bin Li, Bo Gao, Yilin Yuan, Yangfan He, Yuchen Li, Jingqun Tang

机构 * Australian National University（澳大利亚国立大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Chinese Academy of Sciences（中国科学院） ； Beijing Institute of Graphic Communication（北京印刷学院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Baidu Search（百度搜索） ； Bytedance（字节跳动） 纠错

专题命中 VLA模型 ：action model(title)；VLA(abstract)；分类 cs.RO、cs.CV

AI总结 DTP框架通过动态修剪干扰令牌提升视觉-语言动作模型的任务成功率，适用于多种新型VLA模型。

R-LAM: Reproducibility-Constrained Large Action Models for Scientific Workflow Automation

R-LAM：具有可重复性约束的大型动作模型用于科学工作流自动化

Suriya Sureshkumar

机构 * 1, Department of AI \& Data Science, RMK Engineering College, Chennai, India 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

AI总结 R-LAM通过引入结构化动作模式、确定性执行策略和显式溯源跟踪，提升科学工作流自动化的可重复性和可靠性。

Comments 9 pages, 3 figures, 1 Table, 2 Artifacts

Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction

超越KAN：引入KarSein用于CTR预测中的自适应高阶特征交互建模

Yunxiao Shi, Wujiang Xu, Haimin Zhang, Qiang Wu, Min Xu

机构 * University of Technology Sydney（悉尼技术大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

AI总结 KarSein通过自适应高阶特征交互建模方法，提升CTR预测的准确性和效率，同时保持参数紧凑与解释性。

Comments Under review by TOIS

SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

SENTINEL：一种用于人形机器人全身控制的端到端语言-动作模型

Yuxuan Wang, Haobin Jiang, Shiqing Yao, Ziluo Ding, Zongqing Lu

机构 * Peking University（北京大学） ； BeingBeyond 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.AI

AI总结 SENTINEL是一种端到端语言-动作模型，通过直接映射语言指令和本体感觉输入到低层动作，实现人形机器人全身控制，并支持多模态扩展。

Comments 23 pages, 8 figures, 11 tables

Benchmark on Drug Target Interaction Modeling from a Drug Structure Perspective

Xinnan Zhang, Jialin Wu, Junyi Xie, Tianlong Chen, Kaixiong Zhou

机构 * University of Minnesota（明尼苏达大学） ； University of California San Diego（加州大学圣地亚哥分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

What Do Latent Action Models Actually Learn?

Chuheng Zhang, Tim Pearce, Pushi Zhang, Kaixin Wang, Xiaoyu Chen, Wei Shen, Li Zhao, Jiang Bian

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted by NeurIPS-25

Bi-VLA: Bilateral Control-Based Imitation Learning via Vision-Language Fusion for Action Generation

Masato Kobayashi, Thanpimon Buamanee

机构 * D3 Center, The University of Osaka（大阪大学D3中心） ； Graduate School of Information Science and Technology, The University of Osaka（大阪大学信息科学与技术研究生院） ； Graduate School of Maritime Sciences, Kobe University（兵库大学海运研究生院） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.RO、cs.LG

VLA-Mark: A cross modal watermark for large vision-language alignment model

Shuliang Liu, Qi Zheng, Jesse Jiaxi Xu, Yibo Yan, Junyan Zhang, He Geng, Aiwei Liu, Peijie Jiang, Jia Liu, Yik-Cheung Tam, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Toronto（多伦多大学） ； Ant Group, Alibaba（蚂蚁集团，阿里巴巴） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by the main conference, EMNLP 2025

JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse

Muyao Li, Zihao Wang, Kaichen He, Xiaojian Ma, Yitao Liang

机构 * Peking University（北京大学） ； BIGAI（大疆创新） 纠错

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by ACL 2025

DyWA: Dynamics-adaptive World Action Model for Generalizable Non-prehensile Manipulation

Jiangran Lyu, Ziming Li, Xuesong Shi, Chaoyi Xu, Yizhou Wang, He Wang

机构 * Center on Frontiers of Computing Studies, School of Computer Science, Peking University（前沿计算研究教育部重点实验室，计算机学院，北京大学） ； Galbot ； Inst. for Artificial Intelligence, Peking University（人工智能研究所，北京大学） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.AI

Comments Project Page:https://pku-epic.github.io/DyWA/

Learning Safe Numeric Planning Action Models

Argaman Mordoch, Shahaf S. Shperberg, Roni Stern, Berndan Juba

机构 * Software and Information Systems Engineering, Ben-Gurion University of the Negev（本·古里安大学软件与信息系统工程系） ； Department of Computer Science and Engineering, Washington University（华盛顿大学计算机科学与工程系） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Interpretable Interaction Modeling for Trajectory Prediction via Agent Selection and Physical Coefficient

Shiji Huang, Lei Ye, Min Chen, Wenhai Luo, Dihong Wang, Chenqi Xu, Deyuan Liang

机构 * College of Computer Science and Technology, Zhejiang University of Technology（计算机科学与技术学院，浙江工业大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by International Conference on Intelligent Robots and Systems (IROS 2025)

A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks

Thomas Schmied, Thomas Adler, Vihang Patil, Maximilian Beck, Korbinian Pöppel, Johannes Brandstetter, Günter Klambauer, Razvan Pascanu, Sepp Hochreiter

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback

Thai Hoang, Kung-Hsiang Huang, Shirley Kokane, Jianguo Zhang, Zuxin Liu, Ming Zhu, Jake Grigsby, Tian Lan, Michael S Ryoo, Chien-Sheng Wu, Shelby Heinecke, Huan Wang, Silvio Savarese, Caiming Xiong, Juan Carlos Niebles

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Comments LAM Simulator framework for agentic data generation

Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation

Zhe Dong, Yuzhe Sun, Tianzhu Liu, Wangmeng Zuo, Yanfeng Gu

机构 * School of Electronics and Information Engineering, Harbin Institute of Technology（电子信息工程学院，哈尔滨工业大学） ； Faculty of Computing, Harbin Institute of Technology（计算机学院，哈尔滨工业大学） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室，深圳） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.CV、cs.AI

Enhancing Knowledge Graph Completion with GNN Distillation and Probabilistic Interaction Modeling

Lingzhi Wang, Pengcheng Huang, Haotian Li, Yuliang Wei, Guodong Xin, Rui Zhang, Donglin Zhang, Zhenzhou Ji, Wei Wang

机构 * Shandong Key Laboratory of Industrial Network Security（山东工业网络安全重点实验室） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Unified Video Action Model

Shuang Li, Yihuai Gao, Dorsa Sadigh, Shuran Song

机构 * Stanford University（斯坦福大学） 纠错

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

Comments Project website: https://unified-video-action-model.github.io/

RaceVLA: VLA-based Racing Drone Navigation with Human-like Behaviour

Valerii Serpiva, Artem Lykov, Artyom Myshlyaev, Muhammad Haris Khan, Ali Alridha Abdulkarim, Oleg Sautenkov, Dzmitry Tsetserukou

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.RO、cs.AI

Comments 6 pages, 6 figures. Submitted to IROS 2025

Humanoid-VLA: Towards Universal Humanoid Control with Visual Integration

Pengxiang Ding, Jianfei Ma, Xinyang Tong, Binghong Zou, Xinxin Luo, Yiguo Fan, Ting Wang, Hongchao Lu, Panzhong Mo, Jinxin Liu, Yuefan Wang, Huaicheng Zhou, Wenshuo Feng, Jiacheng Liu, Siteng Huang, Donglin Wang

专题命中 VLA模型 ：VLA(title,abstract)；分类 cs.RO、cs.CV

Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation

Guokang Wang, Hang Li, Shuyuan Zhang, Di Guo, Yanhong Liu, Huaping Liu

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.CV

Transforming Multimodal Models into Action Models for Radiotherapy

Matteo Ferrante, Alessandra Carosi, Rolando Maria D Angelillo, Nicola Toschi

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Contrastive Learning to Fine-Tune Feature Extraction Models for the Visual Cortex

Alex Mulrooney, Austin J. Brockmeier

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.CV、cs.LG

xLAM: A Family of Large Action Models to Empower AI Agent Systems

Jianguo Zhang, Tian Lan, Ming Zhu, Zuxin Liu, Thai Hoang, Shirley Kokane, Weiran Yao, Juntao Tan, Akshara Prabhakar, Haolin Chen, Zhiwei Liu, Yihao Feng, Tulika Awalgaonkar, Rithesh Murthy, Eric Hu, Zeyuan Chen, Ran Xu, Juan Carlos Niebles, Shelby Heinecke, Huan Wang, Silvio Savarese, Caiming Xiong

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Comments Technical report for the Salesforce xLAM model series

Vamos: Versatile Action Models for Video Understanding

Shijie Wang, Qi Zhao, Minh Quan Do, Nakul Agarwal, Kwonjoon Lee, Chen Sun

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to ECCV 2024 (European Conference on Computer Vision). Code and models are released at https://brown-palm.github.io/Vamos/

Multi-level Interaction Modeling for Protein Mutational Effect Prediction

Yuanle Mo, Xin Hong, Bowen Gao, Yinjun Jia, Yanyan Lan

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.AI、cs.LG

Transforming a Quadruped into a Guide Robot for the Visually Impaired: Formalizing Wayfinding, Interaction Modeling, and Safety Mechanism

J. Taery Kim, Wenhao Yu, Yash Kothari, Jie Tan, Greg Turk, Sehoon Ha

专题命中 VLA模型 ：action model(title,abstract)；分类 cs.RO、cs.AI

Comments 16 pages, 8 figures

Journal ref Proceedings of The 7th Conference on Robot Learning, PMLR 229:2288-2303, 2023