VLA / 视觉-语言-动作模型

CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

CaP-X: 用于基准测试和改进机器人操作编码智能体的框架

Letian Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Dantong Niu, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan

机构 * nvidia ； stanford（斯坦福大学） ； cmu（卡内基梅隆大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出CaP-X框架，通过CaP-Gym交互环境和CaP-Bench评估，发现编码智能体依赖人工抽象，但通过扩展测试时计算可提升鲁棒性，并推出无需训练的CaP-Agent0和强化学习CaP-RL。

Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation

面向灵巧机器人操作的人为中心的可迁移触觉预训练

Chi Zhang, Penglin Cai, Ziheng Xi, Haoqi Yuan, Hao Luo, Wanpeng Zhang, Sipeng Zheng, Chaoyi Xu, Zongqing Lu

机构 * Peking University（北京大学） ； BeingBeyond ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 提出H-Tac大规模触觉-动作数据集和可迁移触觉预训练（TTP）系统，通过统一触觉与动作空间弥合人机差距，利用触觉专家预测未来触觉以建模接触动力学，显著提升灵巧操作的泛化与精细控制能力。

Comments The first two authors contribute equally. Orders are decided by flipping a coin

X-Mind: Efficient Visual Chain-of-Thought via Predictive World Model for End-to-End Driving

X-Mind: 通过预测世界模型实现高效视觉思维链的端到端驾驶

Bohao Zhao, Chengrui Wei, Guangfeng Jiang, Ruixin Liu, Xuejie Lv, Liu Liang, Sutao Deng, Xiuyang Fan, Pengkun Zheng, Jinyun Zhou, Rui Guo, Hanpeng Liu, Yutong Zheng, Yi Guo, Xinlong Zheng, Qingyu Luo, Zhuangzhuang Ding, Yu Zhang, Hang Zhang, Xianming Liu

机构 * XPeng Inc.（小鹏汽车） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.CV、cs.AI

AI总结 提出X-Mind框架，将预测世界模型内化为视觉思维链，通过紧凑的草图表示和循环块扩散方案，实现高效、低延迟的端到端驾驶策略。

OpenFrontier: General Navigation with Visual-Language Grounded Frontiers

OpenFrontier: 基于视觉-语言基础的通用导航

Esteban Padilla-Cerdio, Boyang Sun, Marc Pollefeys, Hermann Blum

机构 * ETH Zurich（苏黎世联邦理工学院） ； Microsoft Spatial AI Lab（微软空间人工智能实验室） ； University of Bonn（波恩大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出OpenFrontier框架，通过稀疏子目标识别与到达问题实现高效导航，无需任务特定训练或微调，适用于多种视觉-语言先验模型，展示零样本性能和真实机器人部署效果。

Intend, Reflect, Refine: An Adaptive Multimodal Reflection Framework for Autonomous Driving

意图、反思、优化：一种用于自动驾驶的自适应多模态反思框架

Zisheng Chen, Yuping Qiu, Jianhua Han, Tao Tang, Xiuwei Chen, Likui Zhang, Ying-Cong Chen, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； HKUST(GZ)（香港科技大学（广州）） ； Yinwang Intelligent Technology Co. Ltd.（引望智能科技有限公司） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.CV、cs.AI

AI总结 提出IRR-Drive框架，通过生成初步文本意图并预测未来语义BEV表示，构建双模态反思空间，实现自适应轨迹修正，在NAVSIM基准上达到最优性能。

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

PearlVLA：潜在空间中的渐进式具身动作计划精炼

Bochen Yang, Lianlei Shan

机构 * Imperial College London（帝国理工学院） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出PearlVLA框架，通过在VLM潜在空间中进行迭代计划精炼，平衡动作生成效率与显式推理，在LIBERO基准上达到最先进性能。

Comments 21 pages, 2 figures. Preprint

ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

ROVE: 通过强化学习解锁人类干预用于人形机器人操作

Wei Xiao, Weiliang Tang, Yuying Ge, Hui Zhou, Yao Mu, Li Zhang, Yixiao Ge

机构 * XPENG Robotics（小鹏机器人） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.LG

AI总结 提出ROVE框架，利用强化学习和乐观价值估计，从次优人类干预轨迹中学习高价值行为，提升人形机器人操作性能。

Action with Visual Primitives

基于视觉基元的动作生成

Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yuyang Pang, Wenda Xu, Gao Huang

机构 * Anyverse Dynamics ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出AVP架构，通过视觉语言模型推断下一阶段目标并生成视觉基元令牌，条件化流匹配动作专家，在通用拾放任务中成功率比pi_0.5提升27.61%。

Comments 9 pages, 6 figures. Project page: https://kingdroper.github.io/AVP/

Latent Action Pretraining Through World Modeling

通过世界建模的潜在动作预训练

Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Alexandria University（亚历山大大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 提出LAWM框架，通过世界建模从无标签视频中学习潜在动作表征，实现跨任务、环境和本体的迁移学习，在LIBERO基准和真实场景中优于使用真实动作预训练的方法。

Harness Engineering for Physical AI: Robot Middleware Is the Harness Layer

面向物理AI的驾驭工程：机器人中间件即驾驭层

Sanghoon Lee, Jiyeong Chae, Kyung-Joon Park

机构 * Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆北科学技术院） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出机器人中间件作为物理AI的驾驭层，需同时干预控制、计算和通信，并补充投影、隔离和转移三种缺失的强制功能，以ROS 2驾驭配置文件为例。

Comments 6 pages, 2 figures, 2 tables. Big Ideas track submission to the 27th ACM/IFIP International Middleware Conference (Middleware 2026)

A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

视觉Transformer对抗微调的机制分析

Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.CV、cs.AI

AI总结 通过机制分析研究对抗微调对视觉Transformer在扰动和常规图像上性能的影响，发现微调仅改善特定类型扰动，未改变稀疏表示。

ViVa: A Video-Generative Value Model for Robot Reinforcement Learning

ViVa：用于机器人强化学习的视频生成价值模型

Jindi Lv, Hao Li, Jie Li, Fankun Kong, Yang Wang, Pengfei Yi, Yifei Nie, Xiaofeng Wang, Zheng Zhu, Chaojun Ni, Qiuping Deng, Hengtao Li, Jiancheng Lv, Guan Huang

机构 * GigaAI ； Sichuan University（四川大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 提出ViVa，利用预训练视频生成器联合预测未来本体感受和标量价值，通过时空先验实现可靠价值估计，在三个任务中取得最优结果，与RECAP结合平均成功率达80%。

StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception

StereoPolicy：通过立体视觉改进机器人操作策略

Evans Han, Yunfan Jiang, Yingke Wang, Haoyue Xiao, Huang Huang, Jianwen Xie, Jiajun Wu, Li Fei-Fei, Ruohan Zhang

机构 * Stanford University（斯坦福大学） ； Northwestern University（西北大学） ； Lambda, Inc（Lambda公司） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 该研究提出StereoPolicy，一种利用立体视觉提升机器人操作策略的框架，通过同步立体图像对增强几何推理，无需构建显式3D表示，在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。

Belief-Aware VLM Model for Human-like Reasoning

信念感知的VLM模型用于类人推理

Anshul Nayak, Shahil Shaik, Yue Wang

机构 * Mechanical Engineering Department, Clemson University（克莱姆森大学机械工程系） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision language action(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种信念感知的视觉语言模型框架，通过检索式记忆和强化学习近似信念，提升长时程意图推理能力，在HD-EPIC等数据集上优于零样本基线。

Comments Accepted for publication at the IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026). 6 pages, 3 figures, 1 table

HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

HOIST: 基于模仿和样本高效微调的人形机器人悬挂负载操作优化

Songyang Liu, Shunyu Yao, Dingyuan Huang, Shuai Li

机构 * Department of Civil and Coastal Engineering, University of Florida（土木与海岸工程系，佛罗里达大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.LG

AI总结 提出HOIST方法，结合模仿学习和样本高效的批量强化学习，优化人形机器人操控悬挂负载的放置精度和停止行为。

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

物理AI中的静默故障：自主系统运行时动作授权的文献综述

Barak Or

机构 * STATE16 纠错

专题命中 VLA模型 ：vision-language-action(abstract)；action model(abstract)；embodied foundation model(abstract)；分类 cs.RO、cs.AI

AI总结 本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题，提出了运行时防护栏的分类和评估要求。

Comments 23 pages

RoboBenchMart: Benchmarking Robots in Retail Environment

RoboBenchMart：零售环境中的机器人基准测试

Konstantin Soshin, Alexander Krapukhin, Andrei Spiridonov, Gregorii Bukhtuev, Andrey Kuznetsov, Vlad Shakhuro, Denis Shepelev

机构 * FusionBrain Lab, Robotics Group（融合大脑实验室，机器人组） ； NUST MISIS ； Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract_cn)；分类 cs.RO、cs.AI

AI总结 针对零售环境中的移动操作任务，提出RoboBenchMart开源模拟基准，通过密集杂乱物品和复杂空间配置评估通用视觉-语言-动作模型（VLA），发现现有模型在常见零售任务中仍表现不佳。

RoboWits: Unexpected Challenges for Robotic Creative Problem Solving

RoboWits：机器人创造性问题解决中的意外挑战

Chunru Lin, Hongxin Zhang, Fenghao Yu, Zhehuan Chen, Thomas L. Griffiths, Yejin Choi, David Held, Chuang Gan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Princeton University（普林斯顿大学） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLA模型 ：VLA(summary_cn,abstract_cn)；分类 cs.RO、cs.AI

AI总结 本文提出RoboWits双臂机器人基准，通过多智能体协作的自动化任务生成流水线评估机器人在几何、材料和装配推理中的认知推理、创造性工具使用及鲁棒性，发现预训练VLA在突变任务中表现脆弱。

Comments The first two authors contributed equally

ProgVLA: Progress-Aware Robot Manipulation Skill Learning

ProgVLA：进度感知的机器人操作技能学习

Seungsu Kim, Jinyoung Choi, Seungmin Baek, Jean-Michel Renders

机构 * NAVER LABS（NAVER实验室） ； NAVER LABS Europe（NAVER实验室欧洲） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.LG

AI总结 提出ProgVLA，一种紧凑的视觉-语言-动作模型，通过显式表示任务进度和两阶段Perceiver重采样机制，在有限计算和内存下实现长序列多模态处理，并在多任务操作基准上达到或超越大模型性能。

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation

Uni-LaViRA：面向统一具身导航的语言-视觉-机器人动作翻译

Hongyu Ding, Sizhuo Zhang, Ziming Xu, Jinwen Guo, Hongxiu Liu, Xingzhi Cheng, Zixuan Chen, Haifei Qi, Duo Wang, Hao Xu, Jieqi Shi, Yifan Zhang, Jing Huo, Jian Cheng, Yang Gao, Jiebo Luo

机构 * Nanjing University（南京大学） ； Beihang University（北京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； BMW (Nanjing) Information Technology Co., Ltd.（宝马（南京）信息技术有限公司） ； University of Rochester（罗切斯特大学） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 提出Uni-LaViRA统一智能体架构，通过语言-视觉-机器人动作翻译结构，结合待办列表记忆和二次机会回溯机制，在零训练下实现四类导航任务和四种真实机器人的零样本泛化，性能匹配或超越近期训练式导航基础模型。

Comments Project page: https://xetroubadour.github.io/Uni-LaViRA/

MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction

MVP-LAM：通过跨视角重建学习以动作为中心的潜在动作

Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

机构 * Seoul National University, Seoul, South Korea（首尔国立大学，首尔，韩国） ； Konkuk University, Seoul, South Korea（韩国konkuk大学，首尔，韩国） ； Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京，中国） ； HodooAI Labs, Seoul, South Korea（HodooAI实验室，首尔，韩国） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 提出MVP-LAM模型，利用多视角视频通过跨视角重建目标学习与真实动作高度相关的潜在动作，提升动作预测和下游操作性能。

MAPLE: Latent Multi-Agent Play for End-to-End Autonomous Driving

MAPLE：基于潜在空间的多智能体交互用于端到端自动驾驶

Rajeev Yasarla, Deepti Hegde, Hsin-Pai Cheng, Shizhong Han, Yunxiao Shi, Meysam Sadeghigooghari, Hanno Ackermann, Litian Liu, Pranav Desai, Fatih Porikli, Mohammad Ghavamzadeh, Hong Cai

机构 * Qualcomm AI Research（英矽人工智能研究） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出MAPLE框架，通过在视觉-语言-动作模型的潜在空间中实现反应式多智能体滚动，以解决传统模仿学习框架下闭环设置中模型易碎的问题，通过监督微调和强化学习结合多样性奖励，实现了可扩展且无需外部模拟器的闭环训练，提升了端到端自动驾驶系统的鲁棒性。

Comments 19 pages, 9 figures

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ: 通过自监督动作排名实现离线到在线强化学习

Andrew Choi, Wei Xu

机构 * Horizon Robotics（地平线机器人） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 该研究提出RankQ方法，通过自监督多项排名损失增强时序差分学习，以在大状态-动作空间中更准确地学习批评器，从而在稀疏奖励D4RL基准和基于视觉的机器人学习中实现更高效的离线到在线微调。

FASTER: Rethinking Real-Time Flow VLAs

FASTER：重新思考实时流视频语言动作

Yuxiang Lu, Zhe Liu, Xianzhe Fan, Zhenya Yang, Jinghua Hou, Junyi Li, Kaixin Ding, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； ACE Robotics（ACE机器人） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出FASTER方法，通过引入时间感知调度策略，显著降低实时流视频语言动作系统的反应延迟，提升动态任务中的轨迹生成效率与质量。

Comments Project page: https://innovator-zero.github.io/FASTER

Driving Intents Amplify Planning-Oriented Reinforcement Learning

意图驱动强化学习放大规划导向的强化学习

Hengtong Lu, Victor Shea-Jay Huang, Chengmin Yang, Pengfei Jing, Jifeng Dai, Yan Xie, Benjin Zhu

机构 * Li Auto（力 auto） ； Tsinghua University（清华大学） ； CUHK MMLab（香港大学MMLab） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出DIAL框架，通过两阶段方法解决连续动作策略在偏好对齐中的模式崩溃问题，通过意图引导的采样扩展分布并提升性能。

Comments Project page: https://mind-omni.github.io/

Vision-Based Hand Shadowing for Robotic Manipulation via Inverse Kinematics

基于视觉的手影法用于机器人操作的逆运动学

Hendrik Chiche, Antoine Jamme, Trevor Rigoberto Martinez, Gabriel Gomes

机构 * OMGrab Inc.（OMGrab公司） ； University of California, Berkeley（加州大学伯克利分校） ； Fung Institute for Engineering Leadership（工程领导力基金会） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出了一种基于单目RGB-D相机的逆运动学映射方法，用于将人类手部动作转化为机器人关节指令，通过实验验证了其在结构化和非结构化环境中的有效性。

Comments v2: accepted at IEEE Access (2026); minor revisions per peer review, added WiLoR occlusion-mitigation experiment, error analysis, EMA ablation, and author photos

Language Conditioned Multi-Finger Dexterous Manipulation Enabled by Physical Compliance and Switching of Controllers

通过物理合规性和控制器切换实现语言条件下的多指灵巧操作

Cheng Pan, Kai Junge, Benhui Dai, Qinghua Guan, Josie Hughes

机构 * Embodied AI（具身人工智能） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 本文提出一种结合高层视觉语言动作模型与小型控制模型的切换控制器，通过事件驱动机制实现多指灵巧操作的鲁棒控制，验证了硬件级合规性在提升接触稳定性方面的有效性。

Octopus Protocol: One-Shot Hardware Discovery and Control for AI Agents via Infrastructure-as-Prompts

Octopus Protocol：通过基础设施即提示实现AI代理的一次性硬件发现与控制

Quilee Simeon, Justin M. Wei, Yile Fan

机构 * MIT（麻省理工学院） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.AI

AI总结 Octopus Protocol通过五阶段流程实现硬件发现与控制，利用语言模型API生成MCP协议服务器，使AI代理能自主完成硬件集成与闭环视觉-运动控制。

LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning

LaST-R1：通过自适应物理潜在推理强化机器人操作

Hao Chen, Jiaming Liu, Zhonghao Yan, Nuowei Han, Renrui Zhang, Chenyang Gu, Jialin Gao, Ziyu Guo, Siyuan Qian, Yinxi Wang, Peng Jia, Shanghang Zhang, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室，计算机学院） ； Simplexity Robotics Project（Simplexity机器人项目） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出LaST-R1，一种基于强化学习的后训练框架，通过联合优化潜在推理过程和动作生成，提升机器人在动态环境中的适应性和泛化能力。

TriRelVLA: Triadic Relational Structure for Generalizable Embodied Manipulation

TriRelVLA：三元关系结构用于可迁移的具身操作

Hanyu Zhou, Chuanhao Ma, Gim Hee Lee

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） 纠错

专题命中 VLA模型 ：VLA(abstract,abstract_cn)；vision-language-action(abstract)；分类 cs.RO、cs.CV

AI总结 TriRelVLA通过构建三元关系结构，解决视觉语言动作模型在未见场景和物体上的泛化问题，提升具身操作的迁移能力。