arXivDaily arXiv每日学术速递 周一至周五更新

视觉与机器人

VLA / 视觉-语言-动作模型

视觉-语言-动作模型、机器人基础模型和语言条件机器人控制。

2026-05-20 至 2026-05-20 共收录 14 信号源:cs.RO, cs.CV, cs.AI, cs.LG

1. VLA模型 12 篇

2605.19580 2026-05-20 cs.RO 94%

PAPO-VLA: Planning-Aware Policy Optimization for Vision-Language-Action Models

PAPO-VLA: 为视觉-语言-动作模型进行规划感知的策略优化

Peizheng Guo, Jingyao Wang, Changwen Zheng, Wenwen Qiang

机构 * Institute of Software Chinese Academy of Sciences(软件研究所中国科学院) University of Chinese Academy of Sciences(中国科学院大学)

专题命中 VLA模型 :VLA(title,title_cn);vision-language-action(title,abstract);action model(title);分类 cs.RO

AI总结 本文提出PAPO-VLA,一种针对视觉-语言-动作模型的规划感知策略优化方法,通过识别和优化规划动作以提高VLA策略的可靠性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19524 2026-05-20 cs.RO cs.CV 91%

SafeAlign-VLA: A Negative-Enhanced Safe Alignment Framework for Risk-Aware Autonomous Driving

SafeAlign-VLA: 一种增强负样本的安全对齐框架用于风险感知的自动驾驶

Kefei Tian, Yuansheng Lian, Kai Yang, Xiangdong Chen, Shen Li

机构 * College of Transportation, Tongji University(同济大学交通运输学院) Department of Civil Engineering, Tsinghua University(清华大学土木工程系) School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动系统学院) Department of Civil and Environmental Engineering, National University of Singapore(新加坡国立大学土木与环境工程系)

专题命中 VLA模型 :VLA(title,title_cn);vision-language-action(abstract);分类 cs.RO、cs.CV

AI总结 本文提出SafeAlign-VLA框架,通过整合负样本数据提升自动驾驶系统对安全边界的理解,通过生成安全标签和反事实轨迹,结合两阶段训练策略和基于锚点的群体相对策略优化,提高了自动驾驶的安全性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19282 2026-05-20 cs.LG 91%

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

重新思考Muon超越预训练:VLA和RLVR中的频谱失败及高频修复

Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

机构 * Michigan State University(密歇根州立大学) Cisco(思科) University of Minnesota(明尼苏达大学) IBM Research(IBM研究院)

专题命中 VLA模型 :VLA(title,title_cn);vision-language-action(abstract);分类 cs.LG

AI总结 本文研究了Muon优化器在预训练之外的局限性,提出Pion通过高频NS迭代机制改进VLA和RLVR任务的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19678 2026-05-20 cs.RO 89%

RoVLA: Multi-Consistency Constraints for Robust Vision-Language-Action Models

RoVLA: 多一致性约束用于鲁棒的视觉-语言-动作模型

Jingzhou Luo, Yifan Wen, Yongjie Bai, Xinshuai Song, Yang Liu, Liang Lin

机构 * Sun Yat-sen University(中山大学) Peng Cheng Laboratory(鹏城实验室) Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室) X-Era AI Lab(X-Era AI实验室)

专题命中 VLA模型 :vision-language-action(title,abstract);action model(title);VLA(abstract,abstract_cn);分类 cs.RO

AI总结 本文提出RoVLA框架,通过多一致性约束提升视觉-语言-动作模型的鲁棒性,通过指令语义、轨迹演变和观察扰动三种互补变换增强模型的稳定性和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.00600 2026-05-20 cs.RO cs.AI cs.CV cs.LG 89%

Hybrid Training for Vision-Language-Action Models

视觉-语言-动作模型的混合训练

Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

机构 * Qualcomm AI Research(高通AI研究)

专题命中 VLA模型 :vision-language-action(title,abstract);action model(title,abstract);分类 cs.RO、cs.CV、cs.AI

AI总结 本文提出混合训练框架,旨在使视觉-语言-动作模型在推理时能够根据需要生成思考过程或直接预测动作,从而在保持性能提升的同时提高推理效率。

Comments Published as a conference paper at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19352 2026-05-20 q-bio.NC cs.AI cs.LG 81%

Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay

在自然主义游戏过程中,视觉语言和动作模型的推理与动作表示的脑部对齐

Subba Reddy Oota, Anant Khandelwal, Khushbu Pahwa, Satya Sai Srinath Namburi, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

机构 * Independent(独立) Microsoft Research(微软研究院) AWS AI Labs(AWS人工智能实验室) GE HealthCare(通用电气医疗) IIT Delhi(德里理工学院) IIIT-Hyderabad(海得拉巴理工学院) Microsoft(微软)

专题命中 VLA模型 :action model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文研究了在自然主义游戏过程中,视觉语言模型和大动作模型的推理与动作表示在脑部活动中的对齐情况,发现动作聚焦和推理聚焦的提示影响模型内部表示与fMRI脑活动的对齐程度。

Comments 21 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19986 2026-05-20 cs.RO cs.CV cs.LG 80%

Beyond Binary Success: A Diagnostic Meta-Evaluation Framework for Fine-Grained Manipulation

超越二元成功:一种用于细粒度操控的诊断元评估框架

He-Yang Xu, Pengyuan Zhang, Zongyuan Ge, Xiaoshuai Hao, Serge Belongie, Xin Geng, Yuxin Peng, Xiu-Shen Wei

机构 * Southeast University(东南大学) Monash University(墨尔本大学) Xiaomi EV(小米电动车) University of Copenhagen(哥本哈根大学) Peking University(北京大学)

专题命中 VLA模型 :VLA(abstract,abstract_cn);vision-language-action(abstract);分类 cs.RO、cs.CV、cs.LG

AI总结 本文提出MetaFine框架,通过分解理解、感知和受控行为三个维度,诊断细粒度操控中的能力瓶颈,并通过因果干预识别视觉编码器在保持局部空间结构方面的关键限制,从而提升操控精度。

Comments Project page: https://metafine.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08879 2026-05-20 cs.RO 77%

Preserving Foundational Capabilities in Flow-Matching VLAs through Conservative SFT

通过保守监督微调在流匹配视觉-语言-动作中保持基础能力

Tianyi Zhang, Shaopeng Zhai, Haoran Zhang, Fuxian Huang, Qi Zhang

机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)

专题命中 VLA模型 :VLA(abstract,abstract_cn);vision-language-action(abstract);分类 cs.RO

AI总结 本文提出保守监督微调(ConSFT)方法,旨在通过动态调整学习信号来减少流匹配视觉-语言-动作模型在微调过程中对预训练能力的损害,从而在不依赖先验数据或架构开销的情况下提升模型在目标分布上的适应性和能力保留。

Comments 20 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07993 2026-05-20 cs.RO 77%

HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation

HEX: 人形对齐的专家用于跨躯体全身体操作

Shuanghao Bai, Meng Li, Xinyuan Lv, Jiawei Wang, Xinhua Wang, Fei Liao, Chengkai Hou, Langzhe Gu, Wanqi Zhou, Kun Wu, Ziluo Ding, Zhiyuan Xu, Lei Sun, Shanghang Zhang, Zhengping Che, Jian Tang, Badong Chen

机构 * Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心) Xi’an Jiaotong University(西安交通大学) Nankai University(南开大学) Peking University(北京大学)

专题命中 VLA模型 :VLA(abstract,abstract_cn);vision-language-action(abstract);分类 cs.RO

AI总结 HEX通过引入人形对齐的通用状态表示和混合专家统一本体预测器,实现了对全尺寸双足人形机器人全身体操作的协调控制,展示了在任务成功率和泛化能力上的最新成果。

Comments Project page: https://hex-humanoid.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15975 2026-05-20 cs.AI cs.RO 73%

Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning

在符号世界模型上学习双层策略以实现长周期规划

Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

机构 * Vector Institute(向量研究所) University of Toronto(多伦多大学) LAAS-CNRS(Laas--cnrs) University of Toulouse(图卢兹大学) RWTH Aachen University(亚琛工业大学)

专题命中 VLA模型 :VLA(abstract,abstract_cn);分类 cs.RO、cs.AI

AI总结 本文提出了一种结合低层模仿学习和高层符号抽象的双层策略,用于解决长周期规划问题,通过BISON系统在扩展的MetaWorld基准上验证了其在处理大量物体和长周期任务上的优越性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19658 2026-05-20 astro-ph.GA 67%

The PARADIGM Project II: Characterising Nuclear and Diffuse Radio Components in Local U/LIRGs

PARADIGM 项目 II:本地紫外/近紫外星系中核部和弥散无线电成分的表征

Geferson Lucatelli, Rob Beswick, Javier Moldón, Antxon Alberdi, Miguel Á. Pérez-Torres, Santiago del Palacio, Kelvin Wandia, Susanne Aalto, L. Barcos-Muñoz, D. Williams-Baldwin, J. E. Conway, Cristina Romero-Cañizales, Eskil Varenius, Hans-Rainer Klöckner, Simon T. Garrington, Willem A. Baan, Ylva M. Pihlstrom

专题命中 VLA模型 :VLA(abstract,abstract_cn)

AI总结 研究通过多尺度多频观测方法,表征本地紫外/近紫外星系中核部和弥散无线电成分,发现核部发射贡献总无线电发射约50%,而总弥散发射占总功率约80%,并揭示无线电过剩可能由非热辐射主导,而非增强恒星形成。

Comments Accepted for publication in MNRAS. 23 pages (6 pages appendix), 21 figures, 5 tables. Source code: https://github.com/lucatelli/ph4ser

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18925 2026-05-20 physics.soc-ph 50%

Candidacy and Trigger: A Two-Phase Empirical Model of Hierarchical Collapse

候选与触发:一种分阶段的经验性层级崩溃模型

Kristian Sestak

专题命中 VLA模型 :action model(abstract)

AI总结 本文提出了一种分阶段的经验性模型,用于分析国家层级崩溃现象,通过测试动态ODE模型发现贸易开放度和底层健康状况可以抑制国家内部的不对称性,但时间演变方程在样本外表现不佳,而结合市场、债务和轨迹特征的模型则能有效区分历史崩溃事件与稳定国家,揭示了慢性风险和急性转折点的信号特征,同时排除了内生漂移对崩溃的影响,指出结构性变量识别高风险国家,而崩溃时间由系统外冲击决定。

Comments 30 pages, 7 figures, 15 tables. Companion paper to arXiv:2605.12037 (Sestak 2026, Environmental-Dominance Inequality). All code, data and reproducibility pipeline at https://github.com/dkrse/hierarchical-collapse-candidacy-trigger

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 动作表示与策略 1 篇

2605.08830 2026-05-20 cs.CV cs.AI cs.RO 80%

VECTOR-Drive: Tightly Coupled Vision-Language and Trajectory Expert Routing for End-to-End Autonomous Driving

VECTOR-Drive: 紧密耦合的视觉-语言与轨迹专家路由用于端到端自动驾驶

Rui Zhao, Jianlin Yu, Zhenhai Gao, Jiaqiao Liu, Fei Gao

机构 * College of Automotive Engineering, Jilin University(吉林大学汽车工程学院) The National Key Laboratory of Automotive Chassis Integration and Bionics, Jilin University(吉林大学汽车底盘集成与生物力学国家级重点实验室) ReeFocus AI Technology(ReeFocus人工智能技术)

专题命中 动作表示与策略 :VLA(abstract,abstract_cn);vision-language-action(abstract);分类 cs.RO、cs.CV、cs.AI

AI总结 本文提出VECTOR-DRIVE框架,通过紧密耦合的视觉-语言与轨迹专家路由,解决端到端自动驾驶中视觉语言理解和轨迹预测之间的耦合问题,实现更高的任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 部署与泛化 1 篇

2602.09023 2026-05-20 cs.RO 77%

TwinRL: Digital Twin-Driven Reinforcement Learning for Real-World Robotic Manipulation

TwinRL: 基于数字孪生的强化学习用于真实世界机器人操作

Qinwen Xu, Jiaming Liu, Rui Zhou, Shaojun Shi, Nuowei Han, Zhuoyang Liu, Chenyang Gu, Shuo Gu, Yang Yue, Gao Huang, Wenzhao Zheng, Sirui Han, Peng Jia, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(信息处理国家重点实验室,计算机学院,北京大学) Simplexity Robotics(Simplexity机器人) Tsinghua University(清华大学) Hong Kong University of Science and Technology(香港科技大学)

专题命中 部署与泛化 :VLA(abstract,abstract_cn);vision-language-action(abstract);分类 cs.RO

AI总结 本文提出TwinRL框架,通过数字孪生与真实世界协同训练,提升视觉-语言-动作模型在真实世界中的探索效率和收敛速度,实现高成功率和快速收敛。

详情

展开后加载摘要…

URL PDF HTML 收藏