视觉大模型 / VLM

Evaluating point-light biological motion in multimodal large language models

Akila Kadambi, Marco Iacoboni, Lisa Aziz-Zadeh, Srini Narayanan

机构 * Psychiatry and Biobehavioral Sciences, UCLA（乌尔拉克大学精神病学与生物行为科学系） ； Brain and Creativity Institute, USC（美国大学脑与创造力研究所） ； Google DeepMind, Zurich（谷歌深度Mind瑞士分公司） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；分类 cs.CV、cs.AI

Fine-Tuning Vision-Language Models for Visual Navigation Assistance

Xiao Li, Bharat Gandhi, Ming Zhan, Mohit Nehra, Zhicheng Zhang, Yuchen Sun, Meijia Song, Naisheng Zhang, Xi Wang

机构 * University of Florida, Gainesville, FL, USA（佛罗里达大学） ； University of Minnesota, Minneapolis, MN, USA（明尼苏达大学） ； New York University, New York, NY, USA（纽约大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title)；分类 cs.CV、cs.AI

SE-VLN: A Self-Evolving Vision-Language Navigation Framework Based on Multimodal Large Language Models

Xiangyu Dong, Haoran Zhao, Jiang Gao, Haozhou Li, Xiaoguang Ma, Yaoming Zhou, Fuhai Chen, Juan Liu

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；分类 cs.CV、cs.AI

UI-Genie: A Self-Improving Approach for Iteratively Boosting MLLM-based Mobile GUI Agents

Han Xiao, Guozhi Wang, Yuxiang Chai, Zimu Lu, Weifeng Lin, Hao He, Lue Fan, Liuyang Bian, Rui Hu, Liang Liu, Shuai Ren, Yafei Wen, Xiaoxin Chen, Aojun Zhou, Hongsheng Li

机构 * CUHK MMLab（香港中文大学MML实验室） ； vivo AI Lab（vivo人工智能实验室） ； CPII under InnoHK（创新科技署下的CPII） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(title)；分类 cs.CV、cs.LG

Comments https://github.com/Euphoria16/UI-Genie

Meta-Explore: Exploratory Hierarchical Vision-and-Language Navigation Using Scene Object Spectrum Grounding

Minyoung Hwang, Jaeyeon Jeong, Minsoo Kim, Yoonseon Oh, Songhwai Oh

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.CV、cs.AI

Comments Accepted by CVPR 2023. Project page: https://rllab-snu.github.io/projects/Meta-Explore/doc.html

Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding

Alexander Ku, Peter Anderson, Roma Patel, Eugene Ie, Jason Baldridge

专题命中 GUI与屏幕智能体 ：grounding(title)；分类 cs.CV、cs.AI

Comments EMNLP 2020

Beyond Screenshots: Evaluating VLMs' Understanding of UI Animations

超越截图：评估VLMs对UI动画的理解

Chen Liang, Xirui Jiang, Naihao Deng, Eytan Adar, Anhong Guo

机构 * University of Michigan（密歇根大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 本文提出AniMINT数据集，评估VLMs对动态UI动画的理解能力，发现其在基础运动检测上可靠，但高阶解释仍不一致，揭示了模型性能的关键瓶颈。

Comments Published in ACL 2026 Findings

EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

EchoVLA：用于VLA驱动移动操作的协同声明记忆

Min Lin, Xiwen Liang, Bingqian Lin, Jingzhi Liu, Zijian Jiao, Kehan Li, Ziang Yan, Yu Sun, Weijia Liufu, Yuhan Ma, Jiarui Hu, Yuecheng Liu, Shen Zhao, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University, Shenzhen, China（中山大学深圳校区） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Huawei Noah's Ark Lab, China（华为诺亚方舟实验室） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 EchoVLA通过协同声明记忆提升移动操作性能，结合场景与事件记忆，利用注意力融合指导基臂策略，实现高效导航与操作。

PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents

PromptShield Home：面向智能家居智能体的环境多模态提示注入防御方案

He Zhang, Feilong Li, Dingning Long, Yilin Cui, Peijun Zhang, Yuewen Zhang, Qianyao Xu, Xinyi Fu

专题命中 GUI与屏幕智能体 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 该研究针对智能家居智能体的提示注入安全问题，构建了现实场景基准测试PromptShield-Home，对比了三类防御层的性能，发现多智能体调解的上限性能最优，提出应采用学习路由与传感器融合方案保障安全。

Comments This work has been accepted as a poster to UbiComp 2026

BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

BridgeVLA++：一种面向三维操作的数据高效、可泛化且内存增强的视觉-语言-动作框架

Peiyan Li, Yuze Zhu, Yixiang Chen, Qisen Ma, Yuan Xu, Jiabing Yang, He Guan, Yan Huang, Hongtao Wu, Xiao Ma, Tao Kong, Liang Wang, Tieniu Tan

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室（NLPR）） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； FiveAges ； ByteDance Seed（字节跳动种子实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本研究提出内存增强的三维VLA框架BridgeVLA++，通过新增时空记忆架构，在保留原模型数据效率与泛化能力的同时，提升了记忆相关操作性能，且在多任务与真实平台上验证了其有效性。

Comments This work has been submitted to the IEEE TPAMI for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

SERUM: State Extraction and Refinement for User Modeling

SERUM：面向用户建模的状态提取与优化

Andy J. Phu, James Mooney, Karin de Langis, Khanh Chi Le, Dongyeop Kang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 SERUM是首个无需人工标注即可从非结构化自我中心屏幕视频生成可解释过程模型的多阶段框架，经61段跨领域视频验证，其优化后的标签在马尔可夫模型预测与人工评估中均表现优异，为用户建模提供了可扩展方案。

Sem-NaVAE: Semantically-Guided Outdoor Mapless Navigation via Generative Trajectory Priors

Sem-NaVAE: 基于语义引导的室外无地图导航通过生成式轨迹先验

Gonzalo Olguín, Javier Ruiz-del-Solar

机构 * Department of Electrical Engineering & the Advanced Mining Technology Center (AMTC), Universidad de Chile（电气工程系及先进采矿技术中心（AMTC）、智利大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；visual language model(abstract)

AI总结 提出Sem-NaVAE方法，结合条件变分自编码器生成多样化轨迹和轻量视觉语言模型进行语义选择，实现室外无地图实时导航，在未见环境中达到90%成功率。

Comments Accepted for publication in IEEE Robotics and Automation Letters (RA-L). 8 pages, 5 figures

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 8, pp. 9335-9342, Aug. 2026

ABot-World-0: Infinite Interactive World Rollout on a Single Desktop GPU

ABot-World-0：在单台桌面GPU上进行无限交互式世界展开

Fan Jiang, Zhaoxu Sun, Mengchao Wang, Ziyu Zhu, Chiyu Wang, Yunpeng Zhang, Wenlin Liu, Yun Wang, Xue Zheng, Rui Sun, Junfeng Ni, Hongyu Pan, Zhongxu Sun, Fei Yu, Zengye Ge, Mengmeng Du, Nianfei Fan, Mingchao Sun, Yu Liu, Yongchang, Yanqing Zhu, Jiahang Wang, Ning Ying, Yuze Xuan, Di Yang, Zhicheng Liu, Zhe Gao, Tingbing Xu, Jiacheng Sui, Wenjin Yang, Junnan Lai, Shufeng Liu, Yuan Liu, Zheng Zhou, Yingliang Peng, Dawei Cao, Kaifeng Sheng, Yuxiang Cai, Fei Lu, Mu Xu, Ning Guo

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 介绍ABot-World-0这一用于实时长视野闭环交互的动作条件视频世界模型，利用多源数据学习世界动态。通过多种技术提炼模型，设计控制界面与部署堆栈，在单台桌面GPU上实现高效视频流传输，实验验证其有竞争力的可控性和世界演变能力。

From Traditional Automation to Embodied Wireless Intelligence: Vision-Language-Action Empowered Physics-Aware Communication Networks

从传统自动化到具身无线智能：视觉-语言-动作赋能的物理感知通信网络

Genze Jiang, Kezhi Wang, Xiaomin Chen, Yizhou Huang

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出具身智能基站（eBS）范式，采用视觉-语言-动作（VLA）流水线，使基站具备环境感知、因果物理推理和物理感知动作生成能力，实现从规则自动化到具身智能的转变。

Comments submitted for possible jounal publication

EmbodiedDiffusion: End-to-End Traversability-Guided Visual Diffusion for Heterogeneous Robot Navigation

EmbodiedDiffusion：用于异构机器人导航的端到端可通行性引导视觉扩散

Iana Zhura, Sausar Karaf, Faryal Batool, Nipun Dhananjaya Weerakkodi Mudalige, Valerii Serpiva, Ali Alridha Abdulkarim, Aleksey Fedoseev, Didar Seyidov, Hajira Amjad, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室，数字工程中心，斯克尔科沃科学与技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对自主导航中视觉可通行性估计问题，EmbodiedDiffusion框架利用无规划器合成监督等，同时预测可通行性地图与生成可行轨迹，经训练提炼语义到轻量级模型，能快速适应新平台，在多机器人室内环境中实现高效导航与轨迹生成。

Comments This work has been submitted for publication and is currently under review

S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving

S平方-VLA：自动驾驶视觉-语言-动作模型中语义与空间流的解耦

Jianguo Yu, Rukang Wang, Duanfeng Chu, Chen Wang, Renju Feng, Liping Lu

机构 * School of Mechanical and Electronic Engineering, Wuhan University of Technology（武汉理工大学机电工程学院） ； Intelligent Transportation Systems Research Center, Wuhan University of Technology（武汉理工大学智能交通系统研究中心） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究针对自动驾驶中视觉语言模型生成低级控制动作的局限，提出S平方-VLA解耦语义和空间流，语义流用于意图推理，空间流保留空间特征并赋予先验，双流规划适配器融合二者，在基准测试中取得新的最先进水平，优于基线。

Joint On-and-Off Policy Learning for Vision-and-Language Navigation

用于视觉与语言导航的联合在线与离线策略学习

Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

机构 * Joy Future Academy（京东探索研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究视觉与语言导航问题，提出JOP-VLN框架，通过三阶段训练流程，协同结合离线策略模仿学习和在线策略探索，采用高熵轨迹采样和纠错优先轨迹排序策略，在相关基准上取得高成功率，创技术新水平。

Comments Accepted by IROS 2026

(A)I Sees What You Don't: Exploiting New Attack Surfaces in Third-Party Mobile Agents

(AI)看见你看不见的：利用第三方移动代理中的新攻击面

Zidong Zhang, Zhentao Xie, Wenrui Diao, Jianliang Wu

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文识别了第三方移动代理在屏幕感知和通道滥用方面的两种新攻击面，并设计了七种具体攻击，证明恶意应用可在无权限下劫持代理行为。

UniLM-Nav: A Unified Framework for Zero-Shot Last-Mile Navigation

UniLM-Nav：零样本最后一英里导航的统一框架

Zhuofan Zhang, Tianxu Wang, Guoxi Zhang, Yixiong Lin, Xilin Wang, Hongming Xu, Qing Li, Song-Chun Zhu, Lifeng Fan

机构 * Tsinghua University（清华大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peking University（北京大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 研究移动操作中最后一英里导航问题，提出UniLM-Nav统一框架，通过多模态大语言模型后端分解任务为视图选择、功能接地和姿态推理，在OVMM基准上优于现有方法，还验证了在实际机器人上的适用性。

Comments Project page: https://unilm-nav.github.io

Towards Reliable Aerial Ground Vehicle Collaboration: An Integrated Planning and Autonomy Framework for Field Deployment

迈向可靠的空地车辆协作：用于实地部署的集成规划与自主框架

Md Safwan Mondal, Luca Russo, James D. Humann, James M. Dotterweich, Pranav Bhounsule

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 研究针对无人机长时间任务飞行续航受限问题，提出集成规划与自主框架。通过深度强化学习规划器解决协同路由问题，引入标准化API弥合规划与执行差距，还有轻量级重新规划器，经实验验证系统在动态任务中有强大协同导航和适应性。

JOIN: Anchor-Grasp-Conditioned Joining via Opposition, Inference, and Navigation for Bimanual Assistive Manipulation

JOIN：通过对抗、推理和导航实现基于锚点抓取条件的双臂辅助操作连接

Drake Moore, Matt Cheng, Xiang Zhi Tan, Taşkın Padır

机构 * Northeastern University（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 提出一种异构按需双臂系统JOIN，通过锚点臂与移动补臂的条件性连接，结合视觉语言模型和几何工具，解决代表性双臂日常生活任务，在实验中成功率更高且需更少人工修正。

Comments Xiang Zhi Tan and Taşkın Padır share equal advising

CRAFT: Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

CRAFT：利用基础模型自主教练强化学习以完成多机器人协调任务

Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

机构 * Department of Mechanical Engineering, University of California Berkeley（机械工程系，加州大学伯克利分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 提出CRAFT框架，利用大语言模型分解任务、生成奖励函数，并通过视觉语言模型优化，实现多机器人协调学习，在四足导航和双臂操作任务中验证有效性。

GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization

GuidedVLA: 通过即插即用的动作注意力特化指定任务相关因素

Xiaosong Jia, Bowen Yang, Zuhao Ge, Xian Nie, Yuchen Zhou, Cunxin Fan, Yufeng Li, Yilin Chai, Chao Jing, Zijian Liang, Qingwen Bu, Haidong Cao, Chao Wu, Qifeng Li, Zhenjie Yang, Chenhe Zhang, Hongyang Li, Zuxuan Wu, Junchi Yan, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI (TEAI)（可信具身人工智能研究院） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室） ； Shanghai Jiao Tong University（上海交通大学） ； OpenDriveLab, The University of Hong Kong（OpenDrive实验室，香港大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)

AI总结 提出GuidedVLA框架，通过为动作解码器中的注意力头分配人工定义的辅助信号（如物体定位、空间几何、时序技能逻辑），显式引导模型关注任务相关因素，提升VLA模型在域内和域外场景的成功率。

Comments Accepted to RSS 2026. Project page: https://guidedvla.github.io/project_page/

ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

ESI-Bench: 迈向闭环感知-动作的具身空间智能

Yining Hong, Jiageng Liu, Han Yin, Manling Li, Leonidas Guibas, Li Fei-Fei, Jiajun Wu, Yejin Choi

机构 * Stanford University（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Northwestern University（西北大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出ESI-BENCH基准，通过主动探索（感知、移动、操作）在OmniGibson环境中评估具身空间智能，发现主动探索显著优于被动方法，失败主因是动作盲视而非感知弱，且模型存在元认知差距。

Comments https://esi-bench.github.io/

Generative Visual Code Mobile World Models

生成式视觉代码移动世界模型

Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

机构 * Trillion Labs（万亿实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 提出通过单一视觉语言模型预测可执行网页代码来生成移动GUI下一状态，结合文本和视觉世界模型优势，实现高保真视觉生成与精确文本渲染。

Comments ICML 2026

A Deployable Embodied Vision-Language Navigation System with Hierarchical Cognition and Context-Aware Exploration

可部署的具身视觉-语言导航系统：具有层次认知和上下文感知探索

Kuan Xu, Ruimeng Liu, Yizhuo Yang, Denan Liang, Tongxing Jin, Shenghai Yuan, Chen Wang, Lihua Xie

机构 * Center for Advanced Robotics Technology Innovation (CARTIN), School of Electrical and Electronic Engineering, Nanyang Technological University（先进机器人技术与创新中心（CARTIN）、电子工程学院、南洋理工大学） ； Spatial AI & Robotics Lab, Department of Computer Science and Engineering（空间人工智能与机器人实验室、计算机科学与工程系） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种可部署的具身视觉-语言导航系统，通过分层认知和上下文感知探索，在真实机器人上实现高效导航与强推理能力。

Comments 10 pages, 5 figures,

Interpreting Context-Aware Human Preferences for Multi-Objective Robot Navigation

解释情境感知的人类偏好以实现多目标机器人导航

Tharun Sethuraman, Subham Agrawal, Nils Dengler, Jorge de Heuvel, Teena Hassan, Maren Bennewitz

机构 * Hochschule Bonn-Rhein-Sieg, Germany（波恩-莱茵-锡格应用科学大学，德国） ； University of Bonn, Germany（波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出一种结合基础模型与多目标强化学习政策的框架，使机器人能理解并应用情境依赖的导航偏好，提升在共享人类环境中的适应性、透明性和可用性。

MolmoAct2: Action Reasoning Models for Real-world Deployment

MolmoAct2：面向现实部署的动作推理模型

Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Amazon（亚马逊公司） ； University of Michigan（密歇根大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 本文提出MolmoAct2，一个完全开放的动作推理模型，通过改进架构和引入新数据集，在五个方面提升性能，展示了在多个基准测试中优于现有模型的成果。

Comments 31 pages, project page: https://allenai.org/blog/molmoact2

World-Env: Leveraging World Model as a Virtual Environment for VLA Post-Training

World-Env: 利用世界模型作为虚拟环境进行VLA后训练

Junjin Xiao, Yandan Yang, Xinyuan Chang, Ronghan Chen, Feng Xiong, Mu Xu, Wei-Shi Zheng, Qing Zhang

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院） ； AMap, Alibaba Group（阿里巴巴集团高德地图） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与先进计算重点实验室） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 针对VLA模型在数据稀缺场景下的性能下降问题，提出World-Env框架，通过虚拟仿真器替代真实环境，提升安全性和效率，实现任务完成检测与持续奖励。

VLA Foundry: A Unified Framework for Training Vision-Language-Action Models

VLA Foundry：一种统一训练视觉-语言-动作模型的框架

Jean Mercat, Sedrick Keh, Kushal Arora, Isabella Huang, Paarth Shah, Haruki Nishimura, Shun Iwase, Katherine Liu

机构 * Toyota Research Institute（丰田研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 VLA Foundry 提供了一个统一的训练框架，整合了大语言模型、视觉语言模型和视觉-语言-动作模型的训练，支持从头训练和预训练模型，并在 LBM Eval 模拟器上评估了闭合回路策略性能。

Comments 32 pages, 16 figures, technical report