机器人 / 具身智能

GesVLA: Gesture-Aware Vision-Language-Action Model Embedded Representations

GesVLA: 一种具有手势感知能力的视觉-语言-动作模型嵌入表示

Wenxuan Guo, Ziyuan Li, Meng Zhang, Yichen Liu, Yimeng Dong, Chuxi Xu, Yunfei Wei, Ze Chen, Erjin Zhou, Jianjiang Feng

机构 * Tsinghua University（清华大学） ； Dexmal 纠错

专题命中 机器人基础模型 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV

AI总结 本文提出GesVLA模型，通过引入手势作为平行指令模态，解决现有VLA系统在复杂场景中空间模糊问题，采用双VLM架构实现手势表示与动作策略的紧密耦合，并通过手势数据生成管道和两阶段训练策略提升目标定位准确性和人机交互效率。

Comments Project page: https://gwxuan.github.io/GesVLA/

Pre-VLA: Preemptive Runtime Verification for Reliable Vision-Language-Action and World-Model Rollouts

Pre-VLA: 预防性运行时验证用于可靠视觉-语言-动作和世界模型展开

Zhen Sun, Yongjian Guo, Haoran Sun, Luqiao Wang, Wei Lu, Jiachi Ji, Shengzhe Ji, Junwu Xiong, Zhijun Meng

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； JDT AI Infra ； Zhejiang University（浙江大学） 纠错

专题命中 机器人基础模型 ：world model(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 本文提出Pre-VLA，一种统一的运行时验证架构，用于在物理执行或世界模型想象之前评估动作的有效性，以提高视觉-语言-动作和世界模型展开的可靠性。

How can reasoning capability empower the AI copilot robot in endoscopic surgery

推理能力如何赋能内窥手术中的AI助手机器人

Guankun Wang, Long Bai, Hongliang Ren

机构 * Department of Electronic Engineering（电子工程系） 纠错

专题命中 机器人基础模型 ：robotic(abstract)；分类 cs.RO

AI总结 本文研究了推理能力在内窥手术中AI助手机器人中的应用，提出通过整合多模态线索、解读手术意图和推断隐藏组织动态来提高手术的精确性、安全性和可持续性。

Comments Accepted by npj digital medicine