人形机器人把球打出去不算难,既保持职业网球动作风格,又在真实硬件上稳定击球更难。上海人工智能实验室、上海交通大学、诺亦腾机器人、越疆机器人等机构提出AdaPT,从转播视频学习发球与回合动作,并把策略部署到宇树G1和1.7米越疆Atom。
系统将动作规划和低层跟踪分开:规划器负责生成有风格的运动,跟踪器负责让机器人执行。为缩小仿真到现实的差距,训练会随机改变执行速度,并让规划器根据实际运动速度调整后续动作。
职业动作与击球成功是两套目标
只优化球拍碰到球,机器人可能采用僵硬但容易控制的姿势;只模仿职业选手,又可能因关节限制、平衡和延迟无法完成击球。AdaPT把风格运动与任务执行分别处理,减少两个目标直接争夺同一控制空间。
规划器读取视觉和运动状态,生成未来人体运动参考;跟踪器把参考转换成关节控制,在动力学约束下保持平衡。高层可以保留发球抛球、转肩、挥拍和随挥的节奏,低层不必重新决定动作意图。
框架将职业动作规划、速度适配和机器人跟踪组合起来。
训练动作来自转播视频,不要求为每段素材配置完整动作捕捉系统。视频恢复仍会带来深度与遮挡误差,因此得到的是可学习参考,而不是可以逐关节原样复制的真值。
真实机器人跟不上时,规划器也要知道
仿真中的机器人通常能精确追踪目标速度,实机电机、通信和接触会让动作变慢。自回归规划器若仍假设上一段动作已经按时完成,会在后续继续推进,误差逐步累积。
AdaPT在跟踪训练中随机化执行速度,让控制器适应快慢变化;同时学习运动速度适配器,把真实执行进度反馈给规划器。规划器因此可以延后或调整下一段动作,避免身体还没转到位就开始挥拍。
项目视频帧展示人形机器人在真实场地执行网球动作。
这种适配针对的是运动速度和跟踪误差,并不能解决所有仿真差距。球的旋转、拍线弹性、地面摩擦和感知延迟仍需真实数据校准。
从宇树G1扩展到1.7米Atom
论文先在宇树G1上进行真实实验,验证适配机制对跟踪鲁棒性的作用。随后,团队将AdaPT部署到1.7米全尺寸越疆Atom,在野外设置中展示不依赖动作捕捉的发球。
论文汇总转播视频参考、仿真规划以及G1和Atom上的执行结果。
跨机器人部署说明分层方法可以迁移到不同尺寸和动力学,但每台机器人仍需相应跟踪策略和参数适配。1.7米是Atom的机身高度,不是机器人完成击球的距离或速度指标。
论文展示发球和回合风格,不等于机器人已能完成整场网球比赛。连续接发需要更大移动范围、快速落点预测、多人安全和长时间硬件稳定性。
应用与下一步:球类运动成为全身控制压力测试
网球把感知、规划和全身跟踪压缩到短时间窗口:机器人要判断来球,移动重心,协调躯干与手臂,还要让球拍在正确时刻通过目标区域。任何一个环节延迟都会放大。
连续帧展示全尺寸Atom的抛球、引拍、挥拍和随挥。
下一步需要报告更多量化实机数据,包括发球入界率、落点误差、球速、连续回合次数和不同光照下的感知稳定性。只有风格视频无法判断任务可靠性。
球类运动也能为通用人形控制提供训练场。速度适配、运动重规划和跨本体跟踪可迁移到搬运、接物和工具使用,但每种应用仍需新的安全边界和成功指标。
若要从单次演示走向稳定训练,还应公开击球失败类型:是视觉没有找到球、规划落点错误、跟踪延迟,还是球拍接触偏差。分层统计才能判断AdaPT需要改高层计划、低层控制还是传感器链路。