VLA / 视觉-语言-动作模型

DMuon: Efficient Distributed Muon Training with Near-Adam Overhead

DMuon: 高效分布式Muon训练，开销接近Adam

Vincent Chen, Starrick Liu, Regis Cheng, Dance Yang, Shalfun Li, Ryan Yu, Lucy Liang, Hang Su, Roy Gan, Hao Wang, Qian Wang

机构 * X SQUARE ROBOT TEAM（X SQUARE机器人团队） 纠错

专题命中 机器人基础模型 ：embodied foundation model(abstract)；分类 cs.LG

AI总结 提出DMuon，一种分布式矩阵正交化优化器，通过减少通信和计算开销，使每步延迟接近AdamW，在基础模型和LLM训练中实现1.48-3.01倍端到端加速。