Dion3: Full-Stack Orthogonal Updates
Dion3:全栈正交更新
机构 * Microsoft Research(微软研究院) ; New York University(纽约大学) ; Princeton University(普林斯顿大学) ; NVIDIA(英伟达) ; Yale University(耶鲁大学)
AI总结 Dion3是针对Muon优化器开销的改进版本,通过全栈优化降低了正交化、通信等开销,步长时间最多降6倍,可作为Muon的即插即用替代方案。
Comments 37 pages, 23 figures