Princeton University（普林斯顿大学）

Dion3: Full-Stack Orthogonal Updates

Dion3：全栈正交更新

Noah Amsel, Jack Zhang, Kwangjun Ahn, Ali Naeimi, Austin Feng, Berlin Chen, Tri Dao, John Langford

机构 * Microsoft Research（微软研究院） ； New York University（纽约大学） ； Princeton University（普林斯顿大学） ； NVIDIA（英伟达） ； Yale University（耶鲁大学） 纠错

AI总结 Dion3是针对Muon优化器开销的改进版本，通过全栈优化降低了正交化、通信等开销，步长时间最多降6倍，可作为Muon的即插即用替代方案。

Comments 37 pages, 23 figures