University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

On the Convergence Analysis of Muon

关于Muon的收敛性分析

Wei Shen, Ruichuan Huang, Minhui Huang, Cong Shen, Jiawei Zhang

机构 * University of Virginia（弗吉尼亚大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Meta ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 本文分析了Muon优化器的收敛性，对比了其与梯度下降法的性能，揭示了Muon在低秩Hessian结构下的优势。