Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation
Pion:通过正交等价变换实现的谱保持优化器
机构 * The Chinese University of Hong Kong(香港中文大学) ; Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ; Westlake University(西交利物浦大学)
AI总结 Pion通过正交等价变换实现谱保持优化,不同于Adam等加法优化器,其通过左右正交变换更新权重矩阵,保持奇异值不变,从而在保持谱范数的同时调节权重矩阵几何结构,实验表明其在LLM预训练和微调中具有稳定且竞争力的性能。
Comments Technical report v1 (30 pages, 19 figures, project page: https://spherelab.ai/pion/)