Reparameterized LLM Training via Orthogonal Equivalence Transformation
通过正交等价变换重新参数化LLM训练
机构 * Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ; The Chinese University of Hong Kong(香港中文大学)
AI总结 POET通过正交等价变换重新参数化神经元,提升LLM训练的稳定性与泛化能力,并验证了其在大规模神经网络训练中的有效性。
Comments NeurIPS 2025 (40 pages, 26 figures, project page: https://spherelab.ai/poet/, v4: added experiments of finetuning and larger-scale pretraining)