Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining
打破冻结子空间:用于大语言模型预训练低秩优化的重要性采样
机构 * Rice University(Rice大学) ; University of North Carolina at Charlotte(北卡罗来纳州立大学) ; University of Minnesota Twin Cities(明尼苏达大学双城分校) ; University of California, Los Angeles(加州大学洛杉矶分校) ; Johns Hopkins University(约翰霍普金斯大学)
AI总结 本文提出了一种具有可证明收敛性的低秩优化方法,用于大语言模型预训练,以解决主导子空间在预训练中冻结的问题,并在实验中表现出优越的性能。
Comments NeurIPS 2025