Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization
整体缩放定律用于最优专家混合架构优化
机构 * College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院) ; Hi Lab, Xiaohongshu Inc.(小红书公司Hi实验室) ; Project Numina(项目Numina) ; School of Data Science, Fudan University(复旦大学数据科学学院)
AI总结 本文提出一种框架,通过联合约束三元组和代数约束,优化专家混合架构,实现鲁棒的缩放定律,为大规模计算预算提供完整最优架构。