MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
MMOE:通过高效专家设计使扩散变压器现代化
机构 * College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院) ; Institute of Artificial Intelligence of China Telecom (TeleAI)(中国电信人工智能研究院)
AI总结 研究AIGC基础模型中扩散变压器未平衡质量与成本问题,提出MMOE对其现代化改造,将多种专家设计应用于AIGC生成,实验表明MMOE能达更好质量成本平衡,使AIGC基础模型可循大语言模型平衡扩展路径。
Comments 13 pages, 5 figures