OctoPipe: Reducing Pipeline Bubbles for Heterogeneous Models via Co-Optimizing Partitioning, Placement, and Scheduling
OctoPipe:通过共同优化分区、放置和调度减少异构模型的流水线气泡
机构 * FDU & Shanghai AI Laboratory(复旦大学及上海人工智能实验室) ; HKUST(香港科技大学) ; Unaffiliated(无隶属机构) ; Tsinghua University(清华大学) ; CUHK & SenseTime Research(香港大学及SenseTime研究院)
AI总结 研究针对模型架构异构性加剧流水线气泡降低训练效率的问题,提出OctoPipe系统,通过构建模拟器、开发调谐器、实现执行器共同优化分区、放置和调度,提升了吞吐量。
Comments 14 pages, 12 Figures; Accepted by SC'26;