Snowflake

AutoSP: Unlocking Long-Context LLM Training Via Compiler-Based Sequence Parallelism

AutoSP：通过编译器基于的序列并行性解锁长上下文LLM训练

Ahan Gupta, Zhihao Wang, Neel Dani, Masahiro Tanaka, Olatunji Ruwase, Minjia Zhang

机构 * SSAIL Lab, University of Illinois Urbana-Champaign（SSAIL实验室，伊利诺伊大学厄巴纳-香槟分校） ； Anyscale ； Snowflake 纠错

AI总结 本文提出AutoSP，一种自动优化长上下文LLM训练的解决方案，通过编译器实现序列并行性和激活检查点优化，提升训练效率。

Comments 13 pages, 9 figures, 1 table