HexiSeq: Accommodating Long Context Training of LLMs over Heterogeneous Hardware
HexiSeq: 适配长上下文训练的LLM异构硬件支持
专题命中 长上下文与记忆 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract)
AI总结 HexiSeq通过异构GPU集群的计算、内存和通信能力分配,实现非对称CP-HP分区,提升长上下文LLM训练吞吐量,实验显示在混合H100-A100和模拟集群中性能提升达1.11至1.72倍。