Meituan（美团）

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention

SparseBalance: 基于动态稀疏注意力的负载平衡长上下文训练

Hongtao Xu, Jianchao Tan, Yuxuan Hu, Pengju Lu, Hongyu Wang, Pingwei Sun, Yerui Sun, Yuchen Xie, Xunliang Cai, Mingzhen Li, Weile Jia

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

AI总结 本文提出SparseBalance算法系统协同设计框架，通过动态稀疏调整和稀疏感知批处理策略，解决长上下文训练中的负载不平衡问题，提升模型精度与系统效率。