LongCat Sparse Attention: Taming the Lightning via Streaming-aware Hierarchical Cross-Layer Indexing
LongCat 稀疏注意力:通过流感知分层跨层索引驯服闪电(Lightning)
机构 * Meituan(美团) ; LongCat Team(LongCat团队)
AI总结 该研究提出软硬件协同设计的 LongCat 稀疏注意力框架,通过三种索引策略解决 DeepSeek 稀疏注意力的系统瓶颈,在多模型上实现与全注意力相当的性能,支撑 LongCat-2.0 开发并开源相关模型。