SambaNova Systems

SnapStream: Efficient Long Sequence Decoding on Dataflow Accelerators

SnapStream: 在数据流加速器上高效处理长序列解码

Jonathan Li, Nasim Farahini, Evgenii Iuliugin, Magnus Vesterlund, Christian Häggström, Guangtao Wang, Shubhangi Upasani, Ayush Sachdeva, Rui Li, Faline Fu, Chen Wu, Ayesha Siddiqua, John Long, Tuowen Zhao, Matheen Musaddiq, Håkan Zeffer, Yun Du, Mingran Wang, Qinghua Li, Bo Li, Urmish Thakker, Raghu Prabhakar

机构 * SambaNova Systems, Inc.（SambaNova系统公司） ； Microsoft AI（微软人工智能） ； Meta Platforms, Inc.（Meta平台公司） 纠错

AI总结 本文探讨了在数据流加速器上实现长序列解码的效率与准确性，提出SnapStream方法，通过压缩KV缓存提升芯片内存利用率，减少精度损失。