FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill
FAST-Prefill:FPGA加速的长上下文LLM预填充稀疏注意力
专题命中 长上下文与记忆 :LLM(title,abstract);large language model(abstract);language model(abstract)
AI总结 FAST-Prefill是首个基于FPGA的长上下文LLM预填充加速器,通过动态稀疏注意力技术提升计算效率和能效。