FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving
FlashDiff:用于扩散模型服务的高效区域执行与调度
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Vanderbilt University(范德比大学) ; HKUST(香港科技大学) ; NVIDIA(英伟达) ; Texas A&M University(德克萨斯农工大学)
AI总结 研究针对扩散模型服务效率低的问题,提出FlashDiff系统,通过自适应区域执行和调度,利用扩散细化特性及三种机制,有效降低端到端服务延迟,提高吞吐量。