PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding
PRESTO:用于扩散推测解码的前缀对齐树草稿生成
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Georgia Institute of Technology(佐治亚理工学院) ; NVIDIA(英伟达)
专题命中 扩散模型 :diffusion(title,abstract)
AI总结 研究针对扩散大语言模型用于推测解码时现有方法的局限,提出PRESTO框架,通过前缀对齐评分和基于优先级的树搜索,解决扩散草稿与前缀验证不匹配问题,在多种基准测试中显著提升了端到端吞吐量。