Accelerating Speculative Decoding with Block Diffusion Draft Trees
通过块扩散草案树加速推测解码
机构 * Department of Computer Science, Technion – Israel Institute of Technology(计算机科学系,技术离子理工学院 – 以色列理工学院) ; Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology(电气与计算机工程系,技术离子理工学院 – 以色列理工学院)
AI总结 DDTree基于块扩散草案模型构建草案树,利用最佳优先堆算法选择最可能匹配目标模型的延续,提升推测解码效率。