JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting
JetFlow: 通过并行树草稿突破推测解码的缩放上限
机构 * UC San Diego(加州大学圣地亚哥分校) ; Zhejiang University(浙江大学) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; Nanjing University(南京大学) ; StepFun(阶跃星辰)
AI总结 提出JetFlow框架,通过因果并行草稿头结合树推测解码,将更大草稿预算转化为更长接受前缀和更高端到端加速,在Qwen3模型上实现最高9.64倍加速。