FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration
FlexDraft: 通过注意力调节和奖励引导校准实现灵活的推测解码
机构 * EPIC Lab, SJTU(上海交通大学EPIC实验室) ; UESTC ; School of Software Engineering, HUST(华中科技大学软件工程学院) ; Tsinghua University(清华大学) ; HKUST(GZ)(香港科技大学(广州)) ; Shanghai AI Laboratory(上海人工智能实验室)
AI总结 本文提出FlexDraft框架,通过注意力调节和奖励引导校准,灵活适应不同批处理大小,解决传统并行推测解码在大批次时的吞吐量下降问题。