AMD

Beyond the Target: From Imitation to Collaboration in Speculative Decoding

超越目标：从模仿到协作的推测解码

Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微设备公司） ； The University of Hong Kong（香港大学） ； University of North Texas（北卡罗来纳州立大学） 纠错

AI总结 提出协作推测解码（CoSpec），通过强化学习训练仲裁策略，在推测解码中灵活选择接受草稿或目标模型的令牌，在保持加速的同时超越仅使用目标模型的性能。

Comments under review