AMD

Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

无需训练的宽松推测解码：在精确匹配之外接受语义正确的草稿

Jinze Li, Yixing Xu, Guanchen Li, Shuo Yang, Jinfeng Xu, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微器件公司） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系） 纠错

AI总结 本文提出无需训练的宽松推测解码方法FLy，通过利用目标模型的自我纠正行为来判断草稿-目标不匹配是否仍具有语义有效性，从而在保持高精度的同时提升解码效率。

Comments Published as a conference paper at ICLR 2026