AdaPLD: Adaptive Retrieval and Reuse for Efficient Model-Free Speculative Decoding
AdaPLD: 自适应检索与重用实现高效无模型推测解码
发表机构 * School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院) ; Department of Mathematical Sciences, Tsinghua University(清华大学数学科学部) ; JDT AI Infra(京东AI基础设施)
AI总结 针对现有基于重用的推测解码方法在词汇匹配失败时召回率低和确定性复制脆弱的问题,提出无需训练的自适应方法AdaPLD,通过语义相似性恢复重用机会并构建分支假设,实现最高3.10倍解码加速。