S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation
S2D2:通过免训练自我推测实现扩散LLM的快速解码
机构 * Red Hat AI Innovation(红帽AI创新) ; MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室) ; Iowa State University(爱荷华州立大学) ; Core AI, IBM(IBM核心AI)
专题命中 扩散模型 :diffusion(title,abstract)
AI总结 提出S2D2,一种免训练的自我推测解码框架,通过将块扩散模型在块大小为1时变为自回归模型,实现草稿与验证角色复用,在不增加训练或测试计算下提升解码速度与准确性。
Comments Code is available at https://github.com/phymhan/S2D2