When Drafts Evolve: Speculative Decoding Meets Online Learning
当草稿进化:推测解码与在线学习的交汇
机构 * National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室) ; School of Artificial Intelligence, Nanjing University(南京大学人工智能学院) ; University of California, San Diego(加州大学圣地亚哥分校)
AI总结 本文提出OnlineSpec框架,利用交互反馈持续进化草稿模型,通过动态遗憾最小化建立在线学习性能与推测系统加速率的联系,实现24%的加速提升。
Comments ICML 2026