Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs
非老虎机:在推测解码中具有证明无遗憾的草案模型选择
机构 * Rice University(里士大学) ; Amazon Web Services(亚马逊网络服务) ; University of California, San Diego(加州大学圣地亚哥分校)
AI总结 本文提出一种在推测解码中能证明无遗憾的草案模型选择算法,通过评估所有草案模型而非仅选定模型,显著提升性能,适用于多种解码方法,并在多个领域优于现有方法。
Comments ICLR'26