Decoupled Contrastive Decoding via Expert-Aligned Drafting
基于专家对齐草稿的解耦对比解码
机构 * Shanghai Jiao Tong University(上海交通大学) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
专题命中 诊断辅助 :diagnosis(abstract)
AI总结 针对对比解码成本高的问题,提出解耦对比解码,采用专家对齐轻量级提案生成器与标准投机验证,实现显著加速并降低MMLU提案路径延迟。
Comments 28 pages, 11 figures, 20 tables. Code: https://github.com/chadlzx/dcd