Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
基于字节前缀边缘化的跨分词器策略内蒸馏
机构 * University of Chinese Academy of Sciences(中国科学院大学) ; KwaiKAT Team(快手KwaiKAT团队) ; Zhejiang University(浙江大学)
AI总结 研究如何通过策略内蒸馏整合不同家族语言模型,提出字节前缀边缘化方法,在共享字节空间重表达教师下一个令牌分布,在数学和编程基准测试中,该方法优于现有跨分词器方法,提升了平均准确率。
Comments Project page: https://bpm-opd.github.io/