Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
将TIDE转向:用于扩散大语言模型的跨架构蒸馏
机构 * Peking University(北京大学) ; Zhejiang University(浙江大学)
AI总结 本文提出TIDE框架,通过跨架构蒸馏提升扩散大语言模型性能,采用三个模块解决不同架构间的知识转移问题,在八个基准测试中平均提升1.53分,尤其在代码生成任务中表现突出。
Comments 15 pages, 3 figures. Code: https://github.com/PKU-YuanGroup/TIDE