AMD

Shape Mutating Expert Compression:LorExperts and BTExperts

形状变异专家压缩：LorExperts与BTExperts

Inesh Chakrabarti, Sourjya Roy, Bowen Bao, Thiago Crepaldi, Spandan Tiwari, Ashish Sirasao

机构 * Advanced Micro Devices（超威半导体公司） 纠错

AI总结 本文针对混合专家（MoE）语言模型的专家权重压缩问题，提出LorExperts与BTExperts方法，在保留所有专家与原始路由的前提下实现约50%专家压缩，性能优于基线且随专家数量增长优势更显著。