ELMoE-3D: Leveraging Intrinsic Elasticity of MoE for Hybrid-Bonding-Enabled Self-Speculative Decoding in On-Premises Serving
ELMoE-3D: 利用MoE的内在弹性特性实现混合键合赋能的自推测解码
机构 * KAIST(韩国科学技术院) ; Samsung Electronics(三星电子) ; GIST(全南国立大学)
AI总结 本文提出ELMoE-3D框架,结合缓存加速与推测解码,通过弹性自推测解码实现跨批处理大小的整体加速,提升内存效率与能效。