PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
PagedWeight:通过动态质量感知权重量化实现高效的混合专家语言模型服务
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
AI总结 研究KV缓存密集场景下MoE模型权重与缓存的矛盾,提出PagedWeight方法,通过动态量化权重平衡精度与缓存大小,在多个内存敏感场景中改进质量-内存权衡,实现高精度、高内存节省及吞吐量提升。