PiKV: KV Cache Management System for Mixture of Experts
PiKV: 一种用于混合专家架构的键值缓存管理系统
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; Yale University(耶鲁大学) ; Columbia University(哥伦比亚大学) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
AI总结 本文提出PiKV,一种专为混合专家架构设计的并行分布式键值缓存服务框架,通过专家分片缓存、PiKV路由和PiKV调度来减少缓存访问开销,并通过压缩模块降低内存使用。
Comments Github Link: https://github.com/NoakLiu/PiKV