MEPIC: Memory Efficient Position Independent Caching for LLM Serving
MEPIC:内存高效的无位置依赖缓存用于大语言模型服务
机构 * Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司) ; Huawei Technologies Co., Ltd.(华为技术有限公司)
专题命中 软件智能体 :coding agent(abstract);分类 cs.LG
AI总结 MEPIC通过内存高效的无位置依赖缓存技术,实现跨请求和批次的片段KV重用,显著减少HBM使用量,提升大语言模型服务性能。