ODMA: On-Demand Memory Allocation Strategy for LLM Serving on LPDDR-Class Accelerators
ODMA:面向LLM服务的LPDDR类加速器按需内存分配策略
机构 * University of Chinese Academy of Sciences(中国科学院大学) ; Beijing Information Science and Technology University(北京信息科技大学) ; Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 ODMA针对LPDDR类加速器的随机访问带宽限制,提出按需内存分配策略,通过动态调整内存桶边界和安全池提升KV缓存利用率和吞吐量。
Comments 4 pages, 6 figures