ObjectCache: Layerwise Object-Storage Retrieval for KV Cache Reuse
ObjectCache: 用于KV缓存重用的分层对象存储检索
机构 * ETH Zurich（苏黎世联邦理工学院） ； HPE Labs（惠普实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
AI总结 提出ObjectCache系统，利用S3兼容对象存储存储KV缓存，通过协同设计存储协议和传输调度，在GPU消费顺序下交付数据，重叠数据传输与计算，从而在不增加集群成本的前提下最小化TTFT延迟。
