Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving
Irminsul:基于MLA的原生位置无关缓存用于代理LLM服务
机构 * Erlangen National High Performance Computing Center(埃朗根国家高性能计算中心)
专题命中 其他Agent :agentic(title,abstract);分类 cs.AI、cs.LG
AI总结 本文提出Irminsul,一种基于MLA的原生位置无关缓存,通过内容哈希键和δ旋转规则提升代理LLM服务性能,实现高达83%的提示词恢复率和63%的预填能量节省。