MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models
MM-ShiftKV:用于多模态大语言模型的解码感知预填充阶段键值选择
机构 * Zhejiang University(浙江大学) ; Ant Group(蚂蚁集团) ; The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室) ; Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术产业开发区(滨江)区块链与数据安全研究院)
专题命中 跨模态检索 :multimodal(title,abstract);分类 cs.CL、cs.AI
AI总结 研究多模态大语言模型中KV缓存问题,提出MM-ShiftKV方法,通过构建方差扩展查询代理近似解码时查询行为,基于聚合注意力质量估计KV重要性,在严格缓存预算下性能优于现有方法。
Comments 19 pages, 11 figures