Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression
最后但同样重要:用于多模态KV缓存压缩的边界注意力校准
机构 * KAIST(韩国科学技术院) ; Zhejiang Laboratory(之江实验室) ; The Chinese University of Hong Kong(香港中文大学) ; National University of Singapore(新加坡国立大学)
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题,提出BACON方法,通过校准观察窗口注意力与最后查询注意力,并利用层内一致性和层间持久性抑制噪声,在激进压缩下平均提升7.5%性能。