HeatKV: Head-tuned KV-cache Compression for Visual Autoregressive Modeling
HeatKV:针对视觉自回归建模的头部调制KV缓存压缩
机构 * Dept. of Automatic Control, Lund University(自动控制系,吕勒欧大学) ; Arm(Arm公司)
专题命中 其他图像生成 :image generation(abstract);分类 cs.CV
AI总结 本文提出HeatKV方法,通过根据每个头部对先前生成尺度的注意力进行调整,实现更高效的KV缓存压缩,提升内存利用率并保持图像生成质量。
Comments 18 pages total including appendix; 6 main-paper figures, 2 appendix figures; 4 tables