AudioKV: KV Cache Eviction in Efficient Large Audio Language Models
AudioKV: 在高效大音频语言模型中实现KV缓存淘汰
机构 * EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室) ; Xidian University(西安电子科技大学) ; HKUST (GZ)(香港科技大学(广州))
AI总结 本文提出AudioKV框架,通过硬件友好的语义-音频对齐机制优先处理音频关键注意力头,结合Spectral Score Smoothing技术提升缓存效率,实验表明其在压缩比40%时保持高精度。