OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance
OmniDrop:通过查询引导的分层令牌剪枝实现多模态大语言模型
机构 * Samsung Research(三星研究院)
专题命中 其他推理 :reasoning(abstract);分类 cs.AI
AI总结 本文提出OmniDrop,通过查询引导的分层令牌剪枝方法,提升多模态大语言模型的效率与性能,实验表明其在多个音频视频基准测试中表现优异,减少预填充延迟和内存使用。