OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models
OmniScope:用于全模态大语言模型的模态解耦令牌压缩
机构 * Media Analytics and Computing Lab, Xiamen University(厦门大学媒体分析与计算实验室) ; Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究所) ; Alibaba Group(阿里巴巴集团)
专题命中 多模态训练与对齐 :cross-modal(abstract);分类 cs.CV
AI总结 研究针对全模态大语言模型令牌压缩问题,提出无需训练的OmniScope框架,以查询为语义锚点分别估计音频和视频相关性,分配特定模态预算并采用相应策略处理,在多基准和模型规模上效果佳,实现加速和内存减少,提出跨模态推理设计原则。