AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding
AdaptToken: 基于熵的自适应令牌选择用于多模态大语言模型长视频理解
机构 * Microsoft Spatial AI Lab(微软空间人工智能实验室) ; EPFL(瑞士联邦理工学院洛桑) ; ETH Zurich(苏黎世联邦理工学院)
专题命中 长视频与时序推理 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV
AI总结 AdaptToken通过利用模型自不确定性实现全局控制信号,提升多模态大语言模型对长视频的理解能力,通过熵信号分配令牌预算并支持提前停止,提升准确率并减少推理时间。
Comments Project page: https://haozheqi.github.io/adapt-token