AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding
AdaptToken: 基于熵的自适应令牌选择用于多模态大语言模型长视频理解
机构 * Microsoft Spatial AI Lab(微软空间人工智能实验室) ; EPFL(瑞士联邦理工学院洛桑) ; ETH Zurich(苏黎世联邦理工学院)
AI总结 AdaptToken通过利用模型自不确定性实现全局控制信号,提升多模态大语言模型对长视频的理解能力,通过熵信号分配令牌预算并支持提前停止,提升准确率并减少推理时间。
Comments Project page: https://haozheqi.github.io/adapt-token