HiMu: Hierarchical Multimodal Frame Selection for Long Video Question Answering
HiMu: 面向长视频问答的分层多模态帧选择
机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel(本-古里安内盖夫大学INSIGHT实验室,以色列) ; Ben-Gurion University of the Negev, Israel(本-古里安内盖夫大学,以色列)
专题命中 视频问答 :long video(title);分类 cs.CV
AI总结 提出HiMu框架,通过文本LLM将查询分解为层次逻辑树,由视觉和音频专家处理原子谓词,经模糊逻辑算子组合生成连续帧满意度曲线,在16帧预算下达到帧选择方法的最优精度,并作为即插即用模块提升多种MLLM性能。