LDDR: Linear-DPP-Based Dynamic-Resolution Frame Sampling for Video MLLMs
LDDR:基于线性DPP的动态分辨率帧采样用于视频MLLMs
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Individual Researcher(个人研究员) ; National University Singapore(新加坡国立大学) ; Nanyang Technological University(南洋理工大学) ; Duke University(杜克大学)
专题命中 工作流自动化 :agentic(abstract)
AI总结 本文提出LDDR框架,通过任务条件特征空间中查询感知的DPP帧选择,在有限视觉token预算下提升视频理解,实现3倍速度提升,并通过组DPP重要性度量动态分配分辨率,优于现有基线方法。
Comments 21 pages, 4 figures