视频大模型

SoccerLens: Grounded Soccer Video Understanding Beyond Accuracy

SoccerLens: 超越准确性的 grounded 球赛视频理解

Ismael Elsharkawi, Ahmed Sait, Silvio Giancola, Bernard Ghanem, Hossam Sharara, Abdelrahman Eldesokey

机构 * Department of Computer Science and Engineering, The American University in Cairo（美国亚历山大大学计算机科学与工程系） ； Image And Visual Understanding Lab (IVUL), KAUST（卡塔尔大学图像与视觉理解实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本文提出 SoccerLens 基准测试，评估球赛视频理解中视觉 grounding 的有效性，发现现有模型在准确率高但 grounding 表现差，揭示了时空复杂领域中 grounded 评估的重要性。

Comments Preprint

READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling

READ：基于部分视频-语言对齐的递归适配器用于低资源视频-语言建模的参数高效迁移学习

Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

专题命中 视频理解 ：video-language(title,abstract)；分类 cs.CV

AI总结 本文提出READ框架，通过递归计算和部分最优传输对齐，提升低资源视频-语言建模任务的性能，优于现有迁移学习方法。

Comments Accepted at AAAI 2024

OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models

OmniRefine: 一种面向对齐的协作压缩方法以提高多模态大语言模型的效率

Yuchen Deng, Zidang Cai, Hai-Tao Zheng, Jie Wang, Feidiao Yang, Yuxing Han

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；video reasoning(abstract)；long video(abstract)

AI总结 本文提出OmniRefine，一种无需训练的两阶段框架，通过跨模态对齐和协作压缩提升多模态大语言模型的推理效率与性能稳定性。

LDDR: Linear-DPP-Based Dynamic-Resolution Frame Sampling for Video MLLMs

LDDR：基于线性DPP的动态分辨率帧采样用于视频MLLMs

Jingfeng Chen, Jiawen Qian, Wendi Deng, Yinuo Guo, Jiaqi Yu, Sicong Leng, Raghuveer Thirukovalluru, Bhuwan Dhingra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Individual Researcher（个人研究员） ； National University Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Duke University（杜克大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出LDDR框架，通过任务条件特征空间中查询感知的DPP帧选择，在有限视觉token预算下提升视频理解，实现3倍速度提升，并通过组DPP重要性度量动态分配分辨率，优于现有基线方法。

Comments 21 pages, 4 figures