视频大模型

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P: 基于姿态的视频理解

Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Shang-Wen Li, Saining Xie

机构 * New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； Meta FAIR 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。

Comments Project Page: https://cambrian-mllm.github.io/

ViSTR-Bench: Can MLLMs Reason from Continuous Visual Cues in Dynamic Scenes?

ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？

Han Li, Si Liu, Zehao Huang, Dongxin Lyu, Longfei Xu, Jiahui Fu, Daxin Tian, Yuliang Xiu, Naiyan Wang

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。

Comments 37 pages, 37 figures

BasketEvent: Understanding Who Did What and When in Basketball Videos

BasketEvent：理解篮球视频中谁在何时做了什么

Yu Zhang, Jiayuan Rao, Haoning Wu, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 视频理解 ：video understanding(abstract)

AI总结 该研究旨在解决篮球视频理解问题，提出以球员为中心的BasketEvent数据集，引入PlayNet推理框架，通过建模多种互动并聚合时间证据进行事件预测，实验证明其在体育视频理解上优于基线。