视频大模型

Do Egocentric Video-Language Models Capture Both Hand- and Object-Centric Cues?

以自我为中心的视频-语言模型是否捕捉了以手和物体为中心的线索？

Masatoshi Tateno, Alexandros Stergiou, Risa Shinoda, Yoichi Sato, Dima Damen

机构 * The University of Tokyo（东京大学） ； University of Twente（特温特大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 视频理解 ：video-language(title,abstract)；分类 cs.CV

AI总结 研究手部-物体交互识别中现有视频-语言模型的局限，提出结合手部-物体掩码训练与HOI-动态感知解码器的新范式，构建DEHOI测试平台评估，证明该方法更有效利用相关信息，在多方面优于现有模型，提升HOI理解。

video-SALMONN-R$^3$: Learning to ReWatch, ReAsk, and ReAnswer for Efficient Video Understanding

video-SALMONN-R$^3$: 学习重看、重问和重答以实现高效视频理解

Yixuan Li, Guangzhi Sun, Yudong Yang, Chao Zhang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； University of Cambridge（剑桥大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 提出video-SALMONN-R$^3$，首个通过强化学习实现重看机制的视频大语言模型，无需链式思维冷启动，采用重答和重问策略提升视频问答效率与准确性。

AUTOPILOT VQA: Benchmarking Vision-Language Models for Incident-Centric Dashcam Understanding

自动驾驶视觉问答：以事件为中心的行车记录仪理解视觉语言模型基准测试

Siddharth Damodharan, Radhika Gupta, Ali Alshami, Ryan Rabinowitz, Jugal Kalita

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） ； University of Michigan（密歇根大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 针对评估视觉语言模型对安全关键事件推理能力的挑战，提出AUTOPILOT-VQA基准，通过围绕真实驾驶事件的结构化问题评估系统，涵盖多安全相关类别，推动向安全意识推理发展，为自动驾驶系统评估提供标准，助力相关视觉语言系统开发。

Comments CVPR Autopilot Workshop