Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding
不要暂停:面向在线视频理解的流式视频-语言同步
机构 * National University of Singapore(新加坡国立大学) ; University of Science and Technology of China(中国科学技术大学)
AI总结 提出流式视频-语言同步(SVLS)范式,通过帧驱动转换控制器和流式令牌调节器实现视频帧与语言生成的细粒度同步,在不中断感知的情况下进行实时交互。