视频大模型

Swift Sampling: Selecting Temporal Surprises via Taylor Series

Swift Sampling: 通过泰勒级数选择时间惊喜

Dahye Kim, Bhuvan Sachdeva, Karan Uppal, Naman Gupta, Vineeth N. Balasubramanian, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） ； Microsoft Research India（微软研究院印度） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 本研究提出了一种无需训练的帧选择算法Swift Sampling，通过在视觉潜在空间中建模视频为可微轨迹，并利用泰勒展开预测后续帧的路径，从而自动识别高信息量的时间惊喜帧，提升了长视频问答任务的性能。