视频大模型

Forget, Anticipate and Adapt: Test Time Training for Long Videos

遗忘、预期与适应：长视频的测试时训练

Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 提出帧遗忘网络（FFN），通过仅处理滑动窗口中的三帧并定义惊奇度量自适应调整窗口，实现长视频的高效测试时训练。

Comments ECCV 2026

SLVMBench: Skill Learning from Video Memory

SLVMBench：从视频记忆中学习技能

Yudong Yang, Guangzhi Sun, Yixuan Li, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 SLVMBench是首个用于评估视频大语言模型从长视频记忆学习技能并应用于实时任务能力的基准测试，通过特定视频流和人工标注进行测试，发现现有视频LLMs在此方面有局限。

PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning

PhysMRV：用于物理合理性推理的物理内存检索与验证

Wenyuan Wang, Lianyu Hu, Hao Wang, Yang Liu

专题命中 长视频与时序推理 ：video understanding(abstract)；video-language(abstract)；分类 cs.CV

AI总结 针对视频语言模型物理合理性推理不可靠的问题，提出免训练的PhysMRV框架，通过将训练视频转化为分层内存库，利用结构化物理证据指导VLM验证物理合理性，在多基准测试中取得一致改进，有效增强该推理能力。

Xema: Efficient Diffusion Serving through Fine-Grained Memory Management and Auto-Configuration

Xema：通过细粒度内存管理和自动配置实现高效扩散服务

Xueze Kang, Guangyu Xiang, Suyi Li, Yuxin Wang, Shaohuai Shi, Lin Zhang, Xiaowen Chu

专题命中 长视频与时序推理 ：video generation(abstract)；long video(abstract)

AI总结 研究针对扩散模型服务受GPU内存限制问题，提出Xema系统，通过细粒度内存管理和自动配置，利用可预测张量生命周期优化内存，引入离线规划器联合选择参数，实现高效扩散服务，相比现有配置提升SLO达成率并降低规划成本。

StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description

StoryTeller：用于长格式音频描述的免训练叙事接地

Seung Hyun Hahm, Minh T. Dinh, SouYoung Jin

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 长视频与时序推理 ：video-language(abstract)；分类 cs.CV

AI总结 研究针对长格式音频描述问题，提出免训练的StoryTeller框架。它通过维护叙事记忆跨场景传递信息，仅用原始视频和标题，经语义过滤等确保信息准确。引入StoryAD-QA基准测试，实验证明该框架显著提升了叙事相关能力。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026

Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video

视频语言模型真的在观看吗？诊断长视频中的角色跟踪失败

Mohammad Al-Ratrout, Shayla Sharmin, Aditya Raikwar, Roghayeh Leila Barmaki

专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV

AI总结 研究视频语言模型在长视频中跟踪角色的能力，通过九条件诊断协议测试三个开源模型及Gemini，发现模型准确性非来自角色跟踪，存在性别线索利用问题，还发布诊断工具包揭示基准分数衡量的实际情况。

Towards Temporal Compositional Reasoning in Long-Form Sports Videos

长期体育视频中的时间组成推理方法

Siyu Cao, Lu Zhang, Ruizhe Zeng, Zhi-yong Liu

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。