AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
QSVideo：用于视频理解的查询条件语义时间检索
机构 * Michigan State University（密歇根州立大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。
Comments ECCV 2026
VideoAgent: 视频理解与编辑的全能框架
机构 * South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） ； Snap Inc（Snap公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出VideoAgent，一种基于多智能体编排的全能框架，通过自动镜头创建和30多个专业编辑智能体，解决现有系统在长视频理解和多样化编辑操作上的局限，在VideoEdit基准上实现87-95%编排成功率并降低60% API成本。
Comments Preprint. Code available at https://github.com/HKUDS/VideoAgent
MedStreamBench: 面向流式与主动式医疗视频理解的时间感知基准
机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出MedStreamBench基准，通过时间受限证据窗口和主动监控设置，评估模型在流式与主动式医疗视频理解中的回答时机与正确性，发现离线识别与时间感知决策间存在显著差距。
Comments 10 Pages, 5 Figures
Video-Oasis：重新审视视频理解的评估
机构 * Sejong University（世宗大学） ； NAVER Cloud
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出Video-Oasis，通过系统评估现有评估方法，揭示视频理解中的时空挑战，发现54%的基准样本无需视觉输入即可解决，先进模型表现仅略超随机猜测。
Comments Accepted at ECCV2026; Project page: https://limgeuntaekk.github.io/Video-Oasis/
HyperVLP: 在双曲空间中增强层次化手术视频-语言预训练
机构 * Zhejiang University（浙江大学） ； University of Strasbourg, CNRS, INSERM, ICube, UMR7357（斯特拉斯堡大学，CNRS，INSERM，ICube，UMR7357） ； IHU Strasbourg（斯特拉斯堡IHU） ； Technical University of Munich（慕尼黑工业大学）
专题命中 视频理解 ：video-language(title,abstract)；分类 cs.CV
AI总结 提出双曲空间手术视频-语言预训练框架HyperVLP，通过保留层次结构、缓解结构假负例并强制父子语义一致性，提升零样本和少样本手术阶段识别性能。
Em-Garde：一种用于主动流视频理解的提出-匹配框架
机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR）） ； Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院（IIIS）） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出Em-Garde框架，通过解耦语义理解与流感知，提升主动响应的准确性和效率，实验验证其在严格计算约束下的有效性。
HarmVideoBench：大型多模态模型中有害视频理解的基准测试
机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； ByteDance Inc（字节跳动公司） ； University of Zaragoza（阿拉维达大学） ； CosmosMind ； Wuhan University（武汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Southeast University（东南大学） ； Tencent（腾讯公司） ； Nankai University（南开大学） ； Supermicro Computer Inc（Supermicro计算机公司） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出HarmVideoBench，一个包含1379个视频和4137道选择题的多层次诊断基准，从三个维度评估模型对有害视频的深层理解，并引入BCR方法将宏平均准确率从61.7%提升至84.4%。
ProtoKV: 延迟查询下的流式视频理解与摘要状态记忆
机构 * KAIST（韩国科学技术院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出ProtoKV，一种固定内存的流式视频理解记忆机制，通过摘要状态表示远历史，在长延迟查询下准确率提升高达12.5点。
Comments 20 pages, 4 figures, Accepted to ICML 2026
面向高效流式视频理解的动态固定预算记忆库
机构 * Xiamen University（厦门大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出无训练方法CausalMem，通过在线语义基动态更新记忆库，在有限预算下最大化流式视频信息量，实现20倍视觉令牌压缩和82MB存储。
AVOC：通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解
机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Huawei Inc.（华为技术有限公司）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出AVOC框架，通过检索启发的令牌压缩模块，将多模态令牌压缩视为top-K检索问题，结合相关性、重要性和多样性三个标准，实现长时音视频理解，在小时级基准上取得最优性能。
APT: 用于因果视频语言理解的原子物理转变
机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室）
专题命中 视频理解 ：video-language(title)；video understanding(abstract)；分类 cs.CV
AI总结 提出原子物理转变（APT）作为视频中因果状态变化的显式表示，并构建混合来源数据集，通过APT-Tune微调方法使VLM学习物理转变而不遗忘事件级知识。
解耦的以对象为中心的视频理解用于生成机器人操作指令
机构 * School of Information Science, Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学信息科学学院） ； University of Engineering and Technology, Vietnam National University（越南国立大学工程与技术大学） ； Department of Robotics, Hanyang University（汉阳大学机器人学系）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出解耦动作识别与对象选择的框架，通过TSM分类动作和对象选择算法识别任务相关对象，结合VLM生成精确指令，在Something-Something V2上显著提升性能。
Temporal2Seq: 一个面向时序视频理解任务的统一框架
机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； China Design Group Co., Ltd（中国设计集团有限公司）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出Temporal2Seq统一框架，将时序视频理解任务输出表示为离散token序列，通过单一架构训练通用模型，在TAD、TAS、GEBD三个任务上取得合理结果，并优于单任务训练。
Comments Accepted by CVIU
当没有正确答案时：诊断视频理解中多模态大语言模型的缺失答案检测
机构 * Duke University（杜克大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 研究多模态大语言模型在视频理解中检测缺失答案的能力，发现模型倾向于选择干扰项而非识别无正确答案，时间推理任务中问题更严重，链式思维提示虽提升检测率但仍不理想。
Comments Under review
MOSS-Video-Preview: 通过交叉注意力实现实时视频理解
机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出双通道交叉注意力架构MOSS-Video-Preview，通过非阻塞感知与生成实现实时视频理解，在单H200上实现5倍首词加速和2.7倍解码吞吐提升。
通过设计理解视频：数据集如何塑造视频模型
机构 * School of Engineering and Built Environment, Electrical and Electronic Engineering, Griffith University（工程与建筑环境学院，电气与电子工程学院，格里菲斯大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文从数据集视角出发，提出统一框架连接数据集结构、归纳偏差与架构设计，分析数据集特性如何驱动视频理解架构创新，并讨论不同数据体制下的表征偏差。
Comments Research report
StoryVideoQA: 通过大规模、多类型和自动生成的数据集扩展深度视频理解
机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering（湖北省多媒体与网络通信工程重点实验室）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出StoryVideoQA数据集和PlotTree方法，通过多智能体协作框架自动生成大规模深度视频理解问答对，并利用层次化情节结构提升复杂故事线推理能力。
Comments Accepted by IJCV 2026
Journal ref International Journal of Computer Vision (2026)
VTI-CoT: 用于视频推理的视觉-文本交织思维链
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Hong Kong（香港大学） ； Beijing Shanwei Zhixing Technology Co., Ltd.（北京尚维智行科技有限公司） ； Tsinghua University（清华大学） ； Beihang University（北航）
专题命中 视频理解 ：video reasoning(title,abstract)；分类 cs.CV
AI总结 提出VTI-CoT框架，通过视觉-文本交织的思维链结合OCR压缩技术，提升视频推理准确性和训练效率。
Comments 25 pages, 7 figures
多模态视频理解中的视觉状态追踪基准测试
机构 * New York University（纽约大学） ； KAIST（韩国科学技术院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出VSTAT基准，通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力，发现当前模型远低于人类表现，失败主要源于视觉感知而非文本推理。
Comments Website: https://vision-x-nyu.github.io/vstat-site/
CVPR 2026 CASTLE挑战赛第三名：基于层次化知识图谱检索的智能多视角长视频理解
机构 * TAHAKOM（塔哈科姆）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出一种免训练的智能框架，通过视频知识图谱和层次化检索索引，解决大规模多视角视频中的复杂时空推理问题，在CASTLE挑战赛中获得第三名。
一种具有代理控制的高效流式视频理解框架
机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出R3-Streaming框架，通过级联控制（记忆压缩、响应判断、计算路由）和年龄感知遗忘策略及目标平衡强化学习（TB-GRPO），在严格延迟预算下实现流式视频理解，性能达到SOTA并减少95-96%视觉令牌使用。
从语言到视觉的反事实推理蒸馏：因果图引导的视频理解后训练
机构 * Rutgers University（新泽西罗格斯大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对视觉语言模型在反事实推理上的不足，提出CounterVQA基准和CFGPT后训练方法，通过从语言模态蒸馏反事实推理能力提升视频理解。
EarlyTom: 早期令牌压缩实现快速视频理解
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Alibaba Cloud Computing（阿里云计算）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对视频大语言模型中视觉编码阶段效率低下的问题，提出EarlyTom无训练令牌压缩框架，通过在视觉编码器内部进行早期压缩，显著降低首令牌延迟并提升吞吐量。
Comments Accepted by CVPR 2026. 16 pages, 8 figures, 8 tables. Project page: https://viridisgreen.github.io/EarlyTom
O-MARC: 全记忆增强压缩蒸馏用于高效视频理解
机构 * University of Bristol（布里斯托大学） ； Memories.ai Research（Memories.ai研究院） ； University of Central Florida（佛罗里达中央大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出O-MARC框架，通过无训练压缩方法OMAC保留视觉记忆和音频锚点，并利用压缩蒸馏使紧凑模型鲁棒，在多个基准上提升性能并降低推理成本。
StreamOV: 通过证据引导记忆与响应触发的流式全视频理解
机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出StreamOV框架，利用多模态证据引导的长短期记忆和隐状态驱动的触发机制，实现流式全视频理解中的在线推理与主动响应，并在新基准SOVBench上取得最优性能。
MetaphorVU：迈向隐喻视频理解
机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Automation, Tsinghua University（清华大学自动化系）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对当前多模态大语言模型在隐喻视频理解上的不足，提出首个系统性基准MetaphorVU-Bench，并设计基于隐喻知识图谱的推理增强框架MetaphorBoost，显著提升模型性能。
Comments ICML 2026 spotlight
ST-SimDiff：平衡时空相似性与差异以实现高效的视频理解与大语言模型
机构 * Tsinghua University（清华大学） ； Shenzhen University（深圳大学） ； Xidian University（西安电子科技大学）
专题命中 视频理解 ：video understanding(title)；long video(abstract)；分类 cs.CV
AI总结 本文提出ST-SimDiff框架，通过平衡时空相似性与差异来提高视频理解效率，利用时空图和双选择策略减少计算成本并提升性能。
Comments Accepted by ICLR 2026
HAVEN：用于统一视频理解的层次对齐多模态基准
机构 * Department of Information and Computer Sciences（信息与计算机科学系）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出HAVEN，一个用于统一视频理解的层次对齐多模态基准，旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题，通过引入全粒度和全多模态的数据集架构，提供了一个严谨的标准测试平台。
OmniPro: 一个全面的多模态流视频理解基准测试
机构 * Renmin University of China（中国人民大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出OmniPro基准测试，旨在评估多模态感知、主动响应和多样视频理解任务，通过2700个经人类验证的样本覆盖9个子任务和3个认知层次，揭示音频在流视频理解中的关键作用及模型在长时间任务中的鲁棒性问题。
Comments Project page: https://ruixiangzhao.github.io/OmniPro
VideoSeeker：通过原生代理工具调用激励实例级视频理解
机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaohongshu Inc.（小红书公司） ； East China Normal University（华东师范大学） ； Xi’an Jiaotong University（西安交通大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 VideoSeeker通过整合代理推理与实例级视频理解任务，提升视频理解精度，实验表明其在实例级任务中比基线模型提升13.7%，超越GPT-4o和Gemini-2.5-Pro。
Comments Project Page: https://gaotiexinqu.github.io/VideoSeeker/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈