视频大模型

SlowFocus: Enhancing Fine-grained Temporal Understanding in Video LLM

SlowFocus: 提升视频大语言模型中的细粒度时间理解

Ming Nie, Dan Ding, Chunwei Wang, Yuanfan Guo, Jianhua Han, Hang Xu, Li Zhang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Technology Co., Ltd.（亿万象智能科技有限公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 SlowFocus通过提升等效采样频率和引入多频率混合注意力模块，提升视频大语言模型对细粒度时间理解的能力。

Comments NeurIPS 2024

Morphe: High-Fidelity Generative Video Streaming with Vision Foundation Model

Morphe: 基于视觉基础模型的高保真生成视频流媒体

Tianyi Gong, Zijian Cao, Zixing Zhang, Jiangkai Wu, Xinggong Zhang, Shuguang Cui, Fangxin Wang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳）） ； Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM

AI总结 Morphe基于视觉基础模型，通过联合训练和智能分组丢弃技术，实现高保真度、低带宽的实时视频流媒体传输。

Comments Accepted by NSDI 2026 Fall

Exposing and Defending the Achilles' Heel of Video Mixture-of-Experts

揭示视频混合专家架构的薄弱环节

Songping Wang, Qinglong Liu, Yueming Lyu, Ning Li, Ziwen He, Caifeng Shan

机构 * Nanjing University（南京大学） ； China Mobile Information Technology Co., Ltd.（中国移动信息科技有限公司） ； Nanjing University of Information Science and Technology（南京信息科技大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出TLGA和J-TLAT方法，揭示视频MoE模型的独立和协作性弱点，并通过联合对抗训练提升其鲁棒性。

Less is More: Label-Guided Summarization of Procedural and Instructional Videos

少即是多：基于标签的程序性和教学视频摘要

Shreya Rajpal, Michal Golovanevsky, Carsten Eickhoff

机构 * University of Tübingen（图宾根大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Brown University（布朗大学） 纠错

专题命中 视频理解 ：long video(abstract)；分类 cs.CV

AI总结 PRISM提出了一种基于标签的视频摘要方法，通过集成语义和多模态分析，生成语义准确且上下文连贯的摘要，有效提升摘要质量。

Comments 22 pages, 6 figures

MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding

MLVTG: 基于Mamba的特征对齐与LLM驱动的多模态视频时间定位

Zhiyi Zhu, Xiaoyu Wu, Zihao Liu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 MLVTG通过结合MambaAligner和LLMRefiner，实现了多模态视频时间定位的高精度定位与语义净化。

ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning

ViTCoP: 通过视觉和文本语义协同剪枝加速大型视觉-语言模型

Wen Luo, Peng Chen, Xiaotao Huang, LiQun Huang

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 ViTCoP通过结合视觉和文本语义协同剪枝，有效降低大型视觉-语言模型的计算成本，提升推理效率和内存利用率。

Self-supervised Learning of Echocardiographic Video Representations via Online Cluster Distillation

通过在线聚类蒸馏实现心电图视频的自监督学习

Divyanshu Mishra, Mohammadreza Salehi, Pramit Saha, Olga Patey, Aris T. Papageorghiou, Yuki M. Asano, J. Alison Noble

机构 * Department of Engineering Science, University of Oxford（工程科学系，牛津大学） ； Nuffield Department of Women’s and Reproductive Health, University of Oxford（妇女与生殖健康系，牛津大学） ； Fundamental AI Lab, University of Technology Nuremberg（基础人工智能实验室，纽伦堡技术大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 DISCOVR通过在线聚类蒸馏实现心脏超声视频的自监督学习，结合时序动态和细粒度空间语义，提升临床任务性能。

Comments Accepted in NeurIPS 2025

Video Joint-Embedding Predictive Architectures for Facial Expression Recognition

视频联合嵌入预测架构用于面部表情识别

Lennart Eing, Cristina Luna-Jiménez, Silvan Mertes, Elisabeth André

机构 * Chair for Human-Centered Artificial Intelligence（人中心人工智能教研室） ； University of Augsburg（奥斯特拉赫大学） ； Faculty of Computer Science（计算机科学学院） ； Technical University of Applied Sciences Augsburg（应用科学大学奥斯特拉赫） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了一种基于嵌入的预训练方法，用于提升面部表情识别的性能，在RAVDESS和CREMA-D数据集上取得了显著成果。

Comments To appear in 2025 Proceedings of the 13th International Conference on Affective Computing and Intelligent Interaction (ACII), submitted to IEEE. \c{opyright} 2025 IEEE

GaussianSwap: Animatable Video Face Swapping with 3D Gaussian Splatting

GaussianSwap: 基于3D高斯点云的可动画视频人脸交换

Xuan Cheng, Jiahao Rao, Chengyang Li, Wenhao Wang, Weilin Chen, Lvqing Yang

机构 * School of Informatics, Xiamen University（信息学院，厦门大学） 纠错

专题命中 视频理解 ：video generation(abstract)；分类 cs.CV

AI总结 GaussianSwap通过3D高斯点云构建可动画视频人脸交换虚拟角色，实现身份保持与高保真视觉效果，支持交互式应用。

VISTA: Mitigating Semantic Inertia in Video-LLMs via Training-Free Dynamic Chain-of-Thought Routing

VISTA: 通过无训练动态推理路由缓解视频大语言模型中的语义惯性

Hongbo Jin, Jiayu Ding, Siyi Xie, Guibo Luo, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 VISTA通过动态推理路由和潜在推理共识机制，缓解视频大语言模型中的语义惯性问题，提升视频理解性能。

Comments 19 pages, 7 figures

MVP: Enhancing Video Large Language Models via Self-supervised Masked Video Prediction

MVP: 通过自监督掩码视频预测增强视频大型语言模型

Xiaokun Sun, Zezhong Wu, Zewen Ding, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频理解 ：video reasoning(abstract)；分类 cs.CV

AI总结 MVP通过自监督掩码视频预测提升视频大语言模型的时间推理和因果理解能力。

COLT: Enhancing Video Large Language Models with Continual Tool Usage

COLT: 通过持续工具使用增强视频大语言模型

Yuyang Liu, Meng Cao, Xinyuan Shi, Xiaondan Liang

机构 * University of Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed大学人工智能学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 COLT通过持续工具使用增强视频大语言模型，解决工具数据持续变化的问题，提升视频理解性能。

Comments 16 pages

VideoCuRL: Video Curriculum Reinforcement Learning with Orthogonal Difficulty Decomposition

VideoCuRL: 通过正交难度分解实现视频课程强化学习

Hongbo Jin, Kuanwei Lin, Wenhao Zhang, Yichen Jin, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 VideoCuRL通过正交分解视频理解中的视觉复杂性和认知复杂性，提出了一种新的课程强化学习框架，提升了视频推理和感知任务的性能。

Frozen LVLMs for Micro-Video Recommendation: A Systematic Study of Feature Extraction and Fusion

冻结的大型视频语言模型用于微视频推荐：特征提取与融合的系统研究

Huatuan Sun, Yunshan Ma, Changguang Wu, Yanxin Zhang, Pengfei Wang, Xiaoyu Du

专题命中 视频理解 ：video language model(abstract)；分类 cs.MM

AI总结 本文通过系统研究冻结LVLMs的特征提取与融合策略，提出DFF框架，证明中间隐藏状态优于标题表示，ID嵌入融合优于替换，并在微视频推荐中取得最佳性能。

Comments 10 pages, 4 figures

SPOC: Spatially-Progressing Object State Change Segmentation in Video

SPOC: 视频中空间性推进的对象状态变化分割

Priyanka Mandikal, Tushar Nagarajan, Alex Stoken, Zihui Xue, Kristen Grauman

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 SPOC提出空间性推进的对象状态变化分割任务，通过伪标签和动态约束方法，解决视频中对象变化位置和速度的精确定位问题。

Comments Accepted at WACV 2026

Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning

推动音频视觉感知前沿：大规模多模态对应学习

Apoorv Vyas, Heng-Jui Chang, Cheng-Fu Yang, Po-Yao Huang, Luya Gao, Julius Richter, Sanyuan Chen, Matt Le, Piotr Dollár, Christoph Feichtenhofer, Ann Lee, Wei-Ning Hsu

机构 * Meta Superintelligence Labs（Meta超级智能实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 PE-AV通过大规模多模态对应学习提升音频视频理解，支持跨模态嵌入并实现语音检索等新任务，同时开发PE-A-Frame实现细粒度音频-文本对齐。

CrashChat: A Multimodal Large Language Model for Multitask Traffic Crash Video Analysis

CrashChat: 一种多模态大语言模型用于多任务交通事故视频分析

Kaidi Liang, Ke Li, Xianbiao Hu, Ruwen Qin

机构 * Stony Brook University（石溪大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 CrashChat是一种多模态大语言模型，用于多任务交通事故视频分析，通过任务解耦和分组策略提升事故识别、定位等任务的性能。

Context-Aware Network Based on Multi-scale Spatio-temporal Attention for Action Recognition in Videos

基于多尺度时空注意力的上下文感知网络用于视频动作识别

Xiaoyang Li, Wenzhu Yang, Kanglin Wang, Tiebiao Wang, Qingsong Fei

机构 * School of Cyber Security and Computer（网络安全与计算机学院） ； Hebei University（河北省大学） ； Machine Vision Engineering Research Center（机器视觉工程研究中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出基于多尺度时空注意力的上下文感知网络，通过多尺度时间与空间线索模块提升视频动作识别的准确率。

Comments 21 pages, 4 figures. Preprint under review for journal submission

FastVID: Dynamic Density Pruning for Fast Video Large Language Models

FastVID: 动态密度修剪用于快速视频大语言模型

Leqi Shen, Guoqiang Gong, Tao He, Yifeng Zhang, Pengzhang Liu, Sicheng Zhao, Guiguang Ding

机构 * School of Software, Tsinghua University（清华大学软件学院） ； BNRist, Tsinghua University（清华大学BNRist） ； GRG Banking Equipment Co., Ltd.（GRG银行设备有限公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 FastVID通过动态密度修剪技术，显著降低视频大语言模型的计算开销，同时保持高准确性，实现高效的视频处理性能。

Comments NeurIPS 2025

From the Laboratory to Real-World Application: Evaluating Zero-Shot Scene Interpretation on Edge Devices for Mobile Robotics

从实验室到现实应用：评估边缘设备上用于移动机器人的零样本场景解读

Nicolas Schuler, Lea Dewald, Nick Baldig, Jürgen Graf

机构 * Laboratories for Cognitive Systems and Robotics（认知系统与机器人实验室） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文评估了适用于移动机器人边缘设备的小型视觉语言模型在零样本场景解读任务中的性能与应用潜力。

Comments 15 pages, 6 figures, 1 table; accepted for AI-2025 Forty-fifth SGAI International Conference on Artificial Intelligence CAMBRIDGE, ENGLAND 16-18 DECEMBER 2025

Journal ref Artificial Intelligence XLII. SGAI-AI 2025. Lecture Notes in Computer Science, vol 16302. Springer, Cham (2026), pp 301-315

What Happens When: Learning Temporal Orders of Events in Videos

当什么发生时：学习视频中事件的时间顺序

Daechul Ahn, Yura Choi, Hyeonbeom Choi, Seongwon Cho, San Kim, Jonghyun Choi

机构 * Seoul National University（首尔国立大学） ； Imperial College London（帝国理工学院伦敦分校） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出MECOT方法，通过事件级描述训练和思维链提示提升视频模型对事件时间顺序的理解能力。

Comments WACV 2026

Unison: A Fully Automatic, Task-Universal, and Low-Cost Framework for Unified Understanding and Generation

Unison: 一个完全自动、任务通用且低成本的统一理解和生成框架

Shihao Zhao, Yitong Chen, Zeyinzi Jiang, Bojia Zi, Shaozhe Hao, Yu Liu, Chaojie Mao, Kwan-Yee K. Wong

机构 * The University of Hong Kong（香港大学） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 Unison提出一个低成本、全自动的多模态理解和生成框架，通过两阶段方案实现任务自适应，覆盖多种理解和生成任务，提升生成质量与自动化水平。

Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows

Iwin Transformer：基于交错窗口的分层视觉Transformer

Simin Huo, Ning Li

专题命中 视频理解 ：video generation(abstract)；分类 cs.CV

AI总结 Iwin Transformer通过交错窗口注意力和深度可分离卷积实现无位置嵌入的分层视觉Transformer，提升图像分类、语义分割和视频动作识别等任务的性能。

Comments 17 pages, 12 figures, Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence. Add additional video experiments

SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding

SEASON: 通过自诊断对比解码缓解视频大语言模型中的时间幻觉

Chang-Hsun Wu, Kai-Po Chang, Yu-Yang Sheng, Hung-Kai Chung, Kuei-Chun Wang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 SEASON通过自诊断对比解码方法，无需训练即可提升视频大语言模型在时间信息处理上的准确性与可靠性。

COACH: Collaborative Agents for Contextual Highlighting -- A Multi-Agent Framework for Sports Video Analysis

COACH：基于上下文高亮的协作代理——一种多代理框架用于体育视频分析

Tsz-To Wong, Ching-Chun Huang, Hong-Han Shuai

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 COACH提出一种多代理框架，通过协作代理实现体育视频分析中的上下文高亮，提升时间层次结构的理解与跨任务适应性。

Comments Accepted by AAAI 2026 Workshop LaMAS

Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models

脚本：图结构和查询条件的语义令牌修剪用于多模态大语言模型

Zhongyu Yang, Dannong Xu, Wei Pang, Yingfang Yuan

机构 * BCML, Heriot-Watt University（赫瑞瓦德大学BCML中心） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 Script通过图结构和查询条件的语义令牌修剪，提升多模态大语言模型的效率和准确性，实现显著的性能提升。

Comments Published in Transactions on Machine Learning Research, Project in https://01yzzyu.github.io/script.github.io/

Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos

通过观看学习：从人类视频中可扩展地提取操作轨迹

X. Hu, G. Ye

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出结合大规模基础模型与点跟踪技术，从人类视频中提取操作轨迹，以实现更高效的数据收集和机器人学习。

Comments Accepted to RSS 2025 Workshop

LongCat-Flash-Omni Technical Report

LongCat-Flash-Omni 技术报告

Meituan LongCat Team, Bairui Wang, Bayan, Bin Xiao, Bo Zhang, Bolin Rong, Borun Chen, Chang Wan, Chao Zhang, Chen Huang, Chen Chen, Chen Chen, Chengxu Yang, Chengzuo Yang, Cong Han, Dandan Peng, Delian Ruan, Detai Xin, Disong Wang, Dongchao Yang, Fanfan Liu, Fengjiao Chen, Fengyu Yang, Gan Dong, Gang Huang, Gang Xu, Guanglu Wan, Guoqiang Tan, Guoqiao Yu, Haibo Qiu, Hao Lu, Hongbo Liu, Hongyu Xiang, Jiaheng Wu, Jian Yang, Jiaxing Liu, Jing Huang, Jingang Wang, Jinrui Ding, Juchao Jiang, Jun Kuang, Jun Wang, Junhui Mei, Ke Ding, Kefeng Zhang, Lei Chen, Liang Shi, Limeng Qiao, Liming Zheng, Lin Ma, Liuyang Guo, Liya Ma, Luying Sun, Man Gao, Mengshen Zhu, Miao Cao, Minliang Lin, Nuo Xu, Peng Shi, Qi Zhang, Qian Fang, Qian Wang, Qian Yang, Quanxiu Wang, Rongxiang Weng, Rongxin Guo, Ruoxuan Liang, Senbin Yang, Shanbo Xu, Shanglin Lei, Shengze Ye, Shimin Chen, Shuaiqi Chen, Shujie Hu, Shuo Li, Siqi Yang, Siyu Xu, Siyu Ren, Song Li, Songxiang Liu, Tianhao Bai, Tianye Dai, Wei Hong, Wei Wang, Weixiao Zhao, Wengang Cao, Wenlong Zhu, Wenlong He, Xi Su, Xi Nan, Xiaohan Zhao, Xiaohao Wang, Xiaoyu Zhao, Xiaoyu Wang, Xiaoyu Li, Xin Pan, Xin Chen, Xiusong Sun, Xu Xiang, Xudong Xing, Xuezhi Cao, Xunliang Cai, Yang Yang, Yanli Tan, Yao Yao, Yerui Sun, Yi Chen, Yifan Lu, Yin Gong, Yining Zhang, Yitian Chen, Yiyang Gan, Yuchen Tang, Yuchen Xie, Yueqian Wang, Yuewen Zheng, Yufei Zhang, Yufeng Zhong, Yulei Qian, Yuqi Peng, Yuqian Li, Yuwei Jiang, Zeyang Hu, Zheng Zhang, Zhengkun Tian, Zhiqing Hong, Zhixiong Zeng, Zhuqi Mi, Ziran Li, Ziwen Wang, Ziyi Zhao, Ziyuan Zhuang, Zizhe Zhao

机构 * Meituan LongCat Team（美团LongCat团队） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM

AI总结 LongCat-Flash-Omni 是一个具有5600亿参数的开源多模态模型，通过课程启发式训练策略实现高效实时音频视觉交互，具备强大的多模态和单模能力。

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

Mavors：多粒度视频表示用于多模态大语言模型

Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

机构 * Peking University（北京大学） ； Kling Team（Kling团队） ； Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 Mavors通过多粒度视频表示方法，提升多模态大语言模型在长视频理解中的时空模式保留与计算效率平衡能力。

Comments 22 pages

Prompt-guided Disentangled Representation for Action Recognition

基于提示的解耦表示用于动作识别

Tianci Wu, Guangming Zhu, Jiang Lu, Siyuan Wang, Ning Wang, Nuoye Xiong, Zhang Liang

机构 * School of Computer Science and Technology, Xidian University（电子科技大学计算机科学与技术学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出ProDA框架，通过动态提示模块和空间时间场景图实现动作解耦，提升多动作场景下的动作识别性能。