AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
多尺度对比学习用于视频时间定位
机构 * Institute of Data Science (IDS), National University of Singapore（数据科学研究所（IDS），新加坡国立大学） ； Tongji University（同济大学） ； Nanyang Technological University (NTU)（南洋理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出多尺度对比学习框架，通过多阶段视频编码器生成样本，无需数据增强或在线记忆库，提升视频时间定位的语义表达。
Comments Accepted at AAAI 2025
微双网：用于微动作识别的双路径时空网络
机构 * The Children’s Hospital of Philadelphia（费城儿童医院） ； University of Pennsylvania（宾夕法尼亚大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出双路径网络，通过并行的空间-时间（ST）和时间-空间（TS）路径处理人体部位，采用自适应路由和MAC损失提升微动作识别性能。
Comments Accepted to International Conference on Automatic Face and Gesture Recognition (FG)
时空趋炎附势：基于否定的欺骗性在视频大语言模型中的表现
机构 * Institute of Trustworthy Embodied AI, Fudan University Shanghai Key Laboratory of Multimodal Embodied AI（可信具身人工智能研究所，复旦大学上海多模态具身人工智能重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究视频大语言模型在面对否定性欺骗时的脆弱性，揭示其在时空推理中的错误修正机制，并提出GasVideo-1000基准测试集以评估模型的鲁棒性。
OmniZip：面向快速多模态大语言模型的音频引导动态令牌压缩
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出OmniZip，一种无需训练的音频引导多模态令牌压缩框架，通过动态压缩音频视频令牌提升推理速度和内存效率，保持模型性能。
Comments [CVPR 2026] Code Link: https://github.com/KD-TAO/OmniZip
RefereeBench: 视频多模态大语言模型是否准备好成为多项目裁判
机构 * Renmin University of China（中国人民大学） ； Sichuan University（四川大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出RefereeBench，首个评估多模态大语言模型作为自动体育裁判的基准，通过11项运动925个视频和6475对问答，评估犯规存在、分类、推理、实体感知和时间定位能力，发现当前模型在规则应用和时间定位上表现不足。
Comments Work in Progress
SurgMotion: 一种用于外科视频通用理解的视频原生基础模型
机构 * Center for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong, China（人工智能与机器人中心，香港科学与创新研究院，中国科学院，香港，中国） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，北京，中国） ； Computer Aided Medical Procedures, Technical University of Munich, Munich, Germany（医学辅助程序，慕尼黑技术大学，德国慕尼黑） ； Electronic Engineering Department, The Chinese University of Hong Kong, Hong Kong, China（电子工程系，香港中文大学，香港，中国） ； Neuromedical Centre, Hong Kong University Shenzhen Hospital, Shenzhen, China（神经医学中心，香港大学深圳医院，深圳，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Department of Respiratory Medicine, The First Affiliated Hospital of Sun Yat-sen University, Guangzhou, China（呼吸科，中山大学附属第一医院，广州，中国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SurgMotion通过引入视频原生基础模型，将学习范式从像素级重建转向潜在运动预测，通过三种关键技术改进提升外科视频理解能力，实验表明其在手术流程识别、动作三元组识别和技能评估等任务中均取得显著优势。
TennisTV: 多模态大语言模型能否理解网球发球？
机构 * New York University（纽约大学） ； Tandon School of Engineering（坦顿工程学院） ； Shanghai, China（上海，中国） ； New York, USA（纽约，美国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 TennisTV是首个全面评估网球视频理解的基准，通过模拟发球过程中的连续击球事件，评估17种大语言模型在网球视频理解中的表现，发现帧采样密度需平衡且需提升时间定位能力。
无需训练的语义多目标跟踪与视觉-语言模型
机构 * Department of Information Engineering and Computer Science, University of Trento（信息工程与计算机科学系，特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 本文提出TF-SMOT，一种无需训练的语义多目标跟踪方法，结合预训练组件生成时间一致的跟踪片段，并通过InternVideo2.5生成视频摘要和实例描述，同时通过语义检索提升交互识别性能。
Comments Accepted to the 20th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2026)
缓解视频大语言模型幻觉的锚架主导问题
机构 * University of Electronic Science and Technology of China（电子科技大学） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Chengdu Institute of Computer Applications, Chinese Academy of Sciences, University of the Chinese Academy of Sciences（中国科学院成都计算机应用研究所，中国科学院大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出DTR方法，通过解码器侧时间再平衡缓解视频大语言模型在生成时的时间证据分配不均问题，提升幻觉鲁棒性并保持视频理解性能。
解锁 grounding dino 在视频中的潜力：针对小数据空间-时间定位的参数高效适应
机构 * SGIT AI Lab, State Grid Corporation of China（国网SGIT人工智能实验室，国家电网公司） ； University of HongKong（香港大学） ； Zhejiang University of Technology（浙江工业大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出ST-GD框架，通过冻结基础模型并注入轻量适配器，有效解决小数据下的视频空间时间定位问题，在HC-STVG v1/v2基准和VidSTG数据集上表现优异。
Tango：驯服视觉信号以提高视频大语言模型的效率
机构 * University of Science and Technology of China（中国科学技术大学） ； Reconova AI Lab（Reconova AI实验室） ； Nanjing University（南京大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 Tango通过改进注意力选择和相似性聚类方法，优化视频大语言模型的视觉信号利用，实现在保留10%视频token时性能损失仅0.1%，推理速度提升1.88倍。
Comments Code: https://github.com/xjtupanda/Tango
ProPhy：渐进式物理对齐用于动态世界模拟
机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Peng Cheng Laboratory（鹏城实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； ETH Zürich（苏黎世联邦理工学院） ； Lenovo Research（联想研究院）
专题命中 视频理解 ：video generation(abstract)；分类 cs.CV
AI总结 ProPhy通过渐进式物理对齐框架，实现物理感知的视频生成，提升动态物理现象的准确性与物理一致性。
流式视频指令微调
机构 * Hong Kong Baptist University（香港浸会大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出Streamo，一个实时流式视频大语言模型，能执行多种视频任务，如实时叙述、动作理解等。通过大规模指令遵循数据集训练，Streamo在时间推理和多任务处理上表现优异，填补了离线视频模型与实时多模态助手之间的差距。
Comments Accepted by CVPR2026
通过局部和全局上下文优化实现高效视频大语言模型的token缩减
机构 * University of Trento（特伦托大学） ； Tsinghua University（清华大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出AOT方法，通过局部-全局最优传输优化视频大语言模型中的token，实现高效的token缩减，保持时间与视觉保真度。
Comments CVPR2026, Project webpage: https://tyroneli.github.io/AOT
KiToke：基于核的区间感知令牌压缩用于视频大语言模型
机构 * Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 KiToke通过全局核冗余度测量和区间感知令牌合并，有效压缩视频大语言模型的视觉令牌，提升效率并保持关键信息。
超越静态视觉：场景动态场解锁多模态大语言模型中的直观物理理解
机构 * Shanghai Jiao Tong University（上海交通大学） ； Tianjin University（天津大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究探讨多模态大语言模型在物理理解上的不足，提出Scene Dynamic Field方法提升对连续物体动态的理解能力，实现20.7%的改进并展现良好的泛化能力。
GroundVTS：多模态大语言模型中的视频时间定位视觉标记采样
机构 * Newcapec AI Research（新开普人工智能研究院） ； Fudan University（复旦大学） ； Tongji University（同济大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出GroundVTS，通过细粒度查询引导机制筛选视觉标记，提升视频时间定位的时空信息保留与时间连贯性，实验表明其在三个标准基准上优于现有方法。
Comments Published as a conference paper at CVPR 2026
为手术基础模型扩展视频预训练
机构 * The Johns Hopkins University（约翰霍普金斯大学） ； Zhejiang University（浙江大学） ； Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳-香槟分校联合学院） ； Zhejiang Lab（之江实验室） ； Shaoxing University（绍兴大学） ； Angelalign（时代天使） ； Harvard Medical School（哈佛医学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出SurgRec，通过大规模数据和统一预训练流程提升手术视频理解能力，对比SSL基线和视觉语言模型，展示SurgRec在多个下游任务中的优越性能。
HieraVid：用于快速视频大语言模型的分层令牌修剪
机构 * Xiamen University（厦门大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 HieraVid通过分层修剪框架减少视频令牌冗余，提升视频大语言模型的效率，在保留性能的同时实现30%的令牌保留率。
通过结构化奖励强化视频MLLMs的一致性
机构 * Rutgers University（罗格斯大学） ； University of Toronto（多伦多大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究通过结构化奖励提升视频MLLMs的一致性，发现传统监督不足，提出结合事实和时间单元的奖励机制，提升视频理解准确性。
VecAttention: 向量级稀疏注意力用于加速长上下文推理
机构 * SCS, Peking University（北京大学计算机科学技术学院） ； Key Lab of HCST (PKU), MOE（高可信软件技术教育部重点实验室（北京大学）） ； Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出VecAttention，一种向量级稀疏注意力框架，通过动态选择信息向量提升视频模型的精度与效率，实测在视频理解和生成任务中比全注意力快2.65倍，比现有稀疏注意力方法快1.83倍且精度相当。
Comments Accepted at CVPR 2026
V-CAST：面向高效视频大语言模型的曲率感知时空剪枝
机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shenzhen Loop Area Institute（深圳河套学院） ； Sichuan University（四川大学） ； EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出V-CAST，一种无需训练的视频长上下文推理剪枝策略，通过曲率引导的时空分配模块和双锚点空间选择机制，提升视频大语言模型的效率与性能。
Comments Code: \url{https://github.com/xinyouu/V-CAST}
让几何在空间推理中发挥作用
机构 * National University of Singapore, Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出GeoSR框架，通过几何解封掩码和几何引导融合，提升视觉语言模型的空间推理能力，实验证明其在静态和动态场景中均优于现有方法。
从像素到隐私：通过令牌修剪实现时间一致的视频匿名化以保护隐私的行动识别
机构 * Aalborg University（奥尔堡大学） ； Aarhus University（奥胡斯大学） ； Poineer Centre for AI（先锋人工智能中心） ； University of Southern Denmark（南丹麦大学） ； Milestone System（Milestone系统公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出一种基于注意力机制的时空视频匿名化框架，通过分离效用和隐私特征，实现对隐私保护的行动识别。
Comments 10 pages, CVPR paper
错误归因：第一性错误理解在第一人称视频中
机构 * University of Michigan（密歇根大学） ； Voxel51
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 本文提出MATT任务，通过细粒度分析第一人称视频中的人类错误，开发MisEngine数据引擎生成带有归因注释的错误样本，并提出MisFormer模型在语义、时间和空间维度上实现统一的错误归因，实验表明其在视频语言理解等任务上优于现有方法。
Comments 12 pages, 5 figures, 7 tables. Accepted to CVPR 2026
UFVideo：迈向统一的细粒度视频协作理解的大型语言模型
机构 * Huazhong University of Science and Technology（华中科技大学） ； Meituan（美团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 UFVideo通过统一多粒度协作理解能力，实现视频理解的全面覆盖，展示了其在多粒度视频任务中的灵活性和优势。
Comments CVPR 2026 Camera Ready, Github Code: https://github.com/Heven-Pan/UFVideo
ViDiC：视频差异描述
机构 * NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； Kling Team, Kuaishou Technology（快手科技Kling团队）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出ViDiC任务及ViDiC-1K数据集，旨在评估多模态大语言模型对视频对相似性与差异性的细粒度描述能力，揭示现有模型在比较描述和差异感知上的性能差距。
面向超低保留率的视频大语言模型统一时空令牌压缩
机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出统一的时空令牌压缩方法，通过全局令牌保留池整合注意力权重和语义相似性，实现高效令牌选择与合并，保留90.1%性能并降低计算量至2.6%。
Comments Accepted by CVPR 2026
ParallelVLM: 无损视频-大语言模型加速与视觉对齐感知并行推测解码
机构 * Zhejiang University（浙江大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 ParallelVLM通过并行化阶段和无偏验证器引导剪枝策略，有效提升视频理解任务的解码效率，实现3.36倍的加速效果。
基于段落式MLLM框架的细致情绪识别：利用Qwen3-Omni进行AH检测
机构 * Qwen3-Omni
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 本文提出基于段落式MLLM框架的细致情绪识别方法，利用Qwen3-Omni模型在AH检测中实现85.1%的准确率，验证了多模态大语言模型在捕捉复杂情绪冲突中的优势。
Comments 5 pages, 1 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈