AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
USV: 向理解用户生成的短视频迈进
机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出了USV数据集，用于高层面的视频语义理解，通过用户生成的短视频进行主题识别和视频-文本检索任务，提出了MMF-Net和VTCL两种有效基线方法。
EgoCoT-Bench: 用于MLLMs的 grounded 和可验证的 operation-centric 思维链推理基准测试
机构 * Zhejiang University（浙江大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出EgoCoT-Bench，一个用于评估MLLMs在第一人称视角下细粒度操作中心推理能力的基准测试，包含3172个可验证的问答对，涵盖感知、预见和高层次推理等任务，旨在解决现有基准测试在细粒度推理和证据验证方面的不足。
迈向数据高效的视频预训练：使用冻结的图像基础模型
机构 * Eindhoven University of Technology（埃因霍温理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文探讨了如何通过冻结预训练的图像基础模型并仅训练时间模块来实现数据高效的视频预训练，从而减少对大规模视频数据和计算资源的需求。
Comments Accepted to CVPR 2026 Workshops CV4Smalls
协同视见：基于多模态大语言模型的多机器人协作自体空间推理
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Hunan University（湖南大学） ； University of Oxford（牛津大学） ； Zhejiang University（浙江大学） ； ETH Zurich（苏黎世联邦理工学院） ； Ant Group（蚂蚁集团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究了多机器人协作动态空间推理问题，提出了首个针对该任务的基准CoopSR以及多机器人自体问答数据集EgoTeam，通过引入SP-CoR框架实现了细粒度的协作空间推理，显著提升了多机器人协作推理性能。
SPATIOROUTE: 动态提示路由用于零样本空间推理
机构 * National Taiwan University（台湾国立大学） ； Delta Robotics Innovation Center（Delta机器人创新中心）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出SpatioRoute，一种动态提示生成方法，通过语义定制的提示模板路由问题，无需额外训练或3D传感器输入，在零样本设置下提升空间推理性能，同时发现Chain-of-Thought提示在空间视频理解中效果不佳。
Comments 10 pages, 2 figures, 2nd Workshop on 3D-LLM/VLA, CVPR 2026
多模态大语言模型是否准备好用于监控？对零样本异常检测在现实中的检验
机构 * Electrical and Computer Engineering Department（电气与计算机工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究了多模态大语言模型在现实中的零样本异常检测性能，发现其存在保守偏差，通过特定指令可以提升F1分数，但召回率仍是关键瓶颈。
Fourier Compressor: 频域视觉令牌压缩用于视觉-语言模型
机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Noah’s Ark Lab（诺亚实验室） ； Huawei Technologies Ltd.（华为技术有限公司） ； School of Computer Science（计算机科学学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出了一种基于频域的视觉令牌压缩策略，通过傅里叶变换减少计算开销并提升效率，同时保持语义准确性，实验表明其在图像和视频任务中均表现出色。
VVitCutLER: 向视频中无监督的目标检测和分割迈进
机构 * RPTU University of Kaiserslautern-Landau（莱茵-瓦尔德大学凯撒斯劳滕-兰道分校） ； German Research Center for Artificial Intelligence（德国人工智能研究中心）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究提出VVitCutLER框架，通过引入时间一致性提升视频中伪标签的质量，从而改进目标检测和实例分割的性能，减少时间不稳定性。
Comments 11 figures, cvpr workshop
StreamPro: 从反应式感知到主动决策的流视频处理
机构 * AIM3 Lab, Renmin University of China（中国人民大学AIM3实验室） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 StreamPro通过引入CB-Stream损失和GRPO算法，提升流视频处理的主动决策能力，在StreamPro-Bench上取得显著成效，性能优于先前最佳。
LRCP: 低秩压缩性引导的视觉标记修剪用于高效的LVLMs
机构 * Xiaohongshu（小红书） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 本文提出LRCP，通过低秩压缩性引导视觉标记修剪，有效减少视觉语言模型的推理成本，实现94.7%的图像理解性能保留和88.9%的标记减少。
Comments The paper includes 11 figures, multiple tables, comprehensive experimental results on 11 image understanding benchmarks and 3 video benchmarks, with extensive ablation studies and qualitative visualizations
ViMU：视频隐喻理解基准测试
机构 * National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 ViMU旨在评估视频理解模型对隐含意义的识别能力，通过多模态证据推理，解决现有模型对隐喻、讽刺和社会意义理解不足的问题。
通过超越128K上下文的泛化有效训练长上下文视觉-语言模型
机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究了长上下文视觉-语言模型的持续预训练，通过平衡数据和检索优化，提出MMProLong模型在长文档VQA等任务中表现优异，且能扩展至更长上下文和多任务场景。
Comments work in progress
学习你需要看到的东西：多模态大语言模型的注视注意力
机构 * NAVER AI Lab（NAVER AI实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。
LDDR：基于线性DPP的动态分辨率帧采样用于视频MLLMs
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Individual Researcher（个人研究员） ； National University Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Duke University（杜克大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出LDDR框架，通过任务条件特征空间中查询感知的DPP帧选择，在有限视觉token预算下提升视频理解，实现3倍速度提升，并通过组DPP重要性度量动态分配分辨率，优于现有基线方法。
Comments 21 pages, 4 figures
EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型
机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。
Comments 9 pages
面向视频摘要的不确定性感知与解码器对齐学习
机构 * Perception AI Neubility Inc.（感知AI Neubility公司）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 本文提出VASTSum框架，通过建模不确定性并使学习目标与解码阶段对齐，提升视频摘要的鲁棒性与效率。
Comments Accepted for presentation at the 2026 International Joint Conference on Neural Networks (IJCNN 2026)
无参与的感知：LMMs中因果发现缺陷的剖析
机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Harvard University（哈佛大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文探讨了大型多模态模型在因果发现中的缺陷，提出ProCauEval评估协议和ADPO框架，通过扰动分析揭示模型在视觉和文本模态间的依赖关系，提升视觉推理能力。
Comments 17 pages, 5 figures
追踪真相：面向视频大语言模型的物体感知时空监控
机构 * National University of Singapore（新加坡国立大学） ； VinUniversity（文大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出STEMO-Bench基准测试，通过分解查询验证时空监控能力，改进视频大语言模型的时空推理一致性。
Comments Code: https://github.com/nguyentthong/video_hallucination
基于检测器的视频大语言模型用于高效的时空定位
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Trento（特伦特大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） ； ZTE Corporation（中兴通讯）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出DEViL模型，通过将密集空间定位任务转移给训练良好的检测器，提升视频时空定位的效率与性能，实现43.1%的m_vIoU和14.33 FPS的高效表现。
REMAP：基于正则化的视频嵌入匹配与部分对齐
机构 * Elmore Family School of Electrical and Computer Engineering（埃尔摩家庭电气与计算机工程学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 REMAP通过正则化的融合部分Gromov-Wasserstein最优传输框架，解决现实视频中噪声、冗余和执行差异等问题，提升过程学习效果。
Comments 9 pages, 4 figures, 6 tables
DenseStep2M: 一种可扩展且无需训练的密集指令视频标注流水线
机构 * SAI, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出无需训练的DenseStep2M流水线，通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释，构建了包含10万视频和200万步骤的大型数据集，支持长期视频理解。
对齐后再适应：重新思考4D感知中的参数高效迁移学习
机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（西安交通大学人机混合增强智能国家重点实验室） ； School of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院） ； National Engineering Research Center for Robot Visual Perception and Control Technology（机器人视觉感知与控制技术国家工程研究中心）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出PointATA方法，通过分阶段对齐和适应解决4D感知中的模态差距和过拟合问题，实现参数高效迁移学习，实验显示其在动作识别、分割等任务中表现优异。
Comments Accepted by IEEE Transactions on Multimedia (Regular Paper)
PushupBench: 你的VLM在计数俯卧撑时并不出色
机构 * Shengzhi Li（李盛之） ； Jiarun Chen（陈佳润） ； Karun Sharma（Sharma 卡鲁恩） ； Jiaqi Su（苏佳琦） ； Shichao Pei（裴世超）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 PushupBench通过446个长视频片段评估重复计数任务，发现最佳模型准确率仅42.1%，开源模型表现更差，表明计数能力反映更广泛的时序推理能力。
一个身份，多种角色：多模态实体指代用于增强视频情境识别
机构 * CVIT, IIIT Hyderabad, India（IIIT海得拉尔学院计算机视觉研究所，印度） ； Amazon Prime Video, Seattle（亚马逊Prime视频，西雅图）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出多模态实体指代（MEC）方法，通过结合文本和视频信息提升视频情境识别的准确性和一致性，实验结果显示在描述和视觉定位方面均取得显著提升。
Comments Accepted to CVPR 2026 Findings. Project Page: https://katha-ai.github.io/projects/cinemec/
多尺度对比学习用于视频时间定位
机构 * Institute of Data Science (IDS), National University of Singapore（数据科学研究所（IDS），新加坡国立大学） ； Tongji University（同济大学） ； Nanyang Technological University (NTU)（南洋理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出多尺度对比学习框架，通过多阶段视频编码器生成样本，无需数据增强或在线记忆库，提升视频时间定位的语义表达。
Comments Accepted at AAAI 2025
微双网：用于微动作识别的双路径时空网络
机构 * The Children’s Hospital of Philadelphia（费城儿童医院） ； University of Pennsylvania（宾夕法尼亚大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出双路径网络，通过并行的空间-时间（ST）和时间-空间（TS）路径处理人体部位，采用自适应路由和MAC损失提升微动作识别性能。
Comments Accepted to International Conference on Automatic Face and Gesture Recognition (FG)
时空趋炎附势：基于否定的欺骗性在视频大语言模型中的表现
机构 * Institute of Trustworthy Embodied AI, Fudan University Shanghai Key Laboratory of Multimodal Embodied AI（可信具身人工智能研究所，复旦大学上海多模态具身人工智能重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究视频大语言模型在面对否定性欺骗时的脆弱性，揭示其在时空推理中的错误修正机制，并提出GasVideo-1000基准测试集以评估模型的鲁棒性。
OmniZip：面向快速多模态大语言模型的音频引导动态令牌压缩
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出OmniZip，一种无需训练的音频引导多模态令牌压缩框架，通过动态压缩音频视频令牌提升推理速度和内存效率，保持模型性能。
Comments [CVPR 2026] Code Link: https://github.com/KD-TAO/OmniZip
RefereeBench: 视频多模态大语言模型是否准备好成为多项目裁判
机构 * Renmin University of China（中国人民大学） ； Sichuan University（四川大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出RefereeBench，首个评估多模态大语言模型作为自动体育裁判的基准，通过11项运动925个视频和6475对问答，评估犯规存在、分类、推理、实体感知和时间定位能力，发现当前模型在规则应用和时间定位上表现不足。
Comments Work in Progress
SurgMotion: 一种用于外科视频通用理解的视频原生基础模型
机构 * Center for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong, China（人工智能与机器人中心，香港科学与创新研究院，中国科学院，香港，中国） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，北京，中国） ； Computer Aided Medical Procedures, Technical University of Munich, Munich, Germany（医学辅助程序，慕尼黑技术大学，德国慕尼黑） ； Electronic Engineering Department, The Chinese University of Hong Kong, Hong Kong, China（电子工程系，香港中文大学，香港，中国） ； Neuromedical Centre, Hong Kong University Shenzhen Hospital, Shenzhen, China（神经医学中心，香港大学深圳医院，深圳，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Department of Respiratory Medicine, The First Affiliated Hospital of Sun Yat-sen University, Guangzhou, China（呼吸科，中山大学附属第一医院，广州，中国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SurgMotion通过引入视频原生基础模型，将学习范式从像素级重建转向潜在运动预测，通过三种关键技术改进提升外科视频理解能力，实验表明其在手术流程识别、动作三元组识别和技能评估等任务中均取得显著优势。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈