AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
聚焦何处：用于长视频理解的查询调节多模态关键帧选择
机构 * Department of CSE, HKUST（香港科技大学计算机科学与工程系）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video reasoning(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出Q-Gate框架，通过动态模态路由解决长视频理解中关键帧选择问题，有效抑制模态噪声，提升多模态大语言模型的推理能力。
Comments 9 pages, 7 figures, 9 tables. Preprint
用于长视频理解的视频面板
机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；video-language(abstract)；分类 cs.CV
AI总结 本文提出一种无需训练的视觉提示策略，通过将多帧组合成图像以换取时间分辨率，提升了长视频理解模型的性能，实验表明在多个基准上效果显著。
Comments CVPR 2026
VIDEOP2R：从感知到推理的视频理解
机构 * USC（USC大学） ； Amazon（亚马逊） ； Keystone AI
专题命中 视频理解 ：video understanding(title)；video language model(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 VIDEOP2R提出一种过程感知的视频RFT框架，通过三步流程生成高质量CoT数据集，并引入PA-GRPO算法提升视频推理性能，实现在七个基准中的六个达到SotA水平。
Comments CVPR Findings 2026
LLaVA-Octopus：解锁指令驱动的自适应投影器融合用于视频理解
机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； Tongyi Group, Alibaba（阿里巴巴通义集团）
专题命中 视频理解 ：video understanding(title,abstract)；long video(abstract)；分类 cs.CV
AI总结 LLaVA-Octopus通过根据用户指令动态调整不同视觉投影器的特征权重，提升视频理解任务的性能，实验表明其在多个基准测试中表现优异。
Comments 18 pages, 10 figures
渐进式在线视频理解与证据对齐的透明决策
机构 * University of Science and Technology of China（中国科学技术大学） ； Harvard University（哈佛大学） ； Department of CV, MBZUAI（MBZUAI计算机视觉部门） ； Dalian University of Technology（大连理工大学） ； Stanford University（斯坦福大学） ； Chicago University（芝加哥大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出一种新型框架，通过分离推理控制与记忆整合，解决在线视频理解中的决策透明、时间对齐和计算预算限制问题，显著提升了性能。
EasyVideoR1: 更容易的视频理解强化学习
机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出EasyVideoR1框架，通过高效预处理、统一奖励系统和混合训练策略，提升视频理解任务的训练效率与性能。
VideoThinker：构建具有LLM引导工具推理的智能视频大语言模型
机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） ； Shanghai AI Lab（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(abstract)；long video(abstract)；分类 cs.CV
AI总结 VideoThinker通过合成工具交互轨迹构建大规模视频与工具推理数据集，提升长视频理解能力，优于传统语言模型和视频模型基线。
时空趋炎附势：基于否定的欺骗性在视频大语言模型中的表现
机构 * Institute of Trustworthy Embodied AI, Fudan University Shanghai Key Laboratory of Multimodal Embodied AI（可信具身人工智能研究所，复旦大学上海多模态具身人工智能重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究视频大语言模型在面对否定性欺骗时的脆弱性，揭示其在时空推理中的错误修正机制，并提出GasVideo-1000基准测试集以评估模型的鲁棒性。
OmniZip：面向快速多模态大语言模型的音频引导动态令牌压缩
机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Ant Group（蚂蚁集团） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出OmniZip，一种无需训练的音频引导多模态令牌压缩框架，通过动态压缩音频视频令牌提升推理速度和内存效率，保持模型性能。
Comments [CVPR 2026] Code Link: https://github.com/KD-TAO/OmniZip
具有对齐检测和局部细化的自纠正文本到视频生成
机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； NTU Singapore（新加坡国立大学） ； Allen Institute for AI（人工智能研究院） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 本文提出VideoRepair框架，通过检测并修正视频与文本提示的对齐问题，提升生成质量。框架分为三个阶段，保留正确生成区域并针对性修正错误部分，有效提升多种对齐指标。
Comments Accepted to ACL 2026 Findings. Project page: https://video-repair.github.io
通过AI反馈提升文本到视频生成中动态物体交互
机构 * Google DeepMind（谷歌DeepMind） ； The University of Tokyo（东京大学） ； Stanford University（斯坦福大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)；分类 cs.CV
AI总结 本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量，提出利用视觉语言模型提供针对性反馈，实验表明该方法在视频交互场景质量上有显著提升。
Comments Website: https://sites.google.com/view/aif-dynamic-t2v/
SCMAPR: 自校正多智能体提示精修用于复杂场景文本到视频生成
机构 * HiThink Research（HiThink研究院） ； East China Normal University（华东师范大学） ； Guangzhou University（广州大学） ； Tsinghua University（清华大学）
专题命中 视频生成 ：text-to-video(title,abstract)；video generation(title)
AI总结 本文提出SCMAPR框架，通过多智能体分阶段精修提升复杂场景下的文本到视频生成质量，实验表明在VBench和EvalCrafter等基准上平均得分提升显著。
推测解码用于自回归视频生成
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文探讨了推测解码在自回归视频生成中的应用，通过引入SDVG框架，利用图像质量路由替代token验证，实现高效视频生成，同时保持高质量并提升生成速度。
FrameDiT：基于矩阵注意力的扩散变换器用于高效视频生成
机构 * Applied Artificial Intelligence Initiative, Deakin University, Australia（德肯大学应用人工智能倡议，澳大利亚） ； FPT Smart Cloud, Vietnam（越南FPT智能云） ； Deakin University, Australia（德肯大学，澳大利亚）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出Matrix Attention，通过将帧视为矩阵来处理视频生成中的时空动态，结合FrameDiT-G和FrameDiT-H模型，在保持效率的同时提升了视频质量和时间一致性。
Comments Code: https://github.com/minhkhoale/FrameDiT Accepted at CVPR 2026 Findings
AdaCluster：用于视频生成中稀疏注意力的自适应查询-键聚类
机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Independent Researcher（独立研究员） ； University of Macau（澳门大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 针对视频扩散变换器的高推理延迟问题，提出AdaCluster框架，通过自适应聚类方法提升生成速度并保持精度。
Comments CVPR 2026 poster
CamPVG：基于视图控制的全景视频生成与视图感知扩散
机构 * Tongji University（同济大学） ； DAMO Academy, Alibaba Group（阿里达摩院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出CamPVG，首个基于视图控制的全景视频生成框架，通过全景Plücker嵌入和视图感知模块提升生成视频的质量与一致性。
Comments SIGGRAPH Asia 2025
LIVE: 利用图像篡改先验知识进行基于指令的视频编辑
机构 * Nankai University（南开大学） ； Pengcheng Laboratory（鹏城实验室） ； Kuaishou Technology（快手科技） ； Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)（南开国际先进研究院（深圳·福田））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出LIVE框架，结合大规模高质量图像编辑数据和视频数据提升编辑能力，通过帧级噪声策略和两阶段训练策略，构建包含60多项挑战性任务的评估基准，实验表明方法达到SOTA。
通过分离前向和逆向动力学预训练实现解耦的机器人学习
机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） ； Shanghai Innovation Institute（上海创新研究院） ； Tsinghua University（清华大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出DeFI框架，通过分离前向和逆向动力学预训练，利用不同数据源解决视觉-动作耦合问题，实现端到端微调，实验表明在CALVIN ABC-D和SimplerEnv上取得最佳性能。
Comments ICLR 2026
EditVerse：通过上下文学习统一图像和视频编辑与生成
机构 * Adobe Research（Adobe研究院） ； CUHK（中国香港大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出EditVerse框架，通过统一token序列实现图像和视频生成编辑，利用自注意力机制实现跨模态知识迁移，实验表明其在视频编辑任务中达到SOTA水平。
Raven: 通过视频基础评估重新思考Scratch程序的自动化评估
专题命中 视频生成 ：video generation(abstract)
AI总结 Raven通过视频生成规则替代传统断言，实现Scratch程序的自动化评估，提升评估的一致性和可扩展性。
DisCa：通过与知识蒸馏兼容的可学习特征缓存加速视频扩散变换器
机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文英） ； Xidian University（西安电子科技大学）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 本文提出一种与知识蒸馏兼容的可学习特征缓存机制，用于加速视频扩散变换器，通过轻量级可学习神经预测器提升高维特征演化过程的准确性，并采用保守的受限均值流方法实现更稳定无损的知识蒸馏，从而将加速边界推至11.8倍同时保持生成质量。
Comments 18 pages, 8 figures; cvpr2026 paper
视频扩散模型的潜在压缩变分自编码器
机构 * Aalto University（阿alto大学） ； ELLIS Institute Finland（ELLIS研究所芬兰） ； University of Oulu（奥卢大学）
专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV
AI总结 本文提出一种潜在压缩方法，通过去除视频潜在表示中的高频成分而非直接减少通道数，提升视频生成质量与压缩效率。
Comments Accepted to CVPR 2026 findings
RainFusion2.0: 基于时序-空间感知与硬件高效性的块状稀疏注意力
机构 * Huawei Technologies Co., Ltd（华为技术有限公司） ； The Hong Kong University of Science and Technology（香港科技大学）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出RainFusion2.0，通过块状均值代表token预测稀疏掩码、时空感知token排列及首帧sink机制，实现视频和图像生成模型的高效稀疏注意力，实验表明在保持视频质量的同时，达到80%的稀疏度和1.5~1.8倍的加速效果。
基于生成PDE基础模型的流推进
机构 * Department of Mechanical Engineering（机械工程系） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 视频扩散模型 ：video diffusion(abstract)
AI总结 本文提出Flow Marching算法，结合物理动力学误差分析，构建生成PDE基础模型，通过联合采样噪声和时间步长，学习统一速度场以减少长期漂移并实现不确定性感知的生成。同时引入P2VAE和FMT提升效率，实现大规模预训练。
Comments This work has been substantially expanded and superseded by arXiv:2602.11229
当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学）
专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。
MUSEG：通过时间感知多段定位增强视频时间理解
机构 * THUNLP-MT
专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV
AI总结 MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。
ProfVLM：一种轻量级视频-语言模型用于多视角技能评估
机构 * Free University of Bozen-Bolzano（博洛尼亚-博兹纳自由大学） ； University of Trento（特伦托大学）
专题命中 动作与事件理解 ：video-language(title)；分类 cs.CV
AI总结 本文提出ProfVLM，一种轻量级视频-语言模型，通过生成式视觉-语言建模实现多视角技能评估，兼具生成自然语言反馈与定量评分，参数更少且训练更快。
Journal ref Computer Vision and Image Understanding, Volume 268, 2026
TemporalVLM：长视频中的时间推理视频大语言模型
机构 * Retrocausal, Inc.（Retrocausal公司）
专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV
AI总结 本文提出TemporalVLM，一种用于长视频时间推理和细粒度理解的视频大语言模型，通过时间感知编码和BiLSTM模块实现全局特征聚合，并引入IndustryASM数据集进行评估。
Comments Accepted to ACL 2026
OASIS：按需分层事件记忆用于流媒体视频推理
机构 * Sun Yat-sen University（中山大学） ； OPPO AI Center（OPPO人工智能中心） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室）
专题命中 长视频与时序推理 ：video reasoning(title,abstract)；分类 cs.CV
AI总结 OASIS通过结构化按需检索解决流媒体视频推理中记忆检索的挑战，提升长周期准确性和组合推理能力。
Comments Accepted by CVPR 2026
T-REN：学习文本对齐的区域标记以提高密集视觉-语言对齐和可扩展性
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV
AI总结 T-REN通过文本对齐的区域标记提升密集视觉-语言对齐和可扩展性，实验证明在多个任务中性能提升显著同时大幅降低token数量。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈