AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
OmniPro: 一个全面的多模态流视频理解基准测试
机构 * Renmin University of China（中国人民大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 本文提出OmniPro基准测试，旨在评估多模态感知、主动响应和多样视频理解任务，通过2700个经人类验证的样本覆盖9个子任务和3个认知层次，揭示音频在流视频理解中的关键作用及模型在长时间任务中的鲁棒性问题。
Comments Project page: https://ruixiangzhao.github.io/OmniPro
稀疏到密集：一种无损加速视频理解的LLM免费午餐
机构 * Singapore Management University（新加坡国立管理学院） ； Sea AI Lab（Sea AI实验室） ； National University of Singapore（国立新加坡大学）
专题命中 视频理解 ：video understanding(title)；分类 cs.CV
AI总结 本文提出了一种名为Sparse-to-Dense（StD）的解码策略，通过结合稀疏top-K注意力和密集全注意力模块，实现视频大语言模型（Video-LLMs）的无损加速，从而在处理长视频序列时显著提高处理速度。
Comments Accepted by ACL 2025
OmniSelect: 动态模态感知的令牌压缩用于高效多模态大语言模型
机构 * Soochow University（苏州大学） ； Peking University（北京大学）
专题命中 视频理解 ：video understanding(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出OmniSelect，一种无需训练的模态自适应令牌剪枝框架，通过动态选择压缩策略来提高多模态大语言模型的效率，通过轻量级AudioCLIP模型估计跨模态相关性，并根据相关性得分在不同时间组中进行细粒度令牌剪枝，从而在不增加训练成本的情况下实现高效的多模态令牌压缩。
SPATIOROUTE: 动态提示路由用于零样本空间推理
机构 * National Taiwan University（台湾国立大学） ； Delta Robotics Innovation Center（Delta机器人创新中心）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出SpatioRoute，一种动态提示生成方法，通过语义定制的提示模板路由问题，无需额外训练或3D传感器输入，在零样本设置下提升空间推理性能，同时发现Chain-of-Thought提示在空间视频理解中效果不佳。
Comments 10 pages, 2 figures, 2nd Workshop on 3D-LLM/VLA, CVPR 2026
多模态大语言模型是否准备好用于监控？对零样本异常检测在现实中的检验
机构 * Electrical and Computer Engineering Department（电气与计算机工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文研究了多模态大语言模型在现实中的零样本异常检测性能，发现其存在保守偏差，通过特定指令可以提升F1分数，但召回率仍是关键瓶颈。
Fourier Compressor: 频域视觉令牌压缩用于视觉-语言模型
机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Noah’s Ark Lab（诺亚实验室） ； Huawei Technologies Ltd.（华为技术有限公司） ； School of Computer Science（计算机科学学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出了一种基于频域的视觉令牌压缩策略，通过傅里叶变换减少计算开销并提升效率，同时保持语义准确性，实验表明其在图像和视频任务中均表现出色。
VVitCutLER: 向视频中无监督的目标检测和分割迈进
机构 * RPTU University of Kaiserslautern-Landau（莱茵-瓦尔德大学凯撒斯劳滕-兰道分校） ； German Research Center for Artificial Intelligence（德国人工智能研究中心）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究提出VVitCutLER框架，通过引入时间一致性提升视频中伪标签的质量，从而改进目标检测和实例分割的性能，减少时间不稳定性。
Comments 11 figures, cvpr workshop
StreamPro: 从反应式感知到主动决策的流视频处理
机构 * AIM3 Lab, Renmin University of China（中国人民大学AIM3实验室） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 StreamPro通过引入CB-Stream损失和GRPO算法，提升流视频处理的主动决策能力，在StreamPro-Bench上取得显著成效，性能优于先前最佳。
AtlasVid: 通过解耦的全局-局部建模实现高效超高清长视频生成
机构 * Dartmouth College（达特茅斯学院）
专题命中 视频生成 ：video generation(title,abstract)；long video(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出AtlasVid框架，通过解耦建模提升超高清长视频生成效率，实现60.9倍加速和更低训练成本，优于原生4K生成器。
GeoFlow: 在视频生成中强制隐式几何一致性
机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 本文提出GeoFlow，一种通过强化学习微调来增强视频生成中几何一致性的方法，通过引入几何一致性奖励，有效减少时间上的几何伪影，同时保持感知质量。
Comments Project Page: https://geometryflow.github.io/
Omni-Customizer: 用于联合音频-视频生成的端到端多模态定制
机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM
AI总结 本文提出Omni-Customizer，一种端到端多模态定制框架，旨在实现精确的多模态身份信息绑定和无缝融合，通过引入Omni-Context Fusion模块和Masked TTS Cross-Attention机制，提升多模态定制生成的性能。
Genflow Ad Studio：一种用于品牌一致、自我纠正视频生成的复合AI架构
机构 * Google（谷歌）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM
AI总结 本文提出Genflow Ad Studio，一种复合AI架构，通过品牌DNA提取模块和对抗性多代理质量控制循环，提高了品牌一致的视频生成效率，将合规率从42%提升到89%。
Comments 6 pages, 2 figures, 2 tables. Accepted to the ACM Conference on AI and Agentic Systems (CAIS '26). Includes demo video and code repository links
Journal ref ACM Conference on AI and Agentic Systems (CAIS '26), May 26-29, 2026, San Jose, CA, USA
面向机器人操作的几何感知4D视频生成
机构 * Stanford University（斯坦福大学） ； Toyota Research Institute（丰田研究院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种几何感知的4D视频生成模型，通过跨视角点图对齐进行训练，以确保生成视频在多视角下的3D一致性，从而在单个RGB-D图像输入下生成时空一致的未来视频序列，并在不依赖相机姿态的情况下实现稳定的视觉和空间对齐预测。
Comments ICLR 2026; Project website: https://robot4dgen.github.io
3DPhysVideo: 通过3D场景重建和物理模拟的一致性引导流SDE用于视频生成
机构 * KAIST（韩国科学技术院）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 本文提出了一种无需训练的管道，通过3D场景重建和物理模拟生成逼真视频，利用一致性引导流SDE分解预测速度以确保条件输入的一致性，从而在多物体和流体交互场景中实现从单张图像到物理合理视频的过渡。
Comments Project page: https://hwidong-kim.github.io/projects/3DPhysVideo
基于扩散模型的图像到视频生成与轨迹引导的视频重建
机构 * Department of Electrical and Computer Engineering, National Technical University of Athens, Greece（电气与计算机工程系，希腊国家技术大学雅典分校） ； Department of Product and Systems Design Engineering, University of the Aegean, Syros, Greece（产品与系统设计工程系，爱琴海大学锡罗斯分校）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出利用预训练的图像到视频扩散模型，通过GPS轨迹引导生成无人机视频的缺失或丢失帧，无需领域特定微调，展示了在低纹理和小目标条件下视频重建的有效性。
Comments Accepted at the 1st Workshop on Multi-Sensor Trajectory Knowledge Discovery and Extraction (MuseKDE 2026), co-located with the 27th IEEE International Conference on Mobile Data Management (IEEE MDM 2026)
SURF: 保留特征的快速视频生成
专题命中 视频生成 ：video generation(title,abstract)
AI总结 本文提出SURF框架，通过保留原始模型的显著特征，高效生成高分辨率视频，同时减少计算步骤，提升生成速度。
Comments Project Website: https://kxding.github.io/project/SURF/
PhyAVBench: 一个具有挑战性的音频物理敏感性基准，用于物理基础的文本到音频视频生成
机构 * HKUST(GZ)（香港科技大学（广州）） ； Tencent（腾讯）
专题命中 视频生成 ：video generation(title)
AI总结 本文提出PhyAVBench，一个用于评估文本到音频视频生成、图像到音频视频生成和视频到音频生成模型中音频-物理基础能力的基准，通过引入新的数据集和评估方法，揭示了当前模型在物理合理音频生成方面的不足。
Comments 6 major physical dimensions, 41 fine-grained test points, 337 groups of variable-controlled test samples, 11,605 newly recorded videos
StreamingEffect: 实时以人为中心的视频效果生成
机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室）
专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 本文提出StreamingEffect框架，通过实时视频到视频编辑技术，在保持人类身份、背景内容和时间一致性的同时添加表现性效果，并构建了最大的以人为中心的视频效果数据集VideoEffect-130K，实现了单块H200 GPU上的实时高质量720p视频编辑。
通过轨迹感知缓存加速修正流模型
机构 * Shanghai Jiao Tong University（上海交通大学） ； Academy of Military Science（军事科学院） ； Huawei Technologies Ltd（华为技术有限公司）
专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 本文提出TACache框架，通过轨迹感知缓存技术，在无需训练的情况下加速生成高保真图像和视频，通过分解速度场并补偿误差，实现更高的采样速度。
Comments 22 pages,14 figures
Aurora: 一种基于工具使用的统一视频编辑框架
机构 * MIT-IBM（MIT-IBM研究院） ； NVIDIA（NVIDIA公司）
专题命中 视频生成 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出Aurora框架，通过结合增强的视觉语言模型（VLM）代理和统一视频扩散变换器，解决视频编辑中的文本和视觉不充分问题，提升了视频编辑的灵活性和准确性。
Comments Code: https://github.com/yeates/Aurora
InstructAV2AV：基于指令的音频视频联合编辑
机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Peking University（北京大学）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出InstructAV2AV，首个端到端的指令引导音频视频联合编辑框架，通过构建大规模音频视频编辑数据集InsAVE-80K和改进的生成模型，实现了更高质量的音频视频联合编辑。
PhyDetEx: 检测和解释T2V模型的物理合理性
机构 * Zeqing Wang 1,3（王泽清 1,3） ； Keze Wang 1（王凯泽 1） ； Lei Zhang 2（张磊 2）
专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV
AI总结 本文提出PhyDetEx，通过构建PID数据集和轻量级微调方法，评估T2V模型在生成物理合理视频方面的性能，并发现尽管模型在视频生成上有所进步，但理解并遵循物理定律仍存在挑战。
Comments 23 pages, 10 figures
Soap2Soap：通过多智能体协作实现长 cinematic 视频重制
机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） ； University of Oxford（牛津大学） ； Lovart AI（Lovart人工智能）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本研究提出 Soap2Soap 框架，通过多智能体协作实现长 cinematic 视频重制，解决视频到视频生成中长期一致性与叙事保真度的问题。
DEVIS-GRPO：释放GRPO用于动态极视合成
机构 * Xidian University（西安电子科技大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（人工智能国家重点实验室，BIGAI）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出DEVIS-GRPO，一种基于GRPO的框架，用于轨迹控制的视频生成，是首个在线策略梯度方法用于极视视频生成。核心方法是新颖的采样策略ADEVIS，通过逐步积累小视增量实现大视运动，提高了训练效率和采样多样性。
用于噪声和任务级流形学习的Transformer：近似和泛化见解
机构 * School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系） ； Department of Mathematics, Purdue University（普渡大学数学系） ； Department of Mathematics and Halicioğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校数学系和Halicioğlu数据科学研究所）
专题命中 视频生成 ：video generation(abstract)
AI总结 本文研究了Transformer在噪声和任务级流形上的学习性能，证明了其在低维结构中泛化能力与任务级流形的内在维度密切相关。
聚焦强制：面向内容的每帧KV选择用于高效的自回归视频扩散
机构 * SJTU（上海交通大学） ； SDU（山东大学） ； HUST（华中科技大学） ； UTokyo（东京大学） ； HKUST（香港科技大学） ； SCUT（上海大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV
AI总结 本文提出了一种无需训练的KV选择方法，通过结合注意力分数和历史帧的多样性分数，保留最相关和有区别的历史帧，从而在不牺牲质量的情况下提高自回归视频扩散的效率。
AdaptiveLoad: 向高效视频扩散变换器训练迈进
机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Tianjin University（天津大学）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)
AI总结 本文提出AdaptiveLoad框架，通过双约束自适应负载平衡系统和融合LayerNorm-Modulate CUDA内核，解决视频生成模型中大规模视频扩散变换器（如DiT和MMDiT）训练中的计算不平衡问题，实验显示其在Wan 2.1世界模型上提升了计算效率和训练吞吐量。
图像到视频扩散：从基础到开放前沿
机构 * IEEE Publication Technology Group（IEEE出版技术组）
专题命中 视频扩散模型 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 本文研究了图像到视频扩散生成的核心问题，通过梳理任务定义、模型架构、数据集和评估指标，提出了一种基于架构和训练范式的分类方法，并总结了四个核心设计：条件编码、时间建模、噪声先验设计和空间时间上采样，探讨了代表性应用场景和主要开放挑战。
设定舞台：基于文本的场景一致图像生成
机构 * Global Business Unit, Baidu Inc.（百度公司全球业务部）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文研究了场景构建任务，通过结合参考场景图像和文本条件生成符合空间关系的演员图像，提出了一种新的数据构建管道和对应关系引导的注意力损失，以提高场景一致性和文本-图像一致性。
VideoNeuMat: 从生成视频模型中提取神经材料
机构 * University of Manchester（曼彻斯特大学） ； NVIDIA（NVIDIA公司） ； University of California Santa Barbara（加州大学圣巴bara分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 VideoNeuMat通过两阶段流程从视频扩散模型中提取可重用的神经材料，利用可控相机和光照轨迹生成材料样本视频，并通过大型重建模型重建紧凑的神经材料，实现超越合成训练数据的现实感和多样性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈