AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
智能体超长视频理解
机构 * Reality Labs Research at Meta（Meta 实验室） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV
AI总结 针对智能眼镜等设备带来的长视频理解需求，以实体场景图为核心构建增强智能体框架EGAgent，实现结构化搜索、推理及跨模态能力，在相关数据集实验中取得较好表现。
Comments 29 pages, 8 figures, 8 tables
QSVideo：用于视频理解的查询条件语义时间检索
机构 * Michigan State University（密歇根州立大学）
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。
Comments ECCV 2026
VideoAgent: 视频理解与编辑的全能框架
机构 * South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） ； Snap Inc（Snap公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV
AI总结 提出VideoAgent，一种基于多智能体编排的全能框架，通过自动镜头创建和30多个专业编辑智能体，解决现有系统在长视频理解和多样化编辑操作上的局限，在VideoEdit基准上实现87-95%编排成功率并降低60% API成本。
Comments Preprint. Code available at https://github.com/HKUDS/VideoAgent
用于全模态密集视频字幕的并行自回归解码
机构 * National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV、cs.MM
AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。
Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner
GuideMe：流视频中的多域任务指导与干预
机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞））
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。
Comments ECCV 2026
DELTAVID：利用跨视频差异增强细粒度时空感知
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。
学习在视觉上连接动作及其效果
机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。
Comments WACV 2025 (Two Reviewer Nominations for Best Paper Candidate; Oral Presentation)
追踪噪声，移动世界：用于可控视频生成的3D地面运动一致噪声
机构 * Qualcomm AI Research（高通人工智能研究中心） ； Trinity College Dublin（都柏林三一学院）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 研究如何在视频生成中实现对物体和相机运动的精确统一控制。核心方法是构建统一框架UniCaMo，直接构造扩散模型输入噪声。主要贡献是在视频质量和运动可控性上取得先进成果，且无需对基础模型做大改动。
Comments Project Page: https://phongnhhn.info/Unicamo/
视频生成中的运动归因
机构 * NVIDIA ； Princeton University（普林斯顿大学） ； MIT（麻省理工学院） ； University of Michigan（密歇根大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所）
专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV、cs.MM
AI总结 研究视频生成模型中数据对运动影响，提出基于梯度的运动归因框架Motive，通过运动加权损失掩码分离静态外观和时间动态，用于研究微调剪辑对时间动态的影响及指导数据策划，提升视频运动质量。
Comments See the project website at https://research.nvidia.com/labs/sil/projects/MOTIVE/
视频生成模型是内在的光照估计器
机构 * Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； OpenBayes Information Technology Co., Ltd.（北京智谱华章科技有限公司）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究从单张自然视频恢复动态环境图的问题，核心方法是将光照估计重构为引导视频修复任务，贡献是提出V-LITE框架，能生成连贯HDR环境图，证明视频扩散模型可估计物理场景光照。
Comments Project Page: https://caiziqi.com/research/vlite/
灯光、相机、碳：视频生成能耗的架构缩放定律
机构 * University of Rhode Island, Sustainable AI Group（罗德岛大学，可持续人工智能小组） ； Sustainable AI Group（可持续人工智能小组）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；text-to-video(abstract)；分类 cs.MM
AI总结 提出双向框架，从架构原理和生成参数估算文本到视频等模型能耗。正向预测能耗，反向从推理时间恢复架构缩放行为，基于视频扩散模型性质证明能耗服从缩放定律，为模型可持续性基准测试提供框架。
Comments 17 pages
SVG-EAR：通过误差感知路由实现稀疏视频生成的无参数线性补偿
机构 * UC Berkeley（加州大学伯克利分校）
专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 研究视频生成中扩散变换器二次注意力成本瓶颈问题，提出SVG-EAR，利用语义聚类后块内键值相似性，通过质心近似跳过块，用误差感知路由计算需精确补偿块，提升质量效率权衡并提高吞吐量。
视频生成模型作为世界模型：高效的范式、架构和算法
机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Hong Kong Generative AI Research and Development Center（香港生成式人工智能研究与开发中心）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、eess.IV
AI总结 本文系统回顾了考虑效率的世界模拟视频生成框架，提出三维分类方法，展示提升效率对自动驾驶等应用的重要性，并指出高效视频生成向通用世界模拟器演进的关键性。
MV-Forcing：基于4D锚定时空自强制的长时长多视角视频生成
机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Cornell University（康奈尔大学）
专题命中 视频生成 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 针对动态场景长时多视角一致视频生成难题，提出MV-Forcing框架，融合时序与视角自回归，实现任意时长视角数的高一致性多视角视频生成。
Comments Accepted to ECCV 2026. Project webpage: https://galfiebelman.github.io/mv-forcing/
CineMobile：用于电影级相机运动生成的设备端图像到视频扩散
机构 * Shanghai Jiao Tong University（上海交通大学） ； Nankai University（南开大学） ； Transsion（传音）
专题命中 视频生成 ：video diffusion(title)；video generation(abstract)；分类 cs.CV
AI总结 针对移动设备图像到视频创作需求，提出CineMobile。采用蒸馏引导剪枝、扩散蒸馏与强化学习优化及混合后训练量化策略，在保持视觉质量的同时大幅加速生成，证明其在移动图像到视频创作中的实用性。
ProxyUp：用于可控动力学的免训练代理条件视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Inc.（华为公司）
专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV
AI总结 现代视频生成模型精确控制复杂动力学具挑战性。提出代理条件视频生成，以代理视频控制前景物体运动。基于预训练模型构建免训练框架ProxyUp，用区域潜在噪声和随机流松弛，实验表明其在动态保真度和文本对齐方面优于基线。
Comments Project Page: $\href{https://zanue.github.io/proxyup}{\text{this https URL}}$
几何互易性：解锁立体视频生成的自监督能力
机构 * Visual AI Lab, The University of Hong Kong, Hong Kong, China（香港大学视觉人工智能实验室）
专题命中 视频生成 ：video generation(title)；分类 cs.CV
AI总结 针对单目转立体任务中立体修复依赖稀缺标注数据的问题，提出几何互易性定理，构建自监督框架，从海量单目视频学习，性能远超现有无监督、监督SOTA方法。
Comments Accepted to ICML 2026. Project page: https://visual-ai.github.io/grt/
动态生成视频中3D空间几何一致性的测量
机构 * Tongji University（同济大学） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 视频生成 ：video generation(title)；分类 cs.CV
AI总结 本文提出SGC指标，用于评估动态生成视频中的3D空间几何一致性，通过分析多个相机姿态的分歧度来量化几何不一致问题，实验证实其能有效识别现有方法遗漏的关键故障。
Comments Accepted at ECCV 2026. Code is available at https://github.com/tj12323/SGC
InverseCrafter：作为潜在域逆问题的高效视频重新捕捉
机构 * Graduate School of AI, KAIST, South Korea（韩国釜山国立大学人工智能研究生院） ； EverEx, South Korea（韩国EverEx公司） ； Korea University, South Korea（韩国国立庆熙大学）
专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 提出InverseCrafter框架，将新视角视频生成转化为潜在空间基于图像修复的逆问题，通过轻量级潜在掩码编码器建立算子等价，无需标注4D训练数据，实现高效合成与编辑。
Comments ECCV 2026
$\nabla$NABLA：邻域自适应块级注意力
专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 本文提出NABLA，一种邻域自适应块级注意力机制，通过自适应稀疏性驱动阈值减少计算开销，保持生成质量，无需定制低层运算符，可无缝集成PyTorch的Flex Attention。实验表明，NABLA在训练和推理速度上提升2.7倍，几乎不牺牲定量指标和视觉质量。
Journal ref IEEE Access, vol. 14, pp. 64655-64665, 2026
自然语言相机运动理解
机构 * Boston University（波士顿大学） ； Pixocial Technology（皮克索西尔科技公司）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 研究自然语言相机运动理解问题，指出现有视觉语言模型在此任务上的不足。核心方法是建立分类法、基准和训练集。主要贡献是微调的VLM - 8B在基准测试中性能优于Gemini 3.1 Pro。
Comments Accepted to ECCV 2026
Pano2World: 通过统一多视图序列进行端到端三维生成
机构 * Ke Holdings Inc.（贝壳找房）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出Pano2World方法，利用全景扩散模型和视图感知注意力路由，从单张室内全景图直接生成可探索的三维高斯场景，解决多步管道误差累积和视频模型灵活性不足的问题。
Comments 10 pages, 3 figures, 3 tables. Preprint
DramaDirector: 几何引导的短剧生成
机构 * South China University of Technology（华南理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出几何引导框架DramaDirector，通过检索真实短剧的深度-姿态参考，结合模式约束SFT和GRPO训练规划器，实现从情节到多镜头短剧的生成，在忠实度、一致性和可控性上优于基线。
Comments 20 pages, 17 figures, 6 tables. Code is available at https://github.com/iLearn-Lab/DramaDirector
UniVideo：视频的统一理解、生成与编辑
机构 * University of Waterloo（多伦多大学） ； Kling Team, Kuaishou Technology（快手技术团队）
专题命中 视频生成 ：video generation(abstract)；分类 cs.CV
AI总结 提出UniVideo框架，采用双流设计，结合多模态大语言模型与多模态DiT进行视频生成等任务。统一多种视频任务于单范式，实验表明其性能出色，还支持任务组合与能力迁移，且发布了模型和代码。
Comments Project Website https://congwei1230.github.io/UniVideo/
HyperVAttention：用于视频扩散的具有时空聚类的高效稀疏注意力
机构 * KAIST（韩国科学技术院） ； Google Research（谷歌研究院）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；text-to-video(abstract)；分类 cs.CV
AI总结 针对视频扩散中自注意力机制的二次复杂度问题，提出HyperVAttention框架，通过3D局部窗口聚类等方法解决聚类开销大及CTA利用率低的瓶颈，提升视频扩散中无训练稀疏注意力的质量和速度。
Comments 21 pages, 8 figures
Flex-Forcing：迈向统一的自回归和双向视频扩散模型
机构 * NVIDIA（英伟达）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV
AI总结 研究针对现有视频生成方法推理范式僵化的问题，提出Flex-Forcing框架。核心是灵活分块机制，可依设备预算灵活分块，跨块双向推理与块内自回归生成，实验表明该框架提升了视频质量、稳定性并加快推理速度。
Comments Project page: https://research.nvidia.com/labs/genair/flex-forcing
奖励闪电：通过同源偏好蒸馏实现快速视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 视频扩散模型 ：video generation(title)；video diffusion(abstract)；分类 cs.CV
AI总结 研究视频扩散模型中同时进行偏好对齐和蒸馏加速的挑战，提出统一框架Reward Lightning，利用同源原理在共享表示中对齐和加速模型，介绍潜在奖励模型和同源偏好蒸馏，实验证明其有效性。
Comments Accepted by ECCV 2026
DreamShot: 基于视频扩散先验的个性化分镜合成
机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； ByteDance Intelligent Creation（字节跳动智能创作） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 DreamShot通过视频扩散先验实现可控的多镜头合成，支持文本到镜头和参考到镜头生成，提升叙事连贯性和角色一致性。
Comments Accepted by CVPR2026 as a Highlight paper
AnchorDream：将视频扩散用于具身感知机器人数据合成
机构 * Toyota Research Institute（丰田研究院） ； USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室）
专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV
AI总结 针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。
Comments Project page: https://jay-ye.github.io/AnchorDream/
Mask2Real-WM：作为可控灵巧世界模型的模拟到现实桥梁的分割掩码
机构 * Soft Robotic Lab, Department of Mechanical and Process Engineering ETH Zurich, Switzerland（苏黎世联邦理工学院机械与过程工程系软机器人实验室）
专题命中 视频扩散模型 ：video diffusion(abstract,abstract_cn)；分类 cs.CV
AI总结 提出Mask2Real-WM，一种用于灵巧操纵的两阶段动作条件世界模型，将像素预测解耦为动力学和渲染模型，利用分割空间较小的模拟到现实差距，通过合成数据预训练和真实演示微调实现各自由度动作可控。
Comments 23 pages, 24 figures, 4 tables. Preprint. Project page: https://srl-ethz.github.io/Mask2Real-WM/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈