AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
BiWM：利用双向自回归推进开源交互式视频世界模型
机构 * LynnReal AI ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出BiWM框架，通过双向自回归范式将预训练视频骨干转化为交互式世界模型，仅需两阶段训练（微调+分布匹配蒸馏），支持多尺度模型和长程生成，优于现有因果流水线。
PhyMAGIC：基于置信度引导的大语言模型的物理运动感知生成推理
机构 * Department of Computer Science \& Engineering, University of Nevada, Reno, USA School of Software Technology, Zhejiang University, China
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 针对3D内容生成中动态模型物理一致性问题，PhyMAGIC提出无需训练的框架，整合图像到视频扩散模型、大语言模型置信度引导推理及可微物理模拟器，通过迭代优化和模拟反馈生成物理一致的运动，性能优于现有方法。
Comments This work is accepted by ECCV 2026
VIGOR: 面向视频几何的时序生成对齐奖励
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出基于几何的奖励模型，利用预训练几何基础模型通过跨帧重投影误差评估多视图一致性，以点方式计算误差，并引入几何感知采样策略，通过后训练和推理时优化对齐视频扩散模型，提升生成视频的几何一致性。
Comments Project Page: https://vigor-geometry-reward.com/
跨分辨率分布匹配的扩散蒸馏
机构 * Huawei（华为） ； Nanjing University of Science and Technology（南京理工大学） ； HiThink Research（海康研究院）
专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV
AI总结 提出跨分辨率分布匹配蒸馏（RMD）框架，通过logSNR映射和分布匹配弥合分辨率间隙，实现高保真、少步数多分辨率级联推理，在SDXL和Wan2.1-14B上分别加速33.4倍和25.6倍。
VS3R：基于深度三维重建的鲁棒全帧视频稳定
机构 * Hunan University（湖南大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出VS3R框架，结合前馈三维重建与生成式视频扩散，通过联合估计相机参数、深度和掩码，并引入混合稳定渲染模块和稳定驱动扩散模型，实现高保真全帧视频稳定，在鲁棒性和视觉质量上显著优于现有方法。
PA-VAD: 基于扩散的伪异常视频异常检测通过域对齐记忆更新
机构 * KDDI Research, Inc.（KDDI研究所）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出PA-VAD框架，仅用真实正常视频和扩散合成伪异常视频训练检测器，通过域对齐正则化模块（DARM）消除伪异常特征偏差，在多个基准上超越使用真实异常视频的方法。
Comments Accepted to ECCV 2026
相位对齐的混合分辨率扩散Transformer旋转位置编码
机构 * Stony Brook University（石溪大学） ； UNC-Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 针对混合分辨率token在RoPE中注意力分数异常的问题，提出无训练机制PMA，通过统一位置尺度稳定注意力，并引入边界细化模块提升局部连贯性，在图像和视频扩散模型中提升视觉质量与计算效率。
Comments Accepted to ECCV 2026. Project page: https://hao-yu-wu.github.io/mixed_res/
绝对尺度下的场景生成：利用文本的语义和几何引导实现精确且可解释的3D室内场景生成
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出GuidedSceneGen框架，通过文本预测全局3D布局并利用全景扩散模型和视频扩散模型生成绝对尺度的室内场景，实现高一致性、可导航的3D重建。
即时表达性高斯头部虚拟化身，帧率超过100 FPS
机构 * University of California, San Diego（加州大学圣地亚哥分校） ； NVIDIA（英伟达）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出一种前馈编码器流水线，将单张野外图像转换为3D一致、快速且富有表现力的可动画化表示，通过轻量级局部融合策略实现高动画表现力，运行速度达107.31 FPS。
Comments Project website is https://research.nvidia.com/labs/amri/projects/instant4d
两步物理：在视觉细化之前锁定运动先验会擦除它们
机构 * National Institute of Standards and Technology（国家标准与技术研究院）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文发现图像到视频扩散模型在两步生成中比多步生成具有更好的物理一致性，通过频谱分析将原因归结为去噪过程中的相位侵蚀，并提出无需训练的PhaseLock框架，通过从两步推理中提取运动先验并利用潜在增量引导强制到高保真生成中，有效缓解相位退化，提升物理一致性平均6.2点，同时保持视觉保真度且开销极小。
Comments ICML 2026
iTryOn: 通过空间-语义引导掌握交互式视频虚拟试穿
机构 * Shenzhen Campus of Sun Yat-sen University ； Taobao \& Tmall Group of Alibaba
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出iTryOn框架，通过空间-语义引导解决交互式视频虚拟试穿中的语义模糊和复杂服装变形问题，实现了更动态可控的虚拟试穿体验。
Comments Project Page: https://zhengjun-ai.github.io/itryon-page. Accepted by ICML 2026
MPMWorlds: 用于推断和外推物理动力学的物质点法模拟
机构 * Cornell University（康奈尔大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 通过构建2D物质点法（MPM）模拟数据集，研究从视频推断物理动力学并外推时间演化的能力，比较代码生成与视频扩散方法的优劣。
Comments 16 pages, 13 figures. Project page: https://zzigak.github.io/mpmworlds/
Pixel Cube: 基于扩散的肖像视频重光照通过真实感光照再现
机构 * George Mason University（乔治·马歇尔大学） ； LightThought LLC ； Columbia University（哥伦比亚大学）
专题命中 视频扩散模型 ：video diffusion(abstract)；分类 cs.CV
AI总结 提出一种基于扩散的方法，利用混合训练数据集和HDR环境图控制，实现动态肖像视频的真实感重光照，保持时间一致性和身份特征。
Comments ACM SIGGRAPH 2026 Journal Track / ACM Transactions on Graphics, 17 pages. Project page: https://yufanzhang82.github.io/PixelCube/
Journal ref ACM Trans. Graph. 45, 4, Article 119 (July 2026), 17 pages
高维流形假设下扩散模型的收敛性
专题命中 视频扩散模型 ：video generation(abstract)
AI总结 该研究在流形假设下证明 DDPM 的分数学习和采样复杂度均实现与高维 ambient 空间维度无关的速率，通过建立扩散模型与高斯过程极值理论的新框架完成，解释了其经验成功。
预训练视频模型作为可微物理模拟器用于城市风流
机构 * ETH Zurich（苏黎世联邦理工学院） ； Tel Aviv University（特拉维夫大学） ； TU Darmstadt（达姆施塔特工业大学）
专题命中 视频扩散模型 ：video diffusion(abstract)
AI总结 本文提出WinDiNet，一种预训练视频扩散模型，用于快速模拟城市风流，通过反向传播优化建筑布局以提升风安全性和行人舒适度。
ImagineUAV：通过世界-动作建模和动力学规划实现空中视觉语言导航
机构 * Pengcheng Laboratory（鹏城实验室） ； School of Computer Science and Cyber Engineering（计算机科学与网络工程学院） ； Guangzhou University（广州大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 视频扩散模型 ：video diffusion(abstract)
AI总结 针对无人机视觉语言导航中几何不一致和动力学失配问题，提出基于潜视频扩散模型的世界-动作建模框架，通过生成未来观测推断6自由度运动并规划无碰撞轨迹，以1.3B参数在基准和实际飞行中超越先前方法。
Comments Video demo: https://www.youtube.com/watch?v=Ng1alP0yhc0
NeMo：视频语言理解中的蒙太奇之针
机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视频问答 ：video-language(title,abstract)；分类 cs.CV
AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。
HiMu: 面向长视频问答的分层多模态帧选择
机构 * INSIGHT Lab, Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学INSIGHT实验室，以色列） ； Ben-Gurion University of the Negev, Israel（本-古里安内盖夫大学，以色列）
专题命中 视频问答 ：long video(title)；分类 cs.CV
AI总结 提出HiMu框架，通过文本LLM将查询分解为层次逻辑树，由视觉和音频专家处理原子谓词，经模糊逻辑算子组合生成连续帧满意度曲线，在16帧预算下达到帧选择方法的最优精度，并作为即插即用模块提升多种MLLM性能。
ChainReaction：用于模块化和可解释因果关系视频问答的因果链引导推理
机构 * Institute of High Performance Computing, Agency for Science, Technology and Research, Singapore（新加坡高性能计算研究所，科技研究局） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（科技研究局前沿人工智能研究中心，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（新加坡南洋理工大学计算与数据科学学院）
专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV
AI总结 针对现有因果关系视频问答模型的问题，提出新的模块化范式，将因果推理与答案生成解耦，引入自然语言因果链，介绍两阶段架构及生成因果链方法，新指标，实验证明该方法性能优越。
Comments CVPR 2026
CaST-Bench：面向视频问答的因果链时空推理基准
机构 * Woven by Toyota（丰田公司） ； The University of Tokyo（东京大学）
专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV
AI总结 提出CaST-Bench基准，通过构建包含因果链时空标注的数据集和评估指标，系统评测视觉语言模型在视频因果推理中的细粒度证据定位能力。
Comments CVPR 2026
保持证据链：面向视频时序定位的无训练令牌剪枝的语义证据分配
机构 * University of Warwick（沃里克大学） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊人工智能研究院）
专题命中 视频问答 ：video-language(abstract)；分类 cs.CV
AI总结 提出SemVID无训练剪枝框架，通过证据保留和连接强度原则选择对象、运动和上下文令牌，在仅保留12.5%视觉令牌时保持95.4% mIoU，实现5.8倍预填充加速。
Comments Project at https://jiaqili404.github.io/SemVID
Journal ref The 19th European Conference on Computer Vision (ECCV 2026)
ReFoCUS: 用于上下文理解的强化引导帧优化
机构 * Korea Advanced Institute of Science & Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV
AI总结 提出ReFoCUS框架，首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中，通过自回归和查询条件选择架构学习帧选择策略，无需显式帧级监督，提升视频问答推理准确性。
Comments Project page: https://interlive-team.github.io/ReFoCUS/
Robust-WAM：桥接生成式预训练与世界-动作模型中的语义前瞻
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beihang University（北京航空航天大学） ； Huawei Foundation Model Department（华为基础模型部门）
专题命中 动作与事件理解 ：video generation(abstract,abstract_cn)；分类 cs.CV
AI总结 Robust-WAM是一种通用后训练方法，在保留VAE生成路径的同时添加语义前瞻对齐，可提升多个WAM基线在分布外条件下的动作预测成功率且不损失分布内性能。
MobileWAM：用前瞻链将世界动作模型（WAM）与移动操作任务对接
机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR）） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； AIR Wuxi Innovation Center, Tsinghua University（清华大学AIR无锡创新中心） ； The University of Adelaide（阿德莱德大学） ； Wuhan University（武汉大学） ； Southeast University（东南大学） ； Beijing Jiaotong University（北京交通大学） ； Fudan University（复旦大学） ； Li Auto（理想汽车） ； School of Information, Renmin University of China（中国人民大学信息学院）
专题命中 动作与事件理解 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV
AI总结 MobileWAM是一种混合Transformer架构，通过前瞻链（CoF）解决移动操作的异质动态问题，在ManiSkill-HAB上超越SOTA策略，可微调至真实移动操作机器人且泛化性强。
模仿人类认知，掌握多图像推理：增强视觉理解的元动作框架
机构 * East China Normal University（华东师范大学） ； ByteDance（字节跳动）
专题命中 动作与事件理解 ：video understanding(abstract)；video reasoning(abstract)；分类 cs.CV
AI总结 提出受人类认知启发的元动作框架CINEMA，将多图像推理分解为五个结构化元动作，结合检索树采样和两阶段强化学习，在多个基准上超越GPT-4o。
Comments Accepted by CVPR 2026
弹出式干扰揭示视频大语言模型中的事件袋行为
机构 * Texas A&M University（德克萨斯A&M大学） ； National Taiwan University（台湾国立大学） ； Stanford University（斯坦福大学） ； VinUniversity（文大学）
专题命中 动作与事件理解 ：video understanding(abstract)；分类 cs.CV
AI总结 通过插入无关广告片段，发现视频大语言模型常将不同片段的事件错误关联，表现出将视频视为事件集合而非时间序列的“事件袋”行为。
EchoStyle: 通过反向数据合成解锁高保真视频风格化
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Alibaba Group（阿里巴巴集团） ； Xi’an Jiaotong University（西安交通大学）
专题命中 动作与事件理解 ：long video(abstract)；分类 cs.CV
AI总结 提出EchoStyle框架，通过构建视频到视频架构、自动反向合成数据集V-Style20k和初始跟随模式机制，解决视频风格化中的内容泄露、数据稀缺和长视频适应性问题，实现高质量任意长度视频风格化。
MotionStrata：用于紧凑视频自编码的分层运动隐变量
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Li Auto ； Zhejiang Lab（浙江实验室） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV
AI总结 MotionStrata将运动预算分为全局与详细运动，在不增维度下实现分层表示，压缩时重建质量优于其他方法，为紧凑视频自编码提供新设计原则。
ActionParty：生成视频游戏中的多主体动作绑定
机构 * Snap Research（Snap研究院） ； University of Oxford（牛津大学） ； University of Toronto（多伦多大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学）
专题命中 动作与事件理解 ：video diffusion(abstract)；分类 cs.CV
AI总结 本文提出ActionParty，一种可控制多主体的生成视频游戏世界模型，通过引入主体状态标记和空间偏置机制，提升动作关联准确性与身份一致性。
Comments ECCV 2026 - Project page: https://action-party.github.io/
MoHallBench: 视频大语言模型中运动幻觉的基准测试
机构 * Xiamen University（厦门大学） ； South China University of Technology（华南理工大学） ； Peking University（北京大学）
专题命中 动作与事件理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出MoHallBench基准，系统评估视频大语言模型中的运动幻觉，涵盖共现先验、顺序推理和相似混淆三类来源，揭示动作识别与幻觉抵抗的解耦现象。
Comments 19 pages, 5 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈