视频大模型

MMControl: Unified Multi-Modal Control for Joint Audio-Video Generation

MMControl: 多模态控制用于联合音频视频生成

Liyang Li, Wen Wang, Canyu Zhao, Tianjian Feng, Zhiyue Zhao, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 本文提出MMControl，通过双流条件注入机制实现联合音频视频生成的多模态控制，支持视觉和听觉信号的精细控制，提升跨模态对齐效果。

Comments Accepted to ECCV 2026. Project page: https://aim-uofa.github.io/MMControl/

Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation

Unison：和谐运动、语音和声音以实现以人为中心的音频视频生成

Shihao Cheng, Jiaxu Zhang, Quanyue Song, Shansong Liu, Zhizhi Guo, Xiaolei Zhang, Chi Zhang, Xuelong Li, Zhigang Tu

机构 * DeepMind ； OpenAI 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 Unison通过显式促进运动、语音和声音模态的协调，解决音频视频生成中模态不一致的问题，提升感知质量和跨模态同步性能。

EcoVideo: Entropy-Orchestrated Video Generation Paradigm in Cloud-Edge Dynamics

EcoVideo: 云边动态中的熵编排视频生成范式

Jiayu Chen, Hengyi Zhang, Maoliang Li, Minyu Li, Zihao Zheng, Xuanzhe Liu, Guojie Luo, Xiang Chen

机构 * School of Computer Science, Peking University, China（北京大学计算机科学学院，中国） ； State Key Lab of Multimedia Information Processing, Peking University, China（北京大学多媒体信息处理国家重点实验室，中国） ； International School, Beijing University of Posts and Telecommunications, China（北京邮电大学国际学院，中国） ； School of Information Science and Technology, Beijing Forestry University, China（北京林业大学信息科学与技术学院，中国） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出EcoVideo框架，利用自注意力熵进行无训练帧选择，云大模型去噪关键帧，边轻量模型插值重建，自适应调整预算和深度，实现2.9倍端到端加速。

Comments EcoVideo is honored to be accepted by ECCV 2026

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

OmniDance: 基于大规模互联网数据的多模态驱动舞蹈视频生成

Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

机构 * Renmin University of China（中国人民大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Malou Tech Inc（Malou科技公司） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出CIPE-Dance大规模舞蹈视频数据集和OmniDance框架，通过深度感知架构、课程学习和条件引导策略，实现文本、音乐及多模态驱动的舞蹈视频生成，达到最优性能。

Comments Accepted by ECCV 2026

RefAlign: Representation Alignment for Reference-to-Video Generation

RefAlign：参考到视频生成的表示对齐

Lei Wang, YuXin Song, Ge Wu, Haocheng Feng, Hang Zhou, Jingdong Wang, Yaxing Wang, Jian Yang

机构 * PCA Lab, VCIP, College of Computer Science, Nankai University（南开大学计算机学院VCIP实验室PCA Lab） ； Baidu Inc.（百度公司） ； PCA Lab, School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院PCA Lab） ； College of Artificial Intelligence, Jilin University（吉林大学人工智能学院） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 RefAlign通过显式对齐DiT参考分支特征与视觉基础模型的语义空间，提升参考生成的准确性与可控性，实验表明其在R2V任务中优于现有方法。

Comments Accepted to ECCV 2026;Code: https://github.com/gudaochangsheng/RefAlign Project: https://gudaochangsheng.github.io/RefAlign-Page/

Walking in the Implicit: Interactive World Exploration via Neural Scene Representation

行走于隐空间：通过神经场景表示进行交互式世界探索

Zhiqi Li, Chengrui Dong, Zhenhua Du, Hangning Zhou, Cong Qiu, Hailong Qin, Mu Yang, Dongxu Wei, Peidong Liu

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Afari Intelligent Drive（Afari智能驾驶） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出以场景为中心的交互式视频生成范式，将生成变量从帧隐变量改为可渲染的固定长度隐状态（神经隐式场景），通过紧凑场景状态随机转移和确定性姿态条件渲染实现长程一致性。

Comments ECCV 2026

A Good Talk Does not Look Like a Summary, It Teaches You! Measuring Takeaways from Paper-to-Video Talks

好的演讲不像摘要，它教你！衡量论文到视频演讲的收获

Ishani Mondal, Aparna Garimella, Ananya Sai, Pannaga Shivaswamy, Jordan Boyd-Graber

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； Adobe Research（Adobe研究） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.MM

AI总结 提出EffectivePresentationScorer框架，通过评估解释清晰度、背景概念引入和细节与贡献的关联，衡量论文讲解视频的教学质量，发现现有视频生成系统缺乏解释性。

Comments Under Submission

Lumos-Nexus: Efficient Frequency Bridging with Homogeneous Latent Space for Video Unified Models

Lumos-Nexus: 面向视频统一模型的高效频率桥接与同质潜在空间

Jiazheng Xing, Hangjie Yuan, Lingling Cai, Xinyu Liu, Yujie Wei, Fei Du, Tao Feng, Hai Ci, Jiasheng Tang, Weihua Chen, Fan Wang, Yong Liu

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Hupan Lab（虎扑实验室） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出Lumos-Nexus框架，通过两阶段训练和渐进频率桥接，在保持推理能力的同时显著提升视频生成保真度。

Comments ECCV 2026 Camera-Ready Version. Project page (https://jiazheng-xing.github.io/nexus-lumos-home/) and Code (https://github.com/alibaba-damo-academy/Lumos-Custom/) are available

Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems

在视频生成模型中评估牛顿力学

Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出Morpheus框架，通过真实物理系统评估视频生成模型对牛顿力学的理解能力，揭示当前模型在物理原理编码上的不足。

Comments Forty-Third International Conference on Machine Learning (ICML 2026)