视频大模型

OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning

OSP-Next: 结合稀疏序列并行、HiF8量化和强化学习的高效高质量视频生成

Yunyang Ge, Xianyi He, Zezhong Zhang, Bin Lin, Bin Zhu, Xinhua Cheng, Li Yuan

机构 * Peking University（北京大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 提出OSP-Next文本到视频生成模型，通过混合全稀疏注意力架构、稀疏序列并行（SSP）、HiF8量化和混合GRPO后训练，在保持高质量的同时显著提升效率，在NVIDIA H200和Ascend 950PR上实现1.5倍以上加速。

LUVE : Latent-Cascaded Ultra-High-Resolution Video Generation with Dual Frequency Experts

LUVE：基于双频专家的潜在级联超高分辨率视频生成

Chen Zhao, Jiawei Chen, Hongyu Li, Zhuoliang Kang, Shilin Lu, Xiaoming Wei, Kai Zhang, Jian Yang, Ying Tai

机构 * Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出LUVE框架，通过三阶段潜在级联架构（低分辨率运动生成、潜在空间上采样、高分辨率内容精炼）结合双频专家，解决超高分辨率视频生成中的运动建模、语义规划和细节合成难题。

Comments ICML 2026

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation

Proprio: 用于物理合理视频生成的潜在自评分与推理时精炼

Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Télécom Paris（巴黎电信学院） 纠错

专题命中 视频生成 ：video generation(title)；text-to-video(abstract)；分类 cs.CV

AI总结 提出Proprio，一种无需训练框架，通过分析模型在潜在扰动下的流残差作为自评分信号，结合最佳N搜索和梯度自精炼，提升冻结视频生成器输出的物理合理性。

Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models

哪种预训练范式更有利于空间智能？视觉-语言模型与视频生成模型的实证比较

Haozhan Shen, Tiancheng Zhao, Kangjia Zhao, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Om AI Research（Om人工智能研究） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文通过冻结特征探测研究，系统比较了视觉-语言模型（VLM）和视频生成模型（VGM）在语义标注、实例分组和3D几何预测三个空间智能维度上的表现，发现两者互补且简单融合可提升整体性能。

Comments Code is here: \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}

MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic Expressiveness in Multi-Talker Audio-Video Generation

MTAVG-Bench 2.0：诊断多说话人音视频生成中电影表现力的失败模式

Haitian Li, Yanghao Zhou, Heyan Huang, Liangji Chen, YiMing Cheng, Xu Liu, Dian Jin, Jiajun Xu, Jingyun Liao, Tian Lan, Ziqin Zhou, Yueying Liu, Yu Bai, Changsen Yuan, Jinxing Zhou, Xian-Ling Mao, Xuefeng Chen, Yousheng Feng

机构 * Shanghai University（上海大学） ； Beijing Institute of Technology（北京理工大学） ； Shanghai Film Academy（上海电影学院） ； Tsinghua University（清华大学） ； Hefei University of Technology（合肥工业大学） ； Inkeverse Group Limited（Inkeverse集团有限公司） ； The University of Adelaide（阿德莱德大学） ； Beijing University of Technology（北京工业大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； OpenNLP Lab（OpenNLP实验室） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.MM

AI总结 针对多说话人音视频生成中电影表现力评估不足的问题，提出MTAVG-Bench 2.0基准，通过构建涵盖表演、叙事、氛围和视听语言的高层次失败分类体系及超过1万个问答实例，系统评估全模态大语言模型诊断复杂视听失败的能力。

SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control

SmartDirector: 基于关键帧的叙事节奏可控电影视频生成

Zhida Zhang, Jie Ma, Zhan Peng, Haoxue Wu, Yang Han, Jun Liang, Jie Cao, Jing Li

机构 * Youku Moku-Lab（优酷莫酷实验室） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出SmartDirector框架，通过多关键帧条件控制视频生成中的叙事结构和时间节奏，采用两阶段方法（Director-Gen生成低分辨率视频，Director-SR利用高分辨率关键帧细化细节），显著优于现有方法。

The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation

脚本即一切：一个用于长程对话到电影视频生成的智能体框架

Chenyu Mu, Xin He, Qu Yang, Wanshun Chen, Jiadi Yao, Huang Liu, Zihao Yi, Bo Zhao, Xingyu Chen, Ruotian Ma, Fanghua Ye, Erkun Yang, Cheng Deng, Zhaopeng Tu, Xiaolong Li, Linus

机构 * Tencent（腾讯） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 提出一个端到端智能体框架，通过训练ScripterAgent将对话转化为精细脚本，并利用DirectorAgent跨场景连续生成策略，实现长程对话到电影视频的连贯生成，显著提升脚本忠实度和时间保真度。

VideoCanvas: Unified Video Completion from Arbitrary Spatiotemporal Patches via In-Context Conditioning

VideoCanvas: 通过上下文条件化从任意时空补丁进行统一视频补全

Minghong Cai, Qiulin Wang, Zongli Ye, Wenze Liu, Quande Liu, Weicai Ye, Xintao Wang, Pengfei Wan, Kun Gai, Xiangyu Yue

机构 * MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Kling Team, Kuaishou Technology（快手技术有限公司Kling团队） 纠错

专题命中 视频生成 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 提出VideoCanvas框架，通过混合条件化策略（空间上使用零填充全帧画布编码，时间上使用Temporal RoPE插值）实现任意时空视频补全的统一任务，无需修改或重新训练VAE。

Comments Project page: https://onevfall.github.io/project_page/videocanvas

Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

Gamma-World: 超越双玩家的生成式多智能体世界建模

Fangfu Liu, Kai He, Tianchang Shen, Tianshi Cao, Sanja Fidler, Yueqi Duan, Jun Gao, Igor Gilitschenski, Zian Wang, Xuanchi Ren

机构 * NVIDIA ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一种生成式多智能体世界模型，通过Simplex Rotary Agent Encoding实现智能体置换等价性，并采用Sparse Hub Attention降低跨智能体注意力成本，支持多玩家交互视频生成。

Comments Project Page: https://research.nvidia.com/labs/sil/projects/gamma-world

Xiaomi Auto World Model: A Joint World Model Integrating Reconstruction and Generation for Autonomous Driving

小米自动驾驶世界模型：一个融合重建与生成的联合世界模型

Lijun Zhou, Hongcheng Luo, Zhenxin Zhu, Cheng Chi, Mingfei Tu, Kaixin Xiong, Lei Gong, Zhanqian Wu, Zehan Zhang, Fangzhen Li, Hao Li, Yingying Shen, Jiale He, Haohui Zhu, Shan Zhao, Kai Wang, Zhiwei Zhan, Yuechuan Pu, Kaiyuan Tan, Ruiling Yang, Xianqi Wang, Tianyi Yan, Jiawei Zhou, Lei Zhang, Jingyang Zhao, Xi Zhou, Chitian Sun, Chenming Wu, Jiong Deng, Hongwei Xie, Ming Lu, Kun Ma, Long Chen, Guang Chen, Hangjun Ye, Bing Wang, Haiyang Sun

机构 * Xiaomi（小米） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出一个统一技术系统，通过稀疏场景查询驱动的重建模块WorldRec和两阶段训练框架WorldGen，实现高保真3D场景表示与高质量因果视频生成，并联合优化以提升生成稳定性、跨帧一致性和视觉保真度。

What-If World: A Causal Benchmark for General World Models in Embodied Scenarios

What-If World: 具身场景中通用世界模型的因果基准

Kunlin Cai, Rui Song, Jinghuai Zhang, Kaiyuan Zhang, Pranav Bodapati, Alicia Yu, Fnu Suya, Mohammad Rostami, Jiaqi Ma, Yuan Tian

机构 * UCLA（加州大学洛杉矶分校） ； University of Tennessee（田纳西大学） ； Amazon（亚马逊） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出 What-If World 基准，通过成对提示测试视频生成模型在物理变化下的因果一致性，发现现有模型在因果干预上表现不佳。

Comments 38 pages, World Model Benchmark

RE-TRIANGLE: Does TRIANGLE Enable Multimodal Alignment Beyond Cosine Similarity in Retrieval?

RE-TRIANGLE：TRIANGLE 在检索中能否实现超越余弦相似度的多模态对齐？

Arijit Ghosh, Aritra Bandyopadhyay, Chiranjeev Bindra, Jingfen Qiao

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视频生成 ：text-to-video(abstract)；分类 cs.CV

AI总结 本文复现 TRIANGLE 框架，验证其通过最小化超球面上模态三元组面积实现多模态对齐的几何目标在检索任务中的鲁棒性，发现其在零样本设置下优于成对基线，但存在优化不稳定和领域依赖问题。

Refining Multidimensional Video Reward Models via Disentangled Influence Functions

通过解耦影响函数优化多维视频奖励模型

Muyao Wang, Zeke Xie, Hideki Nakayama

机构 * The University of Tokyo（东京大学） ； HKUST (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频生成 ：text-to-video(abstract)

AI总结 针对文本到视频生成任务中训练样本在不同评估维度上可靠性不一致的问题，提出解耦影响框架以估计维度特定监督风险，并设计维度解耦剪枝与重加权策略，显著提升多维视频奖励模型与真实标注的对齐效果。

GE-Sim 2.0: A Roadmap Towards Comprehensive Closed-loop Video World Simulators for Robotic Manipulation

GE-Sim 2.0：迈向机器人操作综合闭环视频世界模拟器的路线图

Boxiang Qiu, Liliang Chen, Yue Liao, Nan Wang, Lintao Wang, Jiayi Luo, Wenzhi Zhao, Shengcong Chen, Di Chen, Ye Li, Chen Gao, Shuicheng Yan, Si Liu, Maoqing Yao, Guanghui Ren

机构 * AgiBot ； BUAA（北京航空航天大学） ； LV-NUS Lab（国立大学理工学院实验室） ； TJU（天津大学） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 提出GE-Sim 2.0，一种基于动作条件视频生成的闭环视频世界模拟器，通过重新训练数千小时真实机器人数据并新增状态专家、世界裁判和加速框架三个模块，实现高保真动作跟随和轨迹覆盖，在WorldArena排行榜上以2B参数超越专用模型和通用视频生成器，并验证了基于其生成轨迹和奖励训练的策略在真实世界中的有效性。