视频大模型

Identity as Presence: Towards Appearance and Voice Personalized Joint Audio-Video Generation

身份作为存在：迈向基于外观和声音的联合音频视频生成

Qin Chen, Yingjie Chen, Shilun Lin, Cai Xing, Binxin Yang, Long Zhou, Qixin Yan, Wenjing Wang, Dingming Liu, Hao Liu, Chen Li, Jing Lyu

机构 * Tencent Inc.（腾讯公司） ； Peking University（北京大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出一个统一的框架，实现身份感知的音频视频生成，通过数据整理管道和灵活的身份注入机制，提升生成内容的高保真度和一致性。

SignVerse-2M: A Two-Million-Clip Pose-Native Universe of 55+ Sign Languages

SignVerse-2M：包含55+种手语的两百万片段姿态原生数据集

Sen Fang, Hongbin Zhong, Yanxin Zhang, Dimitris N. Metaxas

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出SignVerse-2M，这是一个包含55+种手语、约200万片段的大规模多语言姿态原生手语数据集，适配现代姿态驱动的生成与识别范式，兼具真实场景适配性，可支撑多语言手语姿态建模与评估。

Comments Fix some typos. 13 pages. Project Page at: https://signerx.github.io/SignVerse-2M/

TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation

TIDE: 任务隔离扩散模型用于统一视频编辑与生成

Qi Liu, Gang Yue, Mingyu Yin, Lisai Zhang, Yidi Wu, Yaole Wang, Yaohui Wang, Chang Yao, Jingyuan Chen, Lin Ma

机构 * Zhejiang University（浙江大学） ； Bilibili Inc.（哔哩哔哩股份有限公司） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 提出TIDE统一框架，通过逐token任务嵌入和双路径条件机制，实现指令编辑、参考编辑和多参考生成，在多任务渐进训练下达到SOTA性能。

Convergence of Diffusion Models Under the Manifold Hypothesis in High-Dimensions

高维流形假设下扩散模型的收敛性

Iskander Azangulov, George Deligiannidis, Judith Rousseau

专题命中 视频扩散模型 ：video generation(abstract)

AI总结 该研究在流形假设下证明 DDPM 的分数学习和采样复杂度均实现与高维 ambient 空间维度无关的速率，通过建立扩散模型与高斯过程极值理论的新框架完成，解释了其经验成功。

Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

Robust-WAM：桥接生成式预训练与世界-动作模型中的语义前瞻

Haodong Yan, Junfeng Li, Junjie He, Zhide Zhong, MingMing Yu, Wenxuan Song, Jiaguan Zhu, Yangyang Zheng, Yuqiao Du, Jiadi You, Yingjie Cai, Xu Yan, Guanyi Zhao, Bingbing Liu, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beihang University（北京航空航天大学） ； Huawei Foundation Model Department（华为基础模型部门） 纠错

专题命中 动作与事件理解 ：video generation(abstract,abstract_cn)；分类 cs.CV

AI总结 Robust-WAM是一种通用后训练方法，在保留VAE生成路径的同时添加语义前瞻对齐，可提升多个WAM基线在分布外条件下的动作预测成功率且不损失分布内性能。

MotionStrata: Hierarchical Motion Latents for Compact Video Autoencoding

MotionStrata：用于紧凑视频自编码的分层运动隐变量

Wenzhang Sun, Huaize Liu, Chunfeng Wang, Biao Gong, Hao Li, Changqing Zou

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Li Auto ； Zhejiang Lab（浙江实验室） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 MotionStrata将运动预算分为全局与详细运动，在不增维度下实现分层表示，压缩时重建质量优于其他方法，为紧凑视频自编码提供新设计原则。

Vorch-Streamer: Extending Human Audio-Visual Generation to Real-Time Long-Form Streaming

Vorch-Streamer：将人类音视频生扩展至实时长格式流式生成

Menglin Han, Yang Ding, Yulei Lu, Haoran Yu, Xin Ma, Junyi Chen, Zhangkai Ni, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Tongji University（同济大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV

AI总结 Vorch-Streamer是一款后训练框架，通过混合训练、自强制与DMD蒸馏等技术，实现了超24 FPS的实时长格式T2AV流式音视频生成，兼具音唇同步性与身份保留能力。

Comments Project page: https://vorch-project.github.io/Vorch-Streamer-project/

ODEWorld: A Continuous Predictive Architecture via Physical-Time Flow

ODEWorld：一种基于物理时间流的连续预测架构

Dongxiu Liu, Haoyi Niu, Peng Cheng, Yuan Gao, Xirui Kang, Sangli Teng, Koushil Sreenath, Xianyuan Zhan

机构 * Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR）） ； Berkeley Artificial Intelligence Research (BAIR), University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究院（BAIR）） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)；分类 cs.CV

AI总结 研究针对现有世界建模机器学习范式局限于离散时间预测的问题，提出基于PT-Flow的连续时间潜在世界模型ODEWorld，解决表示崩溃问题，在视频生成和机器人控制任务中表现出色。