图像生成

CoMoGen: COntrollable MOtion Dynamics and Interactions with Mask-Guided Video GENeration

CoMoGen: 基于掩码引导的视频生成的可控运动动力学与交互

Adil Meric, Lin Geng Foo, Mert Kiray, Benjamin Busam, Rishabh Dabral, Christian Theobalt

机构 * Technical University of Munich（慕尼黑技术大学） ； Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰信息校园） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Obsphera 纠错

专题命中 个性化与一致性 ：diffusion(abstract)；分类 cs.CV

AI总结 提出CoMoGen框架，通过轻量级MaskAdapter将二进制掩码序列编码为潜在残差信号注入MMDiT模型，并利用LoRA微调运动层，实现从单张图像和掩码序列生成逼真的交互运动，在运动保真度和感知真实性上达到最优。