InterDyad: Interactive Dyadic Speech-to-Video Generation by Querying Intermediate Visual Guidance
InterDyad:通过查询中间视觉指导实现交互式双人语音到视频生成
机构 * Baidu Inc.(百度公司)
专题命中 VLM训练与架构 :multimodal large language model(abstract);MLLM(abstract);分类 cs.CV
AI总结 本文提出InterDyad框架,通过查询结构运动指导实现自然交互动态合成,解决双人场景中跨个体依赖和精细行为控制问题,提出交互性注入器、元查询模态对齐机制和角色感知双人高斯指导等方法,提升唇形同步和空间一致性。
Comments Project Page: https://interdyad.github.io/