多模态大模型

MoRoute: Dynamic Routing for In-Context Multimodal Video Generation

MoRoute：面向上下文多模态视频生成的动态路由

Chong Gao, Jie Ma, Zhan Peng, Chongxiao Wang, Haoxue Wu, Jun Liang, Guanbin Li, Jing Li

机构 * Sun Yat-sen University（中山大学） ； HUJING Digital Media & Entertainment Group（沪景数字媒体娱乐集团） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架，在三个基准数据集上均优于现有最优方法，提升了视频生成与编辑的性能。

Comments Project page: https://orange-3dv-team.github.io/MoRoute/

Faster but Different: Diagnosing and Controlling Content Drift in Accelerated Multimodal Diffusion Language Models

更快但不同：加速多模态扩散语言模型中的内容漂移诊断与控制

Yaoxuan Dou, Yang Shu

机构 * School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对加速多模态扩散语言模型的内容漂移问题，通过实验诊断出漂移源于过期状态，提出缩短KV缓存刷新区间的控制方法，在1.3倍加速时实现近乎完全一致，且未发现事实错误差异。

Comments 9 pages, 4 figures, 6 tables. Preprint

Diagnosing and Correcting Concept Omission in Multimodal Diffusion Transformers

诊断和纠正多模态扩散Transformer中的概念遗漏

Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon

机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, South Korea ； Department of Electrical ； Computer Engineering, Seoul National University, Seoul, South Korea ； Department of Computer Science \& Engineering, Korea University, Seoul, South Korea ； ISRC, Seoul National University, Seoul, South Korea 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过线性探测发现文本嵌入中存在表征目标概念缺失的“遗漏信号”，并提出遗漏信号干预（OSI）方法放大该信号以主动催化缺失概念的生成，在FLUX.1-Dev和SD3.5-Medium上显著缓解了概念遗漏问题。

Comments Accepted to ICML 2026

Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation

提示重注入：缓解多模态扩散变换器中的提示遗忘

Yuxuan Yao, Yuxuan Chen, Hui Li, Kaihui Cheng, Qipeng Guo, Yuwei Sun, Zilong Dong, Jingdong Wang, Siyu Zhu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究针对多模态扩散变换器中提示遗忘问题，提出一种无需训练的提示重注入方法，通过将早期层的提示表示重新注入到后期层，以提升指令遵循能力和生成质量。

Comments 19 pages

JoVA: Unified Multimodal Learning for Joint Video-Audio Generation and Editing

JoVA：联合视频音频生成的统一多模态学习

Xiaohu Huang, Haoyang He, Hao Zhou, Qiangpeng Yang, Shilei Wen, Kai Han

机构 * The University of Hong Kong（香港大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 JoVA通过联合自注意力机制和嘴巴区域损失，实现了高质量的视频音频生成，提升了嘴唇同步和语音质量。

Comments ECCV 2026

MMGRec: Multimodal Generative Recommendation with Transformer Model

MMGRec: 基于Transformer模型的多模态生成推荐

Han Liu, Yinwei Wei, Xuemeng Song, Weili Guan, Yuan-Fang Li, Liqiang Nie

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 MMGRec通过生成范式引入多模态推荐，利用分层量化和Transformer模型生成用户偏好的项目标识符，提升推荐效果。

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

生成式AI时代的深度伪造媒体生成与检测：综述与展望

Florinel-Alin Croitoru, Andrei-Iulian Hiji, Vlad Hondru, Nicolae Catalin Ristea, Paul Irofti, Marius Popescu, Cristian Rusu, Radu Tudor Ionescu, Fahad Shahbaz Khan, Mubarak Shah

机构 * Department of Computer Science, University of Bucharest（布加勒斯特大学计算机科学系） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Department of Computer Science, University of Central Florida（中佛罗里达大学计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 综述了深度伪造生成与检测技术，涵盖图像、视频、音频和多模态内容，构建了分类体系，并提出了新的多模态基准测试，发现现有检测器对未见生成器的深度伪造泛化能力不足。

Comments Accepted in ACM Computing Surveys

DuetHOI: Language-Guided Bimanual Hand--Object Motion Generation with Articulation Planning and Contact Refinement

StructBiHOI: 结构化关节建模用于长时程双臂手-物体交互生成

Zhi Wang, Yuyan Liu, Liu liu, Ruonan Liu, Ruixuan Liu

机构 * Hefei University of Technology（合肥工业大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 StructBiHOI通过结构化关节建模框架实现长时程双臂手-物体交互生成，提升稳定性和效率。

RAPiD: Reward-Guided Consistency Distillation of Diffusion Planners for Real-Time Autonomous Driving

RAPiD: 通过扩散行为先验实现安全高效的实时确定性轨迹规划

Ruturaj Reddy, Hrishav Bakul Barua, Junn Yong Loo, Thanh Thi Nguyen, Ganesh Krishnasamy

机构 * School of Information Technology, Monash University, Malaysia（墨尔本大学信息科技学院） ； Faculty of Information Technology, Monash University, Australia（墨尔本大学信息技术学院） ； TCS Research, India（印度TCS研究） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 RAPiD通过扩散行为先验实现高效安全的实时轨迹规划，优于现有方法。

Provable Diffusion Posterior Sampling for Bayesian Inversion

可证明的扩散后验采样用于贝叶斯反问题

Jinyuan Chang, Chenguang Duan, Yuling Jiao, Ruoxuan Li, Jerry Zhijian Yang, Cheng Yuan

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出了一种基于扩散的可证明后验采样方法，通过数据学习分数以捕捉先验分布结构，并提供非渐近误差界以确保复杂多模态后验分布的收敛性。