多模态大模型

DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models

DiffThinker: 向基于扩散模型的生成多模态推理迈进

Zefeng He, Xiaoye Qu, Yafu Li, Tong Zhu, Siyuan Huang, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DiffThinker通过基于扩散模型的生成方法，在多模态推理任务中实现了更高效的视觉推理和更精确的空间处理，显著优于现有模型。

Comments Project page: https://diffthinker-project.github.io

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

LiveTalk: 通过改进的在线策略蒸馏实现实时多模态交互视频扩散

Ethan Chern, Zhulin Hu, Bohao Tang, Jiadi Su, Steffi Chern, Zhijie Deng, Pengfei Liu

机构 * SII SJTU GAIR 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出LiveTalk系统，通过改进的在线策略蒸馏实现实时多模态交互视频生成，显著提升效率和质量。

OmniGen: Unified Multimodal Sensor Generation for Autonomous Driving

OmniGen：面向自动驾驶的统一多模态传感器生成

Tao Tang, Enhui Ma, xia zhou, Letian Wang, Tianyi Yan, Xueyang Zhang, Kun Zhan, Peng Jia, XianPeng Lang, Jia-Wang Bian, Kaicheng Yu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Westlake University（西湖大学） ； Li Auto Inc.（Li汽车公司） ； The University of Toronto（多伦多大学） ； University of Macau（澳门大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 OmniGen通过统一框架生成对齐的多模态传感器数据，结合共享BEV空间和UAE方法，实现高效且灵活的传感器生成。

Comments ACM MM 2025

EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture

EMMA: 一种高效的多模态理解、生成与编辑统一架构

Xin He, Longhui Wei, Jianbo Ouyang, Minghui Liao, Lingxi Xie, Qi Tian

机构 * Huawei Inc.（华为公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 EMMA提出了一种高效的统一多模态架构，通过高效自编码器、通道级拼接、共享解耦网络和专家混合机制，在效率和性能上超越现有方法。

Comments Project Page: https://emma-umm.github.io/emma/

MPath: Multimodal Pathology Report Generation from Whole Slide Images

MPath：从全切片图像生成多模态病历报告

Noorul Wahab, Nasir Rajpoot

机构 * TIA Centre, Department of Computer Science, University of Warwick, UK（沃里克大学计算机科学系TIA研究中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MPath通过多模态条件化方法，利用预训练的生物医学语言模型生成病理报告，展示了在病理报告生成中的有效性与可扩展性。

Comments Pages 4, Figures 1, Table 1

DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance

DuetSVG：基于内部视觉引导的统一多模态SVG生成

Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu

机构 * City University of Hong Kong（香港城市大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DuetSVG通过端到端生成图像和SVG标记，结合内部视觉引导提升SVG生成质量，实现视觉忠实与语义一致的统一多模态生成。

Comments Project page: https://intchous.github.io/DuetSVG-site

SlideGen: Collaborative Multimodal Agents for Scientific Slide Generation

SlideGen：用于科学幻灯片生成的协作多模态智能体

Xin Liang, Xiang Zhang, Yiwei Xu, Siqi Sun, Chenyu You

机构 * Stony Brook University（石溪大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SlideGen通过协作多模态智能体实现科学论文到高质量幻灯片的生成，提升视觉质量和内容忠实度。

UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation

UnityVideo: 一体化多模态多任务学习以增强世界感知视频生成

Jiehui Huang, Yuechen Zhang, Xu He, Yuan Gao, Zhi Cen, Bin Xia, Yan Zhou, Xin Tao, Pengfei Wan, Jiaya Jia

机构 * HKUST（香港科技大学） ； CUHK（香港中文大学） ； Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 多模态生成 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力，引入动态噪声化和模态切换器，实现更全面的世界知识表示。

Comments Project Website https://jackailab.github.io/Projects/UnityVideo

Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models

缓解统一多模态模型持续学习中的模态内和模态间遗忘

Xiwen Wei, Mustafa Munir, Radu Marculescu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出MoDE，通过解耦模态以缓解统一多模态模型中的模态内和模态间遗忘问题。

Comments NeurIPS 2025

TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models

TUNA: 降低统一视觉表示以适应原生统一多模态模型

Zhiheng Liu, Weiming Ren, Haozhe Liu, Zijian Zhou, Shoufa Chen, Haonan Qiu, Xiaoke Huang, Zhaochong An, Fanny Yang, Aditya Patel, Viktar Atliha, Tony Ng, Xiao Han, Chuyan Zhu, Chenyang Zhang, Ding Liu, Juan-Manuel Perez-Rua, Sen He, Jürgen Schmidhuber, Wenhu Chen, Ping Luo, Wei Liu, Tao Xiang, Jonas Schult, Yuren Cong

机构 * Meta BizAI ； University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TUNA通过统一视觉表示提升多模态模型的性能，实现端到端理解和生成任务的高效处理。

Comments Project page: https://tuna-ai.org/

Hybrid-DMKG: A Hybrid Reasoning Framework over Dynamic Multimodal Knowledge Graphs for Multimodal Multihop QA with Knowledge Editing

Hybrid-DMKG: 一种基于动态多模态知识图谱的混合推理框架用于多模态多跳问答与知识编辑

Li Yuan, Qingfei Huang, Bingshan Zhu, Yi Cai, Qingbao Huang, Changmeng Zheng, Zikun Deng, Tao Wang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Hybrid-DMKG通过动态多模态知识图谱实现多跳问答中的准确推理，提升对知识更新的鲁棒性。

Comments Accepted by AAAI 2026

VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction

VQRAE：用于多模态理解、生成和重建的表示量化自编码器

Sinan Du, Jiahao Guo, Bo Li, Shuhao Cui, Zhengzhuo Xu, Yifu Luo, Yongxian Wei, Kun Gai, Xinggang Wang, Kai Wu, Chun Yuan

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VQRAE通过统一的分词器生成连续语义特征和离散标记，提升多模态理解、生成和重建的性能。

Comments 19 pages, 10 figures

VinciCoder: Unifying Multimodal Code Generation via Coarse-to-fine Visual Reinforcement Learning

VinciCoder：通过粗到细的视觉强化学习统一多模态代码生成

Xuanle Zhao, Deyang Jiang, Zhixiong Zeng, Lei Chen, Haibo Qiu, Jing Huang, Yufeng Zhong, Liming Zheng, Yilin Cao, Lin Ma

机构 * Meituan（美团） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VinciCoder通过粗到细的视觉强化学习框架，统一多模态代码生成，实现最先进的性能，超越现有开源模型。

Comments 15 pages, 11 figures

Canvas-to-Image: Compositional Image Generation with Multimodal Controls

画布到图像：利用多模态控制的组合图像生成

Yusuf Dalva, Guocheng Gordon Qian, Maya Goldenberg, Tsai-Shien Chen, Kfir Aberman, Sergey Tulyakov, Pinar Yanardag, Kuan-Chieh Jackson Wang

机构 * Snap Inc. ； UC Merced（加州大学默塞德分校） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Canvas-to-Image通过统一框架整合多模态控制，提升图像生成的组合性和控制精度。

Comments 24 pages; webpage: https://snap-research.github.io/canvas-to-image/

CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion

通过统一多模态视频扩散实现可控视频生成

Dianbing Xi, Jiepeng Wang, Yuanzhi Liang, Xi Qiu, Jialun Liu, Hao Pan, Yuchi Huo, Rui Wang, Haibin Huang, Chi Zhang, Xuelong Li

机构 * State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 CtrlVDiff通过统一多模态视频扩散模型，实现可控视频生成，支持多模态输入并提升生成的可控性和保真度。

Comments 27 pages, 18 figures, 9 tables. Project page: https://tele-ai.github.io/CtrlVDiff/

From Generation to Detection: A Multimodal Multi-Task Dataset for Benchmarking Health Misinformation

从生成到检测：一个多模态多任务数据集用于基准测试健康误信息

Zhihao Zhang, Yiran Zhang, Xiyue Zhou, Liting Huang, Imran Razzak, Preslav Nakov, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； University of Sydney（悉尼大学） ； UTS（UTS大学） ； MBZUAI 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出MM Health数据集，包含人类和AI生成的多模态健康误信息，用于基准测试可靠性检查、原创性检查和细粒度AI检测。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 24245-24260, 2025

MammothModa2: A Unified AR-Diffusion Framework for Multimodal Understanding and Generation

MammothModa2: 一种用于多模态理解和生成的统一AR-扩散框架

Tao Shen, Xin Wan, Taicai Chen, Rui Zhang, Junwen Pan, Dawei Lu, Fanding Lei, Zhilin Lu, Yunfei Yang, Chen Cheng, Qi She, Chang Liu, Zhenbang Sun

机构 * ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MammothModa2通过统一的AR-扩散框架实现多模态理解和生成，结合自回归语义规划与扩散生成，取得文本到图像和指令编辑的优异表现。

Towards Efficient Multimodal Unified Reasoning Model via Model Merging

通过模型合并实现高效的多模态统一推理模型

Qixiang Yin, Huanjin Yao, Jianghao Chen, Jiaxing Huang, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） ； Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部交互技术与体验系统重点实验室） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Tiny-R1V通过两阶段优化和模型合并方法，实现高效多模态推理，提升轻量模型在多种任务中的性能。

Comments Technical report, Code will be available at https://github.com/buptyqx/Tiny-R1V

A Smart-Glasses for Emergency Medical Services via Multimodal Multitask Learning

Liuyi Jin, Pasan Gunawardena, Amran Haroon, Runzhi Wang, Sangwoo Lee, Radu Stoleru, Michael Middleton, Zepeng Huo, Jeeeun Kim, Jason Moats

机构 * Computer Engineering, Texas A\&M University 3 Texas A\&M University Emergency Medical Services (EMS), 4 Biomedical Data Science, Stanford University, 5 Texas A\&M School of Public Health 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 eess.AS

Integrating Genomics into Multimodal EHR Foundation Models

Jonathan Amar, Edward Liu, Alessandra Breschi, Liangliang Zhang, Pouya Kheradpour, Sylvia Li, Lisa Soleymani Lehmann, Alessandro Giulianelli, Matt Edwards, Yugang Jia, David Nola, Raghav Mani, Pankaj Vats, Jesse Tetreault, T. J. Chen, Cory Y. McLean

机构 * Verily Life Sciences（Verily生命科学公司） ； Nvidia（英伟达公司） ； Google（谷歌公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Novel Diffusion Models for Multimodal 3D Hand Trajectory Prediction

Junyi Ma, Wentao Bao, Jingyi Xu, Guanzhong Sun, Xieyuanli Chen, Hesheng Wang

机构 * IRMV Lab, the Department of Automation, Shanghai Jiao Tong University（IRMV实验室，自动化系，上海交通大学） ； Meta Reality Labs（Meta现实实验室） ； the Department of Electronic Engineering, Shanghai Jiao Tong University（电子工程系，上海交通大学） ； the School of Information and Control Engineering, China University of Mining and Technology（信息与控制工程学院，中国矿业大学） ； the College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted to IROS 2025

VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学） ； IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology（IT-BT融合技术部，越南-韩国科学技术院） ； TADI Global Lab, TADI Global Company Limited（TADI全球实验室，TADI全球公司） ； Faculty of Finance, Banking Academy of Vietnam（金融学院，越南银行学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments 7 pages, 3 figures, 3 tables, FAIR 2025 conference

EVLM: Self-Reflective Multimodal Reasoning for Cross-Dimensional Visual Editing

Umar Khalid, Kashif Munir, Hasan Iqbal, Azib Farooq, Jing Hua, Nazanin Rahnavard, Chen Chen, Victor Zhu, Zhengping Ji

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Technical Report

Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning

NVIDIA, :, Mayank Mittal, Pascal Roth, James Tigue, Antoine Richard, Octi Zhang, Peter Du, Antonio Serrano-Muñoz, Xinjie Yao, René Zurbrügg, Nikita Rudin, Lukasz Wawrzyniak, Milad Rakhsha, Alain Denzler, Eric Heiden, Ales Borovicka, Ossama Ahmed, Iretiayo Akinola, Abrar Anwar, Mark T. Carlson, Ji Yuan Feng, Animesh Garg, Renato Gasoto, Lionel Gulich, Yijie Guo, M. Gussert, Alex Hansen, Mihir Kulkarni, Chenran Li, Wei Liu, Viktor Makoviychuk, Grzegorz Malczyk, Hammad Mazhar, Masoud Moghani, Adithyavairavan Murali, Michael Noseworthy, Alexander Poddubny, Nathan Ratliff, Welf Rehberg, Clemens Schwarke, Ritvik Singh, James Latham Smith, Bingjie Tang, Ruchik Thaker, Matthew Trepte, Karl Van Wyk, Fangzhou Yu, Alex Millane, Vikram Ramasamy, Remo Steiner, Sangeeta Subramanian, Clemens Volk, CY Chen, Neel Jawale, Ashwin Varghese Kuruttukulam, Michael A. Lin, Ajay Mandlekar, Karsten Patzwaldt, John Welsh, Huihua Zhao, Fatima Anes, Jean-Francois Lafleche, Nicolas Moënne-Loccoz, Soowan Park, Rob Stepinski, Dirk Van Gelder, Chris Amevor, Jan Carius, Jumyung Chang, Anka He Chen, Pablo de Heras Ciechomski, Gilles Daviet, Mohammad Mohajerani, Julia von Muralt, Viktor Reutskyy, Michael Sauter, Simon Schirm, Eric L. Shi, Pierre Terdiman, Kenny Vilella, Tobias Widmer, Gordon Yeoman, Tiffany Chen, Sergey Grizan, Cathy Li, Lotus Li, Connor Smith, Rafael Wiltz, Kostas Alexis, Yan Chang, David Chu, Linxi "Jim" Fan, Farbod Farshidian, Ankur Handa, Spencer Huang, Marco Hutter, Yashraj Narang, Soha Pouya, Shiwei Sheng, Yuke Zhu, Miles Macklin, Adam Moravanszky, Philipp Reist, Yunrong Guo, David Hoeller, Gavriel State

机构 * NVIDIA 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

Comments Code and documentation are available here: https://github.com/isaac-sim/IsaacLab

Exploring Multimodal Perception in Large Language Models Through Perceptual Strength Ratings

Jonghyun Lee, Dojun Park, Jiwoo Lee, Hoekeon Choi, Sung-Eun Lee

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

Comments Published in IEEE Access

Journal ref IEEE Access, vol. 13, pp. 176751-176769, 2025

E-MMDiT: Revisiting Multimodal Diffusion Transformer Design for Fast Image Synthesis under Limited Resources

Tong Shen, Jingai Yu, Dong Zhou, Dong Li, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（Advanced Micro Devices公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Emu3.5: Native Multimodal Models are World Learners

Yufeng Cui, Honghao Chen, Haoge Deng, Xu Huang, Xinghang Li, Jirong Liu, Yang Liu, Zhuoyan Luo, Jinsheng Wang, Wenxuan Wang, Yueze Wang, Chengyuan Wang, Fan Zhang, Yingli Zhao, Ting Pan, Xianduo Li, Zecheng Hao, Wenxuan Ma, Zhuo Chen, Yulong Ao, Tiejun Huang, Zhongyuan Wang, Xinlong Wang

机构 * BAAI（百度人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments project page: https://emu.world

An Efficient Remote Sensing Super Resolution Method Exploring Diffusion Priors and Multi-Modal Constraints for Crop Type Mapping

Songxi Yang, Tang Sui, Qunying Huang

机构 * Department of Geography（地理系） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

Comments 41 pages

Speak to a Protein: An Interactive Multimodal Co-Scientist for Protein Analysis

Carles Navarro, Mariona Torrens, Philipp Thölke, Stefan Doerr, Gianni De Fabritiis

机构 * Acellera Labs（Acellera实验室） ； ICREA, Universitat Pompeu Fabra（ICREA、庞培法布拉大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

GarmageNet: A Multimodal Generative Framework for Sewing Pattern Design and Generic Garment Modeling

Siran Li, Ruiyang Liu, Chen Liu, Zhendong Wang, Gaofeng He, Yong-Lu Li, Xiaogang Jin, Huamin Wang

机构 * Zhejiang Sci-Tech University ； Style3D Research Hangzhou China ； State Key Lab of CAD\&CG, Zhejiang University ； Shanghai Jiao Tong University Shanghai China ； State Key Lab of CAD\&CG, Zhejiang University Hangzhou China ； Style3D Research ； Shanghai Jiao Tong University 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

Comments 23 pages,20 figures

Journal ref ACM Trans. Graph. 44, 6, Article 216 (2025)