多模态大模型

SldprtNet: A Large-Scale Multimodal Dataset for CAD Generation in Language-Driven 3D Design

SldprtNet：一个大规模多模态数据集，用于语言驱动的3D设计CAD生成

Ruogu Li, Sikai Li, Yao Mu, Mingyu Ding

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SldprtNet数据集，用于语义驱动的CAD建模、几何深度学习和多模态模型训练，包含242,000个工业零件，提供多种3D模型格式，并结合图像与文本生成自然语言描述。

Comments Accept by ICRA 2026

Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity

通过跨层级GPU异构性实现高效的多模态大语言模型推理

Donglin Yu

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出通过跨层级GPU异构性优化多模态大语言模型推理，减少跨设备传输复杂度，提升吞吐量并降低部署成本。

The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts

一致性陷阱：当MLLM编写的叙述利用被篡改的视觉上下文

Yuchen Zhang, Yaxiong Wang, Yujiao Wu, Lianwei Wu, Li Zhu, Zhedong Zheng

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； CSIRO（澳大利亚联邦科学与工业研究组织） ； Northwestern Polytechnical University（西北工业大学） ； University of Macau（澳门大学） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出AMD框架，通过Artifact Pre-perception Encoding策略和Manipulation-Oriented Reasoning，解决MLLM生成的多模态欺骗检测问题，验证了其在跨领域测试中的优越性能。

Comments Accepted to CVPR 2026 main track

Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation

Cheers：解耦补丁细节与语义表示以实现统一的多模态理解和生成

Yichen Zhang, Da Peng, Zonghao Guo, Zijian Zhang, Xuesong Yang, Tong Sun, Shichu Sun, Yidan Zhang, Yanghao Li, Haiyan Zhao, Wang Xu, Qi Shi, Yangang Sun, Chi Chen, Shuo Wang, Yukun Yan, Xu Han, Qiang Ma, Wei Ke, Liang Wang, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Cheers通过解耦补丁细节与语义表示，实现统一的多模态理解和生成，提升图像生成的保真度，并在多个基准测试中表现优异，同时实现4倍的token压缩效率。

Comments 17 pages, 5 figures

Multiscale Structure-Guided Latent Diffusion for Multimodal MRI Translation

多尺度结构引导的潜在扩散模型用于多模态MRI翻译

Jianqiang Lin, Zhiqiang Shen, Peng Cao, Jinzhu Yang, Osmar R. Zaiane, Xiaoli Liu

机构 * Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程系，沈阳，中国） ； Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education, Northeastern University, Shenyang, China（教育部医学图像智能计算重点实验室，东北大学，沈阳，中国） ； National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Shenyang, China（工业智能与系统优化国家级前沿科学中心，沈阳，中国） ； Amii, University of Alberta, Edmonton, Alberta, Canada（阿尔伯塔大学阿米人工智能研究所，埃德蒙顿，阿尔伯塔，加拿大） ； AiShiWeiLai AI Research, Beijing, China（人工智能研究（北京）有限公司，北京，中国） 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MSG-LDM框架，通过多尺度特征空间分离风格与结构信息，提升多模态MRI翻译的结构一致性与纹理细节。

Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection

通过区域感知提示增强和多模态复制检测缓解文本到图像扩散中的记忆化

Yunzhuo Chen, Jordan Vice, Naveed Akhtar, Nur Al Hasan Haldar, Ajmal Mian

机构 * The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） ； Curtin University（科廷大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出区域感知提示增强和多模态复制检测方法，通过增强提示多样性与检测复制行为，提升文本到图像扩散模型的生成质量与安全性。

Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing

Omni-Video 2：基于MLLM条件扩散模型的统一视频生成与编辑扩展

Hao Yang, Zhiyu Tan, Jia Gong, Luozheng Qin, Hesen Chen, Xiaomeng Yang, Yuqing Sun, Yuetan Lin, Mengping Yang, Hao Li

专题命中 多模态生成 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Omni-Video 2，通过连接预训练多模态大语言模型与视频扩散模型，实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程，并通过轻量适配器高效注入多模态条件token，提升复杂编辑任务性能。

Comments Technical Report, Project: https://howellyoung-s.github.io/Omni-Video2-project/

MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

MoVieDrive：基于多模态多视角视频扩散变换器的城市场景合成

Guile Wu, David Huang, Dongfeng Bai, Bingbing Liu

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出MoVieDrive，通过多模态多视角视频扩散变换器生成城市驾驶场景视频，实现多模态数据生成与可控生成。

Comments CVPR 2026 Findings Track

BitDance: Scaling Autoregressive Generative Models with Binary Tokens

BitDance: 通过二进制令牌扩展自回归生成模型

Yuang Ai, Jiaming Han, Shaobin Zhuang, Weijia Mao, Xuefeng Hu, Ziyan Yang, Zhenheng Yang, Yali Wang, Huaibo Huang, Xiangyu Yue, Hao Chen

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 BitDance通过二进制令牌生成高熵表示，结合二进制扩散头和next-patch扩散方法，实现高效图像生成，达到最佳FID分数并显著提升推理速度。

Comments Code and models: https://github.com/shallowdream204/BitDance

MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation

MaDiS：驯服掩码扩散语言模型用于手语生成

Ronglai Zuo, Rolandos Alexandros Potamias, Qi Sun, Evangelos Ververas, Jiankang Deng, Stefanos Zafeiriou

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MaDiS，一种基于掩码扩散的语言模型，用于手语生成，通过双向依赖捕捉和高效并行多令牌生成，提升生成效率和质量，同时引入三级交叉模态预训练方案和混合部分嵌入层，实现多层级手语表示。

Mobile-VTON: High-Fidelity On-Device Virtual Try-On

Mobile-VTON: 高保真设备端虚拟试衣

Zhenchen Wan, Ce Chen, Runqi Lin, Jiaxin Huang, Tianxi Chen, Yanwu Xu, Tongliang Liu, Mingming Gong

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Mobile-VTON，一种基于设备端的高保真虚拟试衣框架，通过模块化架构和隐私保护技术，在无需云端支持的情况下实现高质量试衣效果。

Comments The project page is available at: https://zhenchenwan.github.io/Mobile-VTON/

Journal ref IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026

OpenVision 3: A Family of Unified Visual Encoder for Both Understanding and Generation

OpenVision 3: 一种用于理解和生成的统一视觉编码器家族

Letian Zhang, Sucheng Ren, Yanqing Liu, Xianhang Li, Zeyu Wang, Yuyin Zhou, Huaxiu Yao, Zeyu Zheng, Weili Nie, Guilin Liu, Zhiding Yu, Cihang Xie

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； JHU（约翰霍普金斯大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出OpenVision 3，通过统一视觉表示实现图像理解和生成。核心架构将VAE压缩的图像潜在特征输入ViT编码器，同时训练其输出以支持重建和语义学习，从而在共享潜在空间中实现良好泛化。

ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation

ID-Crafter：基于视觉语言模型的在线强化学习多主体视频生成框架

Panwang Pan, Jingjing Zhao, Yuchen Lin, Chenguo Lin, Chenxin Li, Hengyu Liu, Tingting Shen, Yadong MU

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ID-Crafter框架，通过层次化注意力机制、预训练视觉语言模型和在线强化学习，提升多主体视频生成中身份保持与语义一致性。

Comments Project page: https://angericky.github.io/ID-Crafter, Code: https://github.com/paulpanwang/IDCrafter

Journal ref CVPR 2026

Omni-Video: Democratizing Unified Video Understanding and Generation

Omni-Video：统一视频理解与生成的普及

Zhiyu Tan, Hao Yang, Luozheng Qin, Jia Gong, Mengping Yang, Hao Li

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Omni-Video框架，通过改进多模态大语言模型生成连续视觉线索，结合轻量架构和高效训练方案，实现视频理解、生成与编辑的统一模型。

Comments Technical report, project page: https://howellyoung-s.github.io/OmniVideo_project/

Beyond Imitation: Reinforcement Learning Fine-Tuning for Adaptive Diffusion Navigation Policies

超越模仿：用于自适应扩散导航策略的强化学习微调

Junhe Sheng, Ruofei Bai, Kuan Xu, Ruimeng Liu, Jie Chen, Shenghai Yuan, Wei-Yun Yau, Lihua Xie

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； A*STAR, Singapore（A*STAR，新加坡） ； National University of Singapore, Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出一种针对扩散导航的强化学习微调框架，通过Group Relative Policy Optimization提升策略适应性，在Isaac Sim中提升成功率和SPL，减少碰撞，展示出更强的零样本迁移能力和安全泛化能力。