多模态大模型

Inverting the Streaming-Diffusion Bottleneck: Video-Rate MLLM-Conditioned Edit Diffusion on a Consumer GPU

基于视觉感知的多模态大语言模型条件编辑扩散的视频率流式风格化：蒸馏UNet + MLLM文本编码器上的非对称批处理推理

Yoshiyuki Ootani

机构 * Independent researcher（独立研究员） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 针对蒸馏扩散模型中文本编码器成为瓶颈的问题，提出一种结合非对称CUDA流水线、编译友好的ControlNet-LLLite重构和周期性条件刷新调度的流式管线，在消费级GPU上实现视频率实时风格化编辑。

Comments 14 pages, 4 figures, 13 tables. Code, evaluation harness, and the released Temporal LLLite adapter weights are at https://github.com/otanl/dreamlite-stream (also mirrored to Hugging Face and Zenodo)

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

Hallo4D：用于一致时空生成的多模态幻觉缓解

Hongbo Wang, Huaibo Huang, Jie Cao, Jin Liu, Haoyang Tong, Ran He

机构 * Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghaitech University（上海科技大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对3D和4D内容生成中的时空幻觉问题，提出Hallo4D框架，利用多模态语言模型，通过生成-检测-校正范式及多种技术提升一致性，实验证明其在多样生成设置下优于基线，提供了可扩展通用的一致性感知内容生成方案。

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型

Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。

Comments 24 pages, 13 figures

A novel unsupervised machine learning strategy to handle multimodal cardiac PET/MRI data

一种处理多模态心脏PET/MRI数据的新型无监督机器学习策略

Brunnhilde Ponsi, Thomas Carlier, Lara Marteau, Aurélien Monnet, Thomas Eugène, Jean-Michel Serfaty, Nicolas Piriou, Hatem Necib

机构 * Nantes Université, CHU Nantes（南特大学，南特大学医院中心） ； Siemens Healthineers France（西门子医疗法国公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对致心律失常性左心室心肌病诊断难题，利用PET/MRI数据，采用两步聚类等方法，对患者图像进行处理分析，生成健康报告，经交叉验证和在更大队列上验证，能准确识别异常，有助于表征心肌异质性。

Comments 11 pages, 6 figures

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

并发图像理解与生成：自校正耦合马尔可夫跳跃过程

Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

机构 * Stony Brook University（纽约州立大学石溪分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)

AI总结 研究针对人类认知中理解与生成的耦合循环，引入自校正耦合马尔可夫跳跃过程框架及$\texttt{CO}_\texttt{2}\texttt{Jump}$采样器，解决掩码扩散模型跨模态矛盾问题，创建多模态语料库，该方法在图像相关任务中性能优异，且性能随去噪步骤数提升。

Comments Project page: https://coupled-jump.github.io

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

Cyclone：基于未配对驱动数据的循环一致天气编辑扩散模型

Thang-Anh-Quan Nguyen, Moussab Bennehar, Luis Guillermo Roldao Jimenez, Nathan Piasco, Dzmitry Tsishkou, Laurent Caraffa, Jean-Philippe Tarel, Roland Brémond

机构 * Huawei Paris Research Center（华为巴黎研究中心） ； Gustave Eiffel University（古斯塔夫·埃菲尔大学） ； IGN-ENSG（法国国家地理信息与森林和环境信息研究所） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV

AI总结 针对自动驾驶系统在不同天气条件下可靠感知的挑战，提出Cyclone框架，基于潜在扩散，利用循环一致约束和图像-文本模型知识，无需配对数据生成多种天气条件，实验表明其输出更优，还可提炼为视频扩散模型。

Comments Project page: https://ntaquan0125.github.io/weather-cyclone/