多模态大模型

WeatherSyn: An Instruction Tuning MLLM For Weather Forecasting Report Generation

WeatherSyn: 一种用于天气预报报告生成的指令微调MLLM

Zinan Zheng, Yang Liu, Nuo Chen, Juepeng Zheng, Hong Cheng, Jia Li

机构 * Hong Kong University of Science（香港科学大学） ； HY Foundation Model Team, Tencent（腾讯HY基础模型团队） ； The Chinese University of Hong Kong（香港中文大学） ； Sun Yat-Sen University（中山大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出WeatherForecastingReport任务，构建首个指令微调数据集，开发首个专为生成天气预报报告设计的模型，验证其在多地区和多天气方面的优越性能。

Comments ICML 2026

Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention

通过交叉注意力在联合潜在空间中利用扩散模型进行MRI和表格数据的多模态合成

Daniel Mensing, Jan Kapar, Jochen G. Hirsch, Matthias Günther, Horst Hahn, Marvin N. Wright

机构 * Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学研究所MEVIS） ； Leibniz Institute for Prevention Research and Epidemiology – BIPS（莱比锡预防研究与流行病学研究所 – BIPS） ； Faculty of Mathematics and Computer Science, University of Bremen（不莱梅大学数学与计算机科学学院） ； Faculty of Physics and Electrical Engineering, University of Bremen（不莱梅大学物理与电气工程学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态潜在扩散模型，通过交叉注意力在共享潜在空间中联合生成MRI和临床表格数据，验证了在单一扩散框架中联合建模MRI和混合类型表格数据的可行性。

Journal ref Proc. SPIE 13925, Medical Imaging 2026: Image Processing, 139252D (April 03, 2026)

STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation

STARFlow2：连接语言模型与归一化流以实现统一的多模态生成

Ying Shen, Tianrong Chen, Yuan Gao, Yizhe Zhang, Yuyang Wang, Miguel Ángel Bautista, Shuangfei Zhai, Joshua M. Susskind, Jiatao Gu

机构 * Apple（苹果公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出STARFlow2，通过归一化流与预训练视觉语言模型结合，实现高效的多模态生成，采用深度浅层流设计和统一FAE潜在空间，提升生成效率与性能。

Comments 19 pages, 9 figures

Multimodal Latent Reasoning via Hierarchical Visual Cues Injection

多模态潜在推理 via 分层视觉提示注入

Yiming Zhang, Qiangyu Yan, Borui Jiang, Kai Han

机构 * Nanyang Technological University（南洋理工大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出HIVE框架，通过分层视觉提示注入实现多模态潜在推理，提升模型在对齐潜在空间中的多步推理能力。

Multimodal Diffusion Transformer with Memory Bank for Scalable Long-Duration Talking Video Generation

具有内存库的多模态扩散变换器用于可扩展的长时谈话视频生成

Haojie Zhang, Zhihao Liang, Ruibo Fu, Bingyan Liu, Zhengqi Wen, Xuefei Liu, Jianhua Tao, Yaling Liang

机构 * South China University of Technology（南方科技大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学研究中心，清华大学） ； Department of Automation, BNRist, Tsinghua University（清华大学自动化系，北京信息科学研究中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出 LetsTalk 框架，通过多模态指导和内存库机制解决长时谈话视频生成中的质量、一致性、时间连贯性和计算效率问题，实验表明其在生成质量和效率上达到新水平。

Comments 16 pages, 25 figures

Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

持久视觉记忆：在大型视觉-语言模型中维持感知以实现深度生成

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, Muxin Fu, Daizong Liu, Wei-Long Zheng, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Tongji University（同济大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PVM模块，通过增强视觉证据的持续访问能力，解决LVLMs中视觉信号稀释问题，提升复杂推理任务的准确率。

MoCoTalk: Multi-Conditional Diffusion with Adaptive Router for Controllable Talking Head Generation

MoCoTalk: 多条件扩散与自适应路由的可控说话头生成

Xinyan Ye, Jiankang Deng, Abbas Edalat

机构 * Imperial College London（帝国理工学院伦敦分校） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV

AI总结 MoCoTalk通过统一身份、头部姿态、面部表情和嘴部动态四个控制信号，提出自适应多条件路由框架，解决异构条件干扰问题，提升可控说话头生成的性能与可控性。

InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning

InterCoG：迈向空间精确图像编辑的交错链式 grounding 推理

Yecong Wan, Fan Li, Chunwei Wang, Hao Wu, Mingwen Shao, Wangmeng Zuo

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； Zhengzhou Advanced Research Institute of Harbin Institute of Technology（哈尔滨工业大学郑州先进研究院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术大学人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出InterCoG框架，通过文本与视觉的交错链式推理实现复杂场景中精细图像编辑，结合文本空间关系和视觉定位提升编辑精度。