多模态大模型

ViewMask-1-to-3: Multi-View Consistent Image Generation via Multimodal Discrete Diffusion Models

ViewMask-1-to-3: 通过多模态离散扩散模型实现多视图一致图像生成

Ruishu Zhu, Zhihao Huang, Jiacheng Sun, Ping Luo, Hongyuan Zhang, Xuelong Li

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ViewMask-1-to-3，将多视图生成建模为离散序列预测问题，利用MAGVIT-v2视觉令牌和掩码令牌预测的离散扩散，通过迭代去掩码实现渐进式多视图生成，无需专门架构或3D几何先验，在GSO和3D-FUTURE基准上优于基线方法。

Comments Accepted by ICML 2026

Multimodal sampling via Schrödinger-Föllmer samplers with temperatures

基于带温度参数的薛定谔-弗尔默采样的多模态采样

Xiaojie Wang, Xiaoyan Zhang

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 本文通过引入温度参数并基于薛定谔-弗尔默扩散的欧拉离散化提出新采样器，在L^2-Wasserstein距离下获得O(h)的改进收敛率，数值实验表明高温对多模态分布采样至关重要且性能优于Langevin采样器。

Journal ref J. Complexity 96 (2026), Paper No. 102052

Med-Banana: Learning Quality-Controlled Medical Image Editing from Success-and-Failure Trajectories

Med-Banana：从成功与失败轨迹中学习质量可控的医学图像编辑

Zhihui Chen, Qingyuan Lei, Kai He, Yanrui Du, Mengling Feng

机构 * National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.MM

AI总结 提出Med-Banana框架，通过收集成功与失败编辑轨迹数据集Med-Banana-80K，联合训练编辑器、验证器和优化器，实现质量可控的医学图像编辑。

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

上下文空间中的即时排斥以实现扩散变换器的丰富多样性

Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

机构 * Tel Aviv University（特拉维夫大学） ； Snap Research Israel（Snap以色列研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对文本到图像扩散模型多样性不足的问题，提出在扩散变换器的上下文空间中通过多模态注意力通道施加即时排斥，在不牺牲视觉保真度和语义一致性的前提下显著提升生成多样性，且计算开销小，适用于现代Turbo和蒸馏模型。

Comments SIGGRAPH 2026. Project page: https://contextual-repulsion.github.io/

The Mechanistic Emergence of Symbol Grounding in Language Models

语言模型中符号接地机制的涌现

Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 通过机械因果分析，发现符号接地在语言模型的中层计算中通过注意力头聚合环境信息实现，并在多模态对话和多种架构中复现。

Imagine Before You Draw: Visual Prompt Engineering for Image Generation

先构思再绘制：面向图像生成的视觉提示工程

Liyu Jia, Fengda Zhang, Jiachun Pan, Kesen Zhao, Saining Zhang, Wang Lin, Weijia Wu, Yue Liao, Aojun Zhou, Hanwang Zhang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出视觉提示工程（VPE），通过在单一模型内先生成视觉语义令牌作为中间计划，再生成完整图像，从而避免信息瓶颈，提升图像生成质量与编辑保真度。

UniCanvas: A Diffusion-base Unified Model for Text-in-Image Joint Generation

UniCanvas: 一种基于扩散的图文联合生成统一模型

Zeyuan Yang, Hao-Wei Chen, Xueyang Yu, Yuncong Yang, Haoyu Zhen, Ziqiao Ma, Maohao Shen, Chuang Gan

机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； University of Michigan（密歇根大学） ； MIT（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出UniCanvas，通过扩散模型在像素画布上以文本嵌入图像的方式实现图文联合生成，解决现有模型在视觉与文本生成上的不足。

D$^3$-MoE:Dual Disentangled Diffusion Mixture-of-Experts for Style-Controllable End-to-End Autonomous Driving

D$^3$-MoE：面向风格可控的端到端自动驾驶的双解耦扩散混合专家模型

Renju Feng, Rukang Wang, Ning Xi, Jianguo Yu, Liping Lu, Pan Zhou, Duanfeng Chu

机构 * Intelligent Transportation Systems Research Center, Wuhan University of Technology（武汉理工大学智能交通系统研究中心） ； School of Mechanical and Electronic Engineering, Wuhan University of Technology（武汉理工大学机械电子工程学院） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； Hubei Key Laboratory of Distributed System Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology（湖北省分布式系统安全重点实验室，华中科技大学网络空间安全学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出D$^3$-MoE框架，通过行为轴（扩散生成与选择解耦）和物理轴（纵向与横向专家解耦）的双重解耦，实现风格可控的端到端自动驾驶，在NAVSIM基准上达到SOTA规划性能。

Comments 8 pages, 6 figures

Latent common manifold learning with alternating diffusion: analysis and applications

潜在共同流形学习与交替扩散：分析与应用

Ronen Talmon, Hau-tieng Wu

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出基于交替扩散的潜在共同流形模型，用于多模态数据融合，分析其理论基础并展示在多个应用中的实验结果。