多模态大模型

Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion

全模态扩散：基于掩码离散扩散的统一多模态理解与生成

Lijiang Li, Zuwei Long, Yunhang Shen, Heting Gao, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He, Chaoyou Fu

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯云科技实验室） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 受离散扩散模型在多领域成功应用启发，提出全模态扩散模型，基于掩码离散扩散模型构建，统一文本、语音和图像的理解与生成，用统一模型直接捕捉离散多模态令牌联合分布，性能优于现有多模态系统。

Comments Accepted to ICML 2026. This version updates the ICML submission with an optimized model checkpoint. Project page: https://omni-diffusion.github.io

Attending to Multimodal Generation One Token at a Time

一次关注一个令牌的多模态生成

Varun Gupta, Vineet Gandhi, Makarand Tapaswi

机构 * CVIT, IIIT Hyderabad（海得拉巴国际信息技术研究所计算机视觉与信息处理中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型生成时令牌级动态，按语义角色跟踪注意力转移。引入多模态任务，通过因果注意力阻断干预等方法，发现一致模式并据此提出测试时干预，提升多模态任务性能。

GeoSearcher: Anchor-Guided Progressive Reasoning for Remote Sensing Visual Grounding with Process Supervision

GeoSearcher: 基于锚点引导的渐进推理遥感视觉定位与过程监督

Dianyu Wang, Peirong Zhang, Xuyang Li, Xiaoxuan Liu, Lei Wang

机构 * Key Laboratory of Target Cognition and Application Technology (TCAT), Chinese Academy of Sciences（中国科学院目标认知与应用技术重点实验室） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出GeoSearcher，通过锚点引导的渐进推理和过程监督，将遥感视觉定位转化为两阶段过程，解决小目标定位和复杂查询的挑战。

Comments 14 pages, 11 figures, 7 tables

Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis

通过场景感知文档合成增强关键信息提取中的大型多模态模型

Zhipeng Xu, Zulong Chen, Qing Liu, Junhao Ji, Jinxin Hu, Yipeng Yu, Jianqiang Wan, Jun Tang, Zhao Li

机构 * Alibaba Group（阿里巴巴集团） ； Qwen Team, Alibaba Group（阿里巴巴集团之通义千问团队） ； Taobao and Tmall Group, Alibaba（阿里巴巴淘宝和天猫集团） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究关键信息提取难题，提出场景感知文档合成框架SAYRE，利用示例文档生成训练数据，引入错误驱动生成，提升Qwen3-VL骨干性能，证明该方法是改进多模态KIE的有效数据中心方法。

PedestrianDiffusion: Multimodal Generative Denoising and Dense State Estimation for Inertial Navigation

行人扩散：用于惯性导航的多模态生成去噪和密集状态估计

I-Hao Lu, Dongsoo Han

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对消费级惯性导航受MEMS随机噪声限制问题，提出PedestrianDiffusion框架，将密集6D状态估计转化为连续条件去噪过程，引入零样本语义条件机制，用ODE求解器提升性能，在多基准测试中达先进水平。

TexTailor: Inference-Time Textual Guidance Tailoring for Multimodal Diffusion Transformers

TexTailor：用于多模态扩散变压器的推理时文本引导剪裁

Binglei Li, Mengping Yang, Zhiyu Tan, Junping Zhang, Hao Li

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Academy of AI for Science（上海人工智能科学研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究基于变压器的扩散模型中不同模块与文本条件的交互。通过系统管道分析各模块功能，提出推理时逐块文本引导剪裁方法，提升文本图像对齐，有多种下游应用，实验表明优于基线。

Comments To appear in ECCV 2026

Region-Aware Multimodal Large Language Model via SlowFast Tokenization and Pseudo-Mask Guidance for 3D CT Report Generation

区域感知多模态大语言模型：基于慢快标记化与伪掩码引导的3D CT报告生成

Sunggu Kyung, Jinyoung Seo, Hyunseok Lim, Dongyeong Kim, Hyungbin Park, Jimin Sung, Jihyun Kim, Wooyoung Jo, Yoojin Nam, Namkug Kim

机构 * Department of Convergence Medicine, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院融合医学系） ； University of Ulsan College of Medicine, Seoul, Republic of Korea（韩国首尔蔚山大学医学院） ； Department of Radiology and Research Institute of Radiology, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea（韩国首尔峨山医疗中心蔚山大学医学院放射科与放射学研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出MedRegion-CT框架，通过区域慢快标记器联合建模全局与细粒度信息、伪掩码引导关注诊断关键区域、结构化病变信息提示，实现高质量CT报告生成，在多项指标上达到最优。

Comments Accepted to ECCV 2026. 15 pages, 8 figures, 4 tables

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

Dress-ED：基于指令的虚拟试穿和试脱编辑

Davide Lobba, Fulvio Sanguigni, Bin Ren, Marcella Cornia, Rita Cucchiara, Nicu Sebe

机构 * University of Modena（摩德纳大学） ； University of Trento（特伦托大学） ； University of Pisa（比萨大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Dress-ED数据集，首次统一了虚拟试穿、试脱和文本引导的服装编辑，包含146k个样本，涵盖外观和结构修改，提供统一的多模态扩散框架作为指令驱动的VTON和VTOFF基线。

Comments Accepted at ECCV 2026. Project page at https://aimagelab.github.io/Dress-ED/

UniVideo: Unified Understanding, Generation, and Editing for Videos

UniVideo：视频的统一理解、生成与编辑

Cong Wei, Quande Liu, Zixuan Ye, Qiulin Wang, Xintao Wang, Pengfei Wan, Kun Gai, Wenhu Chen

机构 * University of Waterloo（多伦多大学） ； Kling Team, Kuaishou Technology（快手技术团队） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 提出UniVideo框架，采用双流设计，结合多模态大语言模型与多模态DiT进行视频生成等任务。统一多种视频任务于单范式，实验表明其性能出色，还支持任务组合与能力迁移，且发布了模型和代码。

Comments Project Website https://congwei1230.github.io/UniVideo/

EM3M: An Electron Micrograph Dataset for Microstructural Segmentation and Generation

EM3M：用于微观结构分割与生成的电子显微镜图像数据集

Nan Wang, Zhiyi Xia, Yiming Li, Siyuan Zhang, Shi Tang, Zuxin Fan, Xi Fang, Haoyi Tao, Guolin Ke, Yanhui Hong

机构 * DP Technology（DP技术） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 针对深度学习分析电子显微镜图像缺乏大规模专家标注数据集的问题，引入EM3M数据集，介绍构建过程，提供文本到图像扩散模型，评估分割方法并给出优化基线，推动自动化材料分析研究。

Comments 31 pages, 13 figures, Accepted by ECCV2026

See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition

看见情感：用于脑电图情感识别的面部表情符号代理建模

Jingjing Hu, Guo Dan, Haofan Cheng, Ying Zeng, Zhan Si, Jinxing Zhou, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； PLA Information Engineering University（中国人民解放军信息工程大学） ； University of Science and Technology of China（中国科学技术大学） ； MBZUAI 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究将脑电图可解释性重构为跨模态生成任务，提出面部表情符号代理建模框架，把高维脑电图信号转化为面部表情符号，在相关基准测试中取得先进准确率，能生成忠实面部动画展现大脑情感演变。

Comments Accepted by ICML 2026

ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space

ProLaViT：在结构化潜在空间中学习渐进式潜在视觉思维

Peiming Li, Yifan Wang, Xiaotian Zhang, Zhiyuan Hu, Shiyu Li, Zheng Wei, Yang Tang

机构 * Basic Algorithm Center, PCG, Tencent（腾讯PCG基础算法中心） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对多模态大语言模型在复杂视觉推理任务中的不足，ProLaViT框架利用内生自蒸馏机制等，设计两种推理范式及损失函数，使其能在潜在空间进行结构化视觉推导，实验证明效果优于基线。

Comments Accepted by ECCV 2026

Evaluating and Understanding Model Editing for Medical Vision Language Models

医学视觉语言模型的模型编辑评估与理解

Guli Zhu, Chenwei Wu, Liyue Shen

机构 * EECS, University of Michigan（密歇根大学电子工程与计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有多模态编辑基准不适配临床需求的问题，提出临床基准M3Bench，测试多类编辑方法的性能短板，为医学VLM部署后安全适配提供支撑。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026. Code and benchmark are available at https://github.com/BioMed-AI-Lab-U-Michgan/M3Bench

FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers

FairFlow：揭开文本到图像扩散变换器中刻板印象偏差的面纱并减轻其影响

Chen Chen, Yuanmin Huang, Zhenfei Zhang, Mi Zhang, Xiaohan Zhang, Yun Xiong, Xiaoyu You, Min Yang

机构 * Fudan University（复旦大学） ； East China University of Science and Technology（华东理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 研究文本到图像扩散变换器中刻板印象偏差问题，通过机理分析找到偏差根源，提出FairFlow框架，能有效中和刻板印象偏差，实现公平与保真平衡，且推理开销小、对复杂提示鲁棒。

Comments 15 pages, 11 figures

Global Pose Control for Generative View Synthesis in Normalized Object Coordinate Space

归一化物体坐标空间中用于生成视图合成的全局姿态控制

Zhibing Li, Amogh Gupta, Behnoosh Parsa, Dan Casas

机构 * The Chinese University of Hong Kong（香港中文大学） ； Amazon（亚马逊） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对现有生成模型在目标视图全局控制上的不足，提出在归一化物体坐标空间中精确相机控制的新方法，以单张或少量无姿态图像为输入，将视图合成视为图像编辑问题，提升了视图生成质量和保真度。

Comments Accepted to ECCV 2026. Project page https://lizb6626.github.io/GlobalNVS/

AI Native Games: A Survey and Roadmap

AI原生游戏：综述与路线图

Zhiyue Xu, Fandi Meng, Kaijie Xu, Clark Verbrugge, Simon Lucas, Jian Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究所） ； School of Computer Science, McGill University, Montreal, Quebec, Canada（麦吉尔大学计算机科学学院） ； Game AI Research Group, Queen Mary University of London, London, United Kingdom（伦敦女王学院游戏人工智能研究组） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文定义AI原生游戏为运行时生成式AI构成核心循环的游戏，提出G/N分类法分析53个实例，指出核心设计问题是将语义开放性组织为稳定游戏玩法，并给出路线图。

JADAI: Jointly Amortizing Adaptive Design and Bayesian Inference

JADAI：联合摊销自适应设计与贝叶斯推理

Niels Bracher, Lars Kühmichel, Desi R. Ivanova, Xavier Intes, Paul-Christian Bürkner, Stefan T. Radev

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； TU Dortmund University（多特蒙德技术大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对设计变量可优化以最大化信息增益的参数估计问题，引入JADAI框架，通过端到端训练策略、历史网络和推理网络联合摊销贝叶斯自适应设计与推理，在标准基准测试中性能优越。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Data-to-Energy Stochastic Dynamics

数据到能量的随机动力学

Kirill Tamogashev, Nikolay Malkin

机构 * University of Edinburgh（爱丁堡大学） ； CIFAR Fellow（蒙特利尔认知研究院研究员） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出了一种数据到能量的IPF方法，用于建模Schrödinger桥问题，无需数据样本即可学习多模态分布之间的传输，并改进了扩散系数的学习。

Journal ref International Conference on Learning Representations (ICLR) 2026