多模态大模型

MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

MUNI：面向连贯任意到任意生成的多模态统一潜在扩散

Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title,abstract)；cross-modal(abstract)；image-text(abstract)

AI总结 提出MUNI框架，通过端到端多模态潜在扩散和路由训练目标，实现任意到任意生成，在条件生成上匹配或超越基线，并在无条件连贯性上取得最大优势。

Comments Project page: https://muni-proj.github.io/

VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA

VinQA：面向真实世界多模态文档问答的交错视觉元素长文本答案生成

Young Rok Jang, Hyesoo Kong, Kyunghwan An, Jae Sub Huh, Gyeonghun Kim, Stanley Jungkyu Choi

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VinQA数据集和两种编码方法（页面编码与模态编码），用于生成交错引用视觉元素的长文本答案；通过M-GroSE评估框架和微调Qwen2.5-VL模型，显著缩小与专有模型的性能差距。

Comments Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material

Generation Quality-Latency Tradeoff-Aware Inference Offloading for Multimodal LLMs in Cloud-Edge Continuum

云边连续体中多模态大模型的生成质量-延迟权衡感知推理卸载

Zhongxiao Wang, Yueshen Xu, Xinkui Zhao, Wei Shao, Rui Li

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 针对云边协同多模态大模型推理，提出QLMIO框架以优化生成质量与响应延迟的权衡，并构建MIOBench基准，实验表明延迟降低58.14%且任务完成率不变。

Comments This manuscript was submitted to IEEE Transactions on Mobile Computing on June 3, 2026

UniDDT: Unifying Multimodal Understanding and Generation with Decoupled Diffusion Transformer

UniDDT: 使用解耦扩散变换器统一多模态理解与生成

Shuai Wang, Liang Li, Yang Chen, Ruopeng Gao, Yao Teng, Limin Wang

机构 * Nanjing University（南京大学） ； ByteDance Seed（字节跳动Seed） ； University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出UniDDT模型，通过噪声ViT编码器统一视觉语义表示，并采用解耦扩散解码器分离扩散与文本解码，平衡多模态理解与生成任务，在多个基准上取得优异性能。

Comments This work was completed in \textbf{November 2025}

Transformation-driven generation of comparable projection images from multimodal anatomical scenes

从多模态解剖场景生成可比较投影图像的变换驱动方法

Dariusz Pojda, Krzysztof Domino, Michał Tarnawski, Agnieszka Anna Tomaka

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出变换驱动框架，从多模态解剖数据生成可重复的投影空间观测，通过下颌运动场景验证，实现不同解剖配置下直接可比的虚拟X光投影生成。

Comments 36 pages, 11 figures

Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility

驾驶，快或慢？多模态地面移动中运动预测的神经符号引导

Simon Kohaut, Felix Divo, Julius Hahnewald, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（达姆施塔特工业大学人工智能与机器学习实验室） ； Honda Research Institute（本田研究所） ； Hessian Center for AI (hessian.AI)（黑森州人工智能中心） ； Centre for Cognitive Science（认知科学中心） ； German Center for AI (DFKI)（德国人工智能研究中心） ； Uncertainty in Artificial Intelligence Lab, TU Eindhoven（埃因霍温理工大学人工智能不确定性实验室） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出TraCS框架，通过神经符号方法将交通规则编码为概率一阶逻辑，增强黑盒运动预测模型的可解释性和合规性，在Argoverse 2上持续提升SOTA性能。

Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model

基于离散扩散模型的视觉-文本思维高效强化学习

Yoonjeon Kim, Yuhta Takida, Chieh-Hsin Lai, Eunho Yang, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼AI） ； AITRICS ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出用离散扩散模型替代自回归模型进行多模态强化学习，通过局部视觉编辑减少计算量，并设计分解奖励分配策略解决跨模态干扰问题。

Acoustic, VOC, and Multimodal Stress Source Localization in the Internet of Plants

植物物联网中的声学、VOC和多模态胁迫源定位

Ahmet B. Kilic, Ozgur B. Akan

专题命中 多模态生成 ：multimodal(title)

AI总结 提出一种两阶段粗到细定位流程，结合声学到达时间差多边定位和VOC弥散格林函数模型，实现植物网络中胁迫源的空间定位。

Text-Vision Co-Instructed Image Editing

文本-视觉协同指导的图像编辑

Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出TV-Edit框架，联合文本指令的语义表达与稀疏视觉指令的空间引导，实现精确且忠实于意图的图像编辑，显著优于现有方法。

Mind the Gap: Diagnosing Constraint Discovery Failures in Text-in-Image Editing

注意差距：诊断图像内文本编辑中的约束发现失败

Rui Gui

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 通过图像内文本编辑的受控诊断，研究多模态模型在发现未明确指定的视觉依赖约束时的失败，发现模型仅能自行发现46%的约束，而明确提供时可达94%。

Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations

Gen-VCoT: 基于扩散的RGB中间表示的生成式视觉思维链推理

Zhiqiang Zhou, Junliang Dai, Xu ling

机构 * Hunan Chemical Industry Vocational and Technical College（湖南化工职业技术学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间步骤，通过自适应路由器选择推理深度，在空间和深度问题上分别提升25%和50%，但简单事实查询性能下降，表明最优表示依赖于任务。

Comments 12 pages, 5 figures

DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing

DifFRACT：用于电路追踪的扩散特征重构与归因

Artyom Mazur, Nina Konovalova, Aibek Alanov

机构 * HSE University（高等经济学院） ； FusionBrain Lab（FusionBrain实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文扩展了基于转码器的电路追踪方法到多模态扩散Transformer，通过训练时间步条件转码器近似MLP子层，实现精确的特征级归因并恢复可解释电路，揭示了属性绑定和跨流语义传播机制。

Efficient Flow Matching using Latent Variables

使用潜在变量的高效流匹配

Anirban Samaddar, Yixuan Sun, Viktor Nilsson, Sandeep Madireddy

机构 * Argonne National Laboratory（阿贡国家实验室） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Latent-CFM方法，利用预训练深度潜在变量模型提取数据特征作为条件，提升流匹配模型的训练效率和生成质量，在图像和物理场生成任务中优于现有方法。

REFLEX: Reflective Evolution from LLM Experience

REFLEX: 基于大语言模型经验的反思进化

Pan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 提出REFLEX框架，通过解耦视觉诊断与代码生成实现可审计的高效策略进化，在控制任务和天线阵列合成中展现优异样本效率。

CogCanvas: A Benchmark for Evaluating Multi-Subject Reference-Based Image Generation

CogCanvas: 用于评估多主体参考图像生成的基准

Long-Bao Nguyen, Quang-Khai Tran, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, Ho Chi Minh City, Vietnam（胡志明市理科大学） ； University of Dayton, Ohio, United States（代顿大学） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CogCanvas基准，包含1952张参考图像和1361个组合提示，评估多身份、对象绑定和背景场景的生成，引入BG-Sim和Attr-VQA指标，发现现有模型在超过3个主体时性能严重下降。

PPDM: Pixel Puzzling Diffusion Model for Speed and Memory Efficient Volumetric Medical Image Translation

PPDM: 像素拼图扩散模型用于速度和内存高效的体积医学图像翻译

Tianqi Chen, Jun Hou, Yinchi Zhou, James S. Duncan, Chi Liu, Bo Zhou

机构 * Department of Radiology, Northwestern University（西北大学放射学系） ； Department of Biomedical Engineering, Yale University（耶鲁大学生物医学工程系） ； Department of Radiology and Biomedical Imaging, Yale School of Medicine（耶鲁医学院放射学与生物医学影像系） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出像素拼图扩散模型（PPDM），通过可逆像素拼图操作和直接桥接扩散公式，在降低内存和加速推理的同时保持全局一致性，用于3D医学图像翻译。

Comments 12 pages, 5 figures, 5 tables

Inference-time Policy Steering via Vision and Touch

通过视觉和触觉进行推理时策略引导

Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ViTaL框架，通过视觉采样验证和触觉引导扩散编辑的双层优化，在推理时引导机器人策略，显著提升接触丰富操作任务的成功率。

Sample from What You See: Visuomotor Policy Learning via Diffusion Bridge with Observation-Embedded Stochastic Differential Equation

从所见中采样：基于观测嵌入随机微分方程的扩散桥视觉运动策略学习

Zhaoyang Liu, Mokai Pan, Zhongyi Wang, Kaizhen Zhu, Haotao Lu, Haipeng Zhang, Jingya Wang, Ye Shi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出BridgePolicy，通过扩散桥公式将观测直接集成到随机动力学中，利用语义对齐器处理异构观测，在模拟和真实任务中超越现有生成式策略。

Comments Accepted by ICML 2026

Mosaic: Data-Free Knowledge Distillation via Mixture-of-Experts for Heterogeneous Distributed Environments

Mosaic: 面向异构分布式环境的无数据知识蒸馏与混合专家模型

Junming Liu, Yanting Gao, Yuqi Li, Siyuan Meng, Yifei Sun, Aoqi Wu, Yirong Chen, Ding Wang, Shiping Wen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The City University of New York（纽约城市大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对联邦学习中模型与数据异构性问题，提出Mosaic框架，通过本地生成模型合成隐私保护数据，并利用混合专家模型蒸馏全局模型，在图像和多模态基准上超越现有方法。

Comments 23 pages, 5 figures, 24 tables; Accepted by Knowledge-Based Systems, 2026

ExoTraj: A General Lower-limb Exoskeleton Assistance Policy for Complex Environments

ExoTraj：面向复杂环境的通用下肢外骨骼辅助策略

Xiao-Yin Liu, Guotao Li, Long Sun, Xu Liang, Zeng-Guang Hou

机构 * The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； The School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； CASIA-MUST Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（澳门科技大学系统工程研究所中科院自动化所-澳门科技大学智能科学与技术联合实验室） ； The School of Automation and Intelligence, Beijing Jiaotong University（北京交通大学自动化与智能学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出ExoTraj统一策略，通过快速流匹配实现多模态特征到轨迹的精确预测，并利用模型预测控制优化力矩，在复杂户外场景中实现自适应辅助，无需昂贵运动捕捉系统。

Comments 28 pages, 19 figures, project page: https://xiaoyinliu0714.github.io/Home_ExoTraj/

PHINN: Persistent Homology Inspired Neural Network for Rare-Event Time Series Generation

PHINN: 基于持久同构的稀有事件时间序列生成神经网络

Emre Yusuf, Ren Takahashi, Jayabrata Bhaduri

机构 * Defense.Codes (a DBA of CapaCloud Corp)（Defense.Codes（CapaCloud Corp 的商用名）） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出PHINN框架，利用动态Betti曲线作为条件信号和持久景观损失保持同调一致性，在金融、流行病和多模态基准上拓扑保真度优于统计和扩散基线。

Comments 15 pages, 4 figures

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRecT：基于滚动去噪的安全扩散规划

Paolo Giaretta, Zeyang Li, Navid Azizan

机构 * MIT（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出DiRecT算法，通过随机最优控制仅在最终干净轨迹上施加约束，避免中间去噪步骤过度约束，实现安全扩散规划，提升安全性和任务性能。

Branching Flows: Discrete, Continuous, and Manifold Flow Matching with Splits and Deletions

分支流：带有分裂和删除的离散、连续和流形流匹配

Lukas Billera, Hedwig Nora Nordlinder, Jack Collier Ryder, Anton Oresten, Aron Stålmarck, Theodor Mosetti Björk, Ben Murrell

机构 * Department of Microbiology, Tumor and Cell Biology, Karolinska Institutet（卡罗林斯卡研究所微生物学、肿瘤和细胞生物学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出分支流框架，通过随机分支和死亡过程控制序列元素数量，适用于变长数据生成，并在小分子、抗体序列和蛋白质骨架生成中验证效果。

Comments 39 pages, 16 figures

Manifold-Orthogonal Dual-spectrum Extrapolation for Parameterized Physics-Informed Neural Networks

流形正交双谱外推法用于参数化物理信息神经网络

Zhangyong Liang, Huanhuan Gao

机构 * National Center for Applied Mathematics, Tianjin University（天津大学应用数学中心） ； School of Mechanical and Aerospace Engineering, Jilin University（吉林大学机械与 aerospace 工程学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)

AI总结 提出流形正交双谱外推法（MODE），通过主谱密集混合、残谱激活和平移解锁三种机制，在保持SVD参数效率的同时实现参数化PINN的强分布外泛化。