多模态大模型

Multimodal Large Language Model driven Radiology Report Generation with Clinical Knowledge Enhancement

基于多模态大语言模型的放射科报告生成与临床知识增强

Miaojing Shi, Tianyu Cen, Zijie Yue, Meng Wei, Oluwatosin Alabi, Tom Vercauteren

机构 * College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出一种融合多模态大语言模型与临床知识的放射科报告生成方法，通过解剖学特征提取、多模态报告生成及多任务学习提升报告的临床相关性与准确性。

Illuminating Unified Multimodal Model for Free-form Interleaved Text-Image Generation

照亮统一多模态模型以实现自由形式交错文本-图像生成

Chonghuinan Wang, Zhikai Chen, Chunwei Wang, Yecong Wan, Junwei Yang, Zhixin Wang, Wei Zhang, Jiaqi Xu, Renjing Pei, Xiaohe Wu, Fan Li, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Zhengzhou Advanced Research Institute of Harbin Institute of Technology（哈尔滨工业大学郑州先进研究院） ； Nankai University（南开大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ILLUME-X统一多模态模型，通过改进数据效率和稳定训练，实现高质量自由形式交错文本-图像生成，在风格迁移等任务上超越先前模型。

Comments Accepted by ECCV2026

OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data

OmniDance: 基于大规模互联网数据的多模态驱动舞蹈视频生成

Kaixing Yang, Jiashu Zhu, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Chubin Chen, Puwei Wang, Jiahong Wu, Xiangxiang Chu, Hongyan Liu, Jun He

机构 * Renmin University of China（中国人民大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Malou Tech Inc（Malou科技公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出CIPE-Dance大规模舞蹈视频数据集和OmniDance框架，通过深度感知架构、课程学习和条件引导策略，实现文本、音乐及多模态驱动的舞蹈视频生成，达到最优性能。

Comments Accepted by ECCV 2026

Consistency as Inductive Bias: Learning Cross-View Invariance for Robust Multimodal Reasoning

一致性作为归纳偏置：学习跨视角不变性以实现鲁棒多模态推理

Xin Zou, Haolin Deng, Yibo Yan, Shuliang Liu, Kening Zheng, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； OPPO AI Center（OPPO人工智能中心） ； UIC（美国国际大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ConsistRoll方法，通过将原始视图与语义不变变换视图置于同一生成组并联合奖励，将跨视角一致性注入强化学习训练，提升多模态推理鲁棒性。

Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models

AI能绘制科学吗？评估文本到图像和多模态模型生成科学图形的基准

Davie Chen

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出SciDraw-Bench基准，通过32个结构化任务和四维评估协议（文本保真度、语义正确性、结构质量、惯例遵循），评估文本到图像模型生成科学图形的能力。

SDGIC: A Semantic Disambiguation-Guided Generative Image Compression Method for Ultra-Low Bitrates

SDGIC: 一种基于语义消歧的生成图像压缩方法，用于超低比特率

Kaile Wang, Lijun He, Haisheng Fu, Haixia Bi, Fan Li

机构 * School of Information and Communications Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； Department of Electrical and Computer Engineering, Faculty of Applied Science, The University of British Columbia（不列颠哥伦比亚大学应用科学学院电气与计算机工程系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SDGIC框架，通过三种互补的指导流约束扩散重建，提升超低比特率下的语义一致性与感知质量，减少23.4%的AFINE。

EfficientUICoder: A Bidirectional Token Compression Framework for Efficient MLLM-Based UI Code Generation

EfficientUICoder: 一种用于高效基于多模态大语言模型的UI代码生成的双向标记压缩框架

Jingyu Xiao, Zhongyi Zhang, Yuxuan Wan, Yintong Huo, Yang Liu, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huazhong University of Science and Technology（华中科技大学） ； Singapore Management University（新加坡管理大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：MLLM(title)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出EfficientUICoder，通过元素和布局感知标记压缩、区域感知标记精炼和自适应重复标记抑制，有效压缩UI代码生成的标记数量，提升生成效率和代码质量。

Comments Published in the Proceedings of the 2026 ACM International Conference on the Foundations of Software Engineering (FSE 2026)

Symbiotic-MoE: Unlocking the Synergy between Generation and Understanding

共生MoE：解构生成与理解之间的协同效应

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出Symbiotic-MoE框架，通过模态感知专家解缠绕和渐进训练策略，解决生成与理解任务间的冲突，提升多模态协同能力，在MMLU和OCRBench上取得显著提升。

Comments Accepted to ECCV 2026

UniMotion: A Unified Framework for Motion-Text-Vision Understanding and Generation

UniMotion: 一种用于运动-文本-视觉理解和生成的统一框架

Ziyi Wang, Xinshun Wang, Shuang Chen, Yang Cong, Mengyuan Liu

机构 * Peking University（北京大学） ； Donghua University（东华大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；any-to-any(abstract)；分类 cs.CV、cs.AI

AI总结 UniMotion首次提出统一框架，同时处理人类运动、自然语言和RGB图像的理解与生成，通过连续模态处理和自监督预训练解决传统模型的局限性。

Comments Accepted to ECCV 2026

BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language

BrainJanus：一个统一的大脑、视觉与语言理解与生成模型

Haitao Wu, Qirui Zhang, Zhouheng Yao, Shangquan Sun, Qihao Zheng, Mianxin Liu, Chi Zhang, Wanli Ouyang, Chunfeng Song, Changqing Zhang, Jiamin Wu

专题命中 多模态生成 ：multimodal(abstract)；any-to-any(abstract)；分类 cs.CV

AI总结 提出首个统一大脑模型BrainJanus，通过统一大脑分词器和全能自回归架构，实现脑信号与视觉、语言之间的双向编码与解码，在多个基准上取得优异性能并具备零样本泛化能力。

Journal ref ICML 2026

SICAGE: Speaker-Independent Culture-Aware Gesture Generation using TED4C-L Dataset

SICAGE: 使用TED4C-L数据集的说话人无关文化感知手势生成

Ariel Gjaci, Antonio Sgorbissa, Vittorio Murino

机构 * Italian Institute of Technology（意大利理工学院） ； University of Genoa（热那亚大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SICAGE框架，通过域泛化学习说话人无关的文化表征，结合ALaDiT扩散模型生成文化适切手势，在TED4C-L数据集上验证了运动真实性、多样性和文化一致性提升。

Comments Accepted at ECCV 2026

Mural: Transferring LLM knowledge to image generation via Mixture-of-Transformers

Mural: 通过混合Transformer将LLM知识迁移到图像生成

Achin Jain, Jie An, Siddharth Chaudhary, Davide Modolo

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Mixture-of-Transformers架构，将冻结的LLM与扩散图像生成器结合，仅用文本-图像对训练，在多个基准上取得优异性能，并涌现出跨语言生成、颜色引导构图等新能力。

Obliviate: Erasing Concepts from Autoregressive Image Generation Models

Obliviate: 从自回归图像生成模型中擦除概念

Hossein Shakibania, Jonas Henry Grebe, Tobias Braun, Ege Aktemur, Saleh Aslani, Mehmet Görkem Yiğit, Marcus Rohrbach

机构 * TU Darmstadt, Germany（图宾根大学） ； Multimodal AI Lab, TU Darmstadt, Germany（多模态人工智能实验室） ； Zuse School ELIZA（祖斯学院ELIZA） ； hessian.AI, Germany（海西斯.AI） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Obliviate方法，通过KL散度监督视觉token分布、轨迹级更新和对齐视觉前缀，有效擦除自回归文生图模型中的有害概念，在保持模型效用同时大幅降低不当内容生成。

Comments Accepted at ECCV 2026

RefAlign: Representation Alignment for Reference-to-Video Generation

RefAlign：参考到视频生成的表示对齐

Lei Wang, YuXin Song, Ge Wu, Haocheng Feng, Hang Zhou, Jingdong Wang, Yaxing Wang, Jian Yang

机构 * PCA Lab, VCIP, College of Computer Science, Nankai University（南开大学计算机学院VCIP实验室PCA Lab） ； Baidu Inc.（百度公司） ； PCA Lab, School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院PCA Lab） ； College of Artificial Intelligence, Jilin University（吉林大学人工智能学院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 RefAlign通过显式对齐DiT参考分支特征与视觉基础模型的语义空间，提升参考生成的准确性与可控性，实验表明其在R2V任务中优于现有方法。

Comments Accepted to ECCV 2026;Code: https://github.com/gudaochangsheng/RefAlign Project: https://gudaochangsheng.github.io/RefAlign-Page/

Cross-Sensor SAR Data Generation Using Diffusion Models and Feature Migration

基于扩散模型和特征迁移的跨传感器SAR数据生成

Xuanting Wu, Fan Zhang, Fei Ma, Qiang Yin, Yongsheng Zhou

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出融合稳定扩散模型与注意力蒸馏的框架，利用历史SAR数据生成适配新传感器特性的训练数据，缓解数据稀缺问题。

Journal ref Transactions of Nanjing University of Aeronautics and Astronautics, 2025, 42(4): 509-524

Cross-modal dependence analysis with asynchronous longitudinal multimodal data

异步纵向多模态数据的跨模态依赖分析

Kun Qian, Hyung G. Park

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(title,abstract)

AI总结 提出一种贝叶斯潜变量模型，用于估计异步观测的多模态数据中协变量辅助的依赖结构，并应用于阿尔茨海默病神经影像学倡议数据，揭示临床有意义的纵向跨模态生物标志物依赖模式。

Cross-Modal Iteration Distillation for Robust IHD Screening: The IDNet Framework and A New Benchmark

跨模态迭代蒸馏用于稳健的IHD筛查：IDNet框架与一个新基准

Yongchang Gao, Junjie Pang, Shuaiyu Yang, Yusheng Yang, Xichao Jia, Shaojie Li, Hongfei Zhang, Jia Mu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； MGI Tech Co., Ltd.（MGI科技有限公司） ； Shenzhen University（深圳大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出IDNet框架，通过跨模态蒸馏聚合器(CDA)融合左右眼眼底图像和稀疏临床变量，并构建UK Biobank基准，在IHD筛查中优于多种基线方法。

Comments Accepted to the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2026)

$M^3 QuestionIng$: Multi-modal Multi-span Medical Question Answering

$M^3 QuestionIng$: 多模态多跨度医学问答

Anisha Saha, Vaibhav Rathore, Abhisek Tiwari, Akash Ghosh, Sai Ruthvik Edara, Sriparna Saha

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 提出多模态多跨度医学问答框架M3QAFrame，结合文本与图像线索生成包含文本和图像的答案，在自建数据集上超越现有方法。

X-Stream: Exploring MLLMs as Multiplexers for Multi-Stream Understanding

X-Stream: 探索多模态大语言模型作为多流理解的多路复用器

Peiwen Sun, Xudong Lu, Huadai Liu, Yang Bo, Dongming Wu, Huankang Guan, Minghong Cai, Jinpeng Chen, Xintong Guo, Shuhan Li, Fang Liu, Rui Liu, Xiangyu Yue

机构 * MMLab, Chinese University of Hong Kong（中大香港人工智能实验室） ； Huawei Inc.（华为公司） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract_cn)；multi-modal(abstract)；分类 cs.CV

AI总结 为解决多流视频理解评估缺失的问题，提出首个基准X-Stream，包含4220个QA对和932个视频，覆盖多窗口、多视角和多设备场景，并基于信号多路复用理论评估MLLM作为多路复用器的性能，发现现有模型在并发流上仅达约50%分数。

Comments Project Page: https://peiwensun2000.github.io/xstream/

RBE-Flow: Recurrent Bayesian Estimation on Feature Manifolds for Cross-Modal Registration

RBE-Flow：基于特征流形的递归贝叶斯估计用于跨模态配准

Mengzhu Ding, Xin Song, Xiaoke Ding, Hongwei Ding, Xuecong Liu

机构 * Northeastern University, China（东北大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对跨模态图像配准中非线性辐射差异和几何畸变导致的优化困难，提出RBE-Flow框架，将密集流估计重构为特征流形上的闭环递归贝叶斯估计，通过递归流形优化和不确定性自适应概率更新实现自校正，在多个基准上取得最优性能。

Comments Accepted to ECCV 2026

Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework

使多模态大语言模型成为可靠的图表数据提取器：一个基准和训练框架

Yuchen He, Peizhi Ying, Liqi Cheng, Kuilin Peng, Yuan Tian, Dazhen Deng, Yingcai Wu

机构 * Zhejiang University（浙江大学） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在图表数据提取中数值精度不足的问题，提出渐进式学习训练框架，显著提升7B参数模型的准确率，达到最优性能。

Comments Accepted at CHI'26

Multimodal Graph RAG for Long-range Visually Rich Document Understanding

多模态图RAG用于长程视觉丰富文档理解

Yi-Cheng Wang, Chu-Song Chen

机构 * Department of Computer Science and Information Engineering, National Taiwan University（国家台湾大学计算机科学与信息工程系） ； FinTech Center, National Taiwan University（国家台湾大学金融科技中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出多模态图RAG方法，通过构建多模态知识图谱解决长文档视觉问答中全局理解不足的问题，并引入新基准DLVQA进行评测，实验表明该方法优于现有方法。

COMPASS: Grounding Composition-Intent Guidance in Unified Multimodal Models

COMPASS：在统一多模态模型中锚定构图意图引导

Ziqi Zhou, Weize Quan, Mining Tan, Zhihan Chen, Dandan Zheng, Jingdong Chen, Jun Zhou, Weiming Dong, Dong-Ming Yan

机构 * University of Edinburgh（爱丁堡大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出统一框架COMPASS，通过共享专家令牌τ_c实现构图感知与生成的双向锚定，结合MoE骨干和Comp-11数据集，显著提升细粒度构图理解与可控生成能力。

IMCBench: A benchmark for multimodal LLMs in Image-grounded Medical Conversations

IMCBench：面向多模态大语言模型在图像基础医疗对话中的基准测试

Maria Xenochristou, Ashutosh Joshi, Korosh Vatanparvar, Mohammad Abuzar Hashemi, Prasad Kasu, Deepak Bansal, Anchal Nema, Nivedita Wadhwa, Prashams S Jain, Rebecca Abraham, Will Kimbrough, Dilek Hakkani-Tur, Wilko Schulz-Mahlendorf

机构 * Amazon Health AI（亚马逊健康AI） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出IMCBench基准，结合临床图像与合成患者档案模拟多轮医疗对话，从安全性、准确性和不确定性使用三个维度评估模型，发现准确描述不等于安全指导。

Comments Accepted at ECML PKDD 2026. 22 pages, 2 figures

EraseLoRA: MLLM-Driven Foreground Exclusion and Background Subtype Aggregation for Dataset-Free Object Removal

EraseLoRA: 基于多模态大语言模型的前景排除与背景子类型聚合用于无数据集对象去除

Sanghyun Jo, Donghwan Lee, Eunji Jung, Seong Je Oh, Kyungsu Kim

机构 * OGQ ； Seoul National University（首尔大学） 纠错

专题命中 多模态评测 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 EraseLoRA通过多模态大语言模型实现前景排除与背景子类型聚合，提升无数据集对象去除的背景重建与前景抑制效果，显著提高重建真实性并减少冗余生成。

Comments Accepted to ECCV 2026

StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

StarDojo：基于Stardew Valley的多模态大语言模型在生产-生活模拟中的开放性行为基准测试

Weihao Tan, Changjiu Jiang, Yu Duan, Mingcong Lei, Jiageng Li, Yitian Hong, Xinrun Wang, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； East China University of Science and Technology（华东理工大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 StarDojo通过Stardew Valley模拟评估多模态大语言模型在生产与社交活动中的综合能力，包含1000个任务，发现GPT-4.1在视觉理解与多模态推理方面存在显著不足。

Comments Accepted by ECCV 2026. Project website: https://weihaotan.github.io/StarDojo

EEmo-Logic: A Unified Dataset and Multi-Stage Framework for Comprehensive Image-Evoked Emotion Assessment

EEmo-Logic：面向全面图像诱发情感评估的统一数据集与多阶段框架

Lancheng Gao, Ziheng Jia, Zixuan Xing, Wei Sun, Huiyu Duan, Guangtao Zhai, Xiongkuo Min

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出最大图像诱发情感理解数据集EEmoDB和统一多模态大语言模型EEmo-Logic，通过指令微调和任务定制GRPO实现细粒度情感问答与评估。

Redefining Quality Criteria and Distance-Aware Score Modeling for Image Editing Assessment

重新定义质量标准与距离感知评分建模用于图像编辑评估

Xinjie Zhang, Qiang Li, Xiaowen Ma, Axi Niu, Li Yan, Qingsen Yan

机构 * Northwestern Polytechnical University（西北工业大学） ； Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出DS-IEQA框架，通过反馈驱动指标优化和令牌解耦距离回归损失，改进图像编辑质量评估的指标定义与评分连续性建模。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 2812-2820

Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

从可靠潜在提示中学习：面向缺失模态的视觉识别

Taixi Chen, Nancy Guo

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出从可靠潜在提示中学习的新范式，通过输入无关的可学习潜在提示作为稳定锚点，在极端缺失率下实现鲁棒引导和跨模态知识补偿，在三个基准数据集上达到最先进性能。

VIGIL: Part-Grounded Structured Reasoning for Generalizable Deepfake Detection

VIGIL：基于部分的结构化推理用于通用深度伪造检测

Xinghan Li, Junhao Xu, Jingjing Chen

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海市多模态具身人工智能重点实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 VIGIL通过计划-检验流程，结合部分级证据和结构化推理，提升深度伪造检测的可解释性和泛化能力。

Comments Project Page: https://vigil.best