多模态大模型

Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition

跨模态提示用于平衡不完整多模态情绪识别

Wen-Jue He, Xiaofeng Zhu, Zheng Zhang

专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出跨模态提示方法，通过增强模态特定特征和动态加权提升多模态情绪识别的准确性和鲁棒性。

Comments Accepted by AAAI 2026

Part-X-MLLM: Part-aware 3D Multimodal Large Language Model

Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文言） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(title,abstract)；分类 cs.CV

FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference

Kunxi Li, Yufan Xiong, Zhonghua Jiang, Yiyun Zhou, Zhaode Wang, Chengfei Lv, Shengyu Zhang

机构 * Zhejiang University（浙江大学） ； Huazhong Agricultural University（华中农业大学） ； Alibaba（阿里巴巴） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CL

AIpparel: A Multimodal Foundation Model for Digital Garments

Kiyohiro Nakayama, Jan Ackermann, Timur Levent Kesdogan, Yang Zheng, Maria Korosteleva, Olga Sorkine-Hornung, Leonidas J. Guibas, Guandao Yang, Gordon Wetzstein

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV

Comments The project website is at https://georgenakayama.github.io/AIpparel/

Unifying Sequences, Structures, and Descriptions for Any-to-Any Protein Generation with the Large Multimodal Model HelixProtX

Zhiyuan Chen, Tianhao Chen, Chenggang Xie, Yang Xue, Xiaonan Zhang, Jingbo Zhou, Xiaomin Fang

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title,abstract)；分类 cs.AI

Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs

哪种模态起决定作用？多模态大语言模型的反事实模态归因

Vahidin Hasic, Chao Wang, Luis C. Garcia-Peraza-Herrera, David Watson, Senka Krivic

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型无法确定预测驱动模态的问题，提出反事实模态归因（CMA）框架，经实验验证其能准确识别决策驱动模态，可用于多模态模型的安全审计。

Comments 9 pages, 5 figures

Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey

Xuannan Liu, Xing Cui, Peipei Li, Zekun Li, Huaibo Huang, Shuhan Xia, Miaoxuan Zhang, Yueying Zou, Ran He

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；any-to-any(abstract)；multimodal foundation model(abstract)

Comments ongoing work

FysicsWorld: A Unified Full-Modality Benchmark for Any-to-Any Understanding, Generation, and Reasoning

FysicsWorld: 一个统一的全模态基准用于任意到任意的理解、生成和推理

Yue Jiang, Dingkang Yang, Minghao Han, Jinghang Han, Zizhi Chen, Yizhou Liu, Mingcheng Li, Peng Zhai, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing（智能机器人与先进制造学院） ； Fudan University（复旦大学） ； Fysics Intelligence Technologies Co., Ltd.（菲茨智能技术有限公司） 纠错

专题命中 多模态生成 ：any-to-any(title,abstract)；omni-modal(abstract,comments)；multimodal(abstract)；cross-modal(abstract)

AI总结 FysicsWorld是一个统一的全模态基准，支持图像、视频、音频和文本之间的双向交互，通过16个主要任务和3,268个样本全面评估理解、生成和推理能力，揭示模型在多模态任务中的性能差异。

Comments The omni-modal benchmark report from Fysics AI

Cornfigurator: Automated Planning for Any-to-Any Multimodal Model Serving

Cornfigurator：任意到任意多模态模型服务的自动化规划

Jeff J. Ma, Jae-Won Chung, Jisang Ahn, Yizhuo Liang, Runyu Lu, Akshay Jajoo, Myungjin Lee, Mosharaf Chowdhury

机构 * University of Michigan（密歇根大学） ； University of Southern California（南加州大学） ； Cisco Research（思科研究） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title,abstract)

AI总结 Cornfigurator是首个针对通用任意到任意模型推理服务的部署规划器，通过统计评估最大化服务吞吐量，比现有系统和专家调优方案提升1.12至6.32倍。

Comments Open-source at https://github.com/cornserve-ai/cornfigurator

vLLM-Omni: Fully Disaggregated Serving for Any-to-Any Multimodal Models

vLLM-Omni: 任何到任何多模态模型的完全解耦服务

Peiqi Yin, Jiangyun Zhu, Han Gao, Chenguang Zheng, Yongxiang Huang, Taichang Zhou, Ruirui Yang, Weizhi Liu, Weiqing Chen, Canlin Guo, Didan Deng, Zifeng Mo, Cong Wang, James Cheng, Roger Wang, Hongsheng Liu

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title,abstract)

AI总结 vLLM-Omni通过解耦服务系统优化多模态模型的高效服务，显著提升作业完成时间效率。

Comments 12 pages, 8 figures

When Recovery Matters: The Blind Spot of Surrogate Privacy in MLLM Editing

当恢复至关重要时：MLLM编辑中替代隐私的盲点

Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui LI, Shiqi Wang, Sam Kwong

机构 * City University of Hong Kong（香港城市大学） ； Hon Hai Research Institute（鸿海研究院） ； Lingnan University（岭南大学） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 针对多模态大模型编辑中的隐私风险，提出首个面向恢复的替代隐私保护编辑基准SPPE，涵盖36个细粒度隐私类别和65个编辑指令，并设计可编辑性评估与替代到源编辑恢复两个任务及对应方法。

Rethinking Visual Neglect: Steering via Context-Preference for MLLM Hallucination Mitigation

重新思考视觉忽视：通过上下文偏好引导缓解MLLM幻觉

Jingwen Wu, Xijun Zhang, Ge Song

机构 * School of Computer and Electronic Information, Nanjing Normal University（计算机与电子信息学院，南京师范大学） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型的物体幻觉问题，提出无需训练的上下文偏好激活引导框架（CAS），通过提取上下文偏好向量并在中间早期MLP层注入符号残差来控制信息依赖，有效缓解幻觉且不增加解码延迟。

Comments 15 pages, 5 figures

FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation

FiRe：用于增强图像生成的细粒度多模态推理

Yongjin Kim, Yoonjin Oh, Yerin Kim, Hyomin Kim, Jeeyoung Yun, Yujung Heo, Minjun Kim, Sungwoong Kim

机构 * KT Corporation（KT公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；image-text(abstract)；分类 cs.CV

AI总结 提出FiRe方法，通过细粒度多步推理和强化学习FiRe-GRPO，解决文本到图像生成中缺乏细粒度控制的问题。

ECG-R1: Protocol-Guided and Modality-Agnostic MLLM for Reliable ECG Interpretation

ECG-R1: 协议引导且模态无关的可靠心电图解读多模态大语言模型

Jiarui Jin, Haoyu Wang, Xingliang Wu, Xiaocheng Fang, Xiang Lan, Zihan Wang, Deyun Zhang, Bo Liu, Yingying Zhang, Xian Wu, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Tianjin Institute of Cardiology, the Second Hospital of Tianjin Medical University（天津医科大学第二医院心内科） ； National University of Singapore（新加坡国立大学） ； Jarvis Lab, Tencent（腾讯 Jarvis实验室） ； HeartVoice Medical Technology（HeartVoice医疗科技） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 提出ECG-R1，通过协议引导数据生成、模态解耦架构和强化学习，实现可靠的心电图解读。

Comments Accepted to ICML 2026

AIA: Rethinking Architecture Decoupling Strategy In Unified Multimodal Model

AIA: 重新思考统一多模态模型中的架构解耦策略

Dian Zheng, Manyuan Zhang, Hongyu Li, Kai Zou, Hongbo Liu, Ziyu Guo, Kaituo Feng, Yexin Liu, Ying Luo, Hongsheng Li

机构 * MMLab, CUHK（CUHK多媒体实验室） ； Meituan（美团） ； USTC（中国科学技术大学） ； TJU（天津大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出AIA损失函数，通过学习任务特定的多模态交互模式，缓解任务冲突而不依赖模型解耦，提升生成与理解性能。

Comments Project page: https://zhengdian1.github.io/AIA-project/ Code: https://github.com/zhengdian1/AIA

Any-to-Any Vision-Language Model for Multimodal X-ray Imaging and Radiological Report Generation

任意到任意的视觉-语言模型用于多模态X射线成像与放射学报告生成

Daniele Molino, Francesco di Feola, Linlin Shen, Paolo Soda, Valerio Guarrasi

机构 * Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与介入部门，生物医学工程与放射物理，乌梅大学） ； College of Computer Science and Software Engineering, Shenzhen University（计算机科学与软件工程学院，深圳大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title)；分类 cs.CV、cs.AI

AI总结 本文提出了一种任意到任意的视觉-语言模型，用于多模态X射线成像和放射学报告生成，通过生成高质量图像和语义连贯的报告，提升了医疗领域生成模型的临床应用价值。

Comments arXiv admin note: substantial text overlap with arXiv:2501.04614

Ex-Omni: Enabling 3D Facial Animation Generation for Omni-modal Large Language Models

Ex-Omni：为全模态大语言模型赋能3D面部动画生成

Haoyu Zhang, Zhipeng Li, Yiwen Guo, Tianshu Yu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； LIGHTSPEED ； Independent Researcher（独立研究员） 纠错

专题命中 多模态生成 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出Ex-Omni模型，通过混合形状感知语音单元生成器和解码器解耦语义推理与时间生成，并引入统一令牌查询门控融合机制，实现全模态大语言模型同步生成语音和3D面部动画。

OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

OmniTrace：面向多模态大语言模型生成过程的统一归因框架

Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； eBay 纠错

专题命中 多模态生成 ：omni-modal(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 OmniTrace提出一种轻量级框架，通过生成过程追踪实现多模态大语言模型的统一归因，提供跨模态解释并提升解释的稳定性和可解释性。

Towards Better Multi-modal Keyphrase Generation via Visual Entity Enhancement and Multi-granularity Image Noise Filtering

Yifan Dong, Suhang Wu, Fandong Meng, Jie Zhou, Xiaoli Wang, Jianxin Lin, Jinsong Su

专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.MM

Comments Accepted In Proceedings of the 31st ACM International Conference on Multimedia (MM' 23)

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：仅解码器的多模态任意到任意建模

Mingqiao Ye, Zhaochong An, Zhitong Gao, Xian Liu, François Fleuret, Chuan Li, Amir Zadeh, Serge Belongie, Afshin Dehghan, Jesse Allardice, David Mizrahi, Oğuzhan Fatih Kar, Roman Bachmann, Amir Zamir

专题命中 多模态生成 ：any-to-any(title,abstract)；multimodal(abstract,comments)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究任意到任意多模态建模，提出仅解码器的对称多模态建模方法Modus，无需特定模态组件，支持多种应用，在各基准测试中用单模型展现强大性能且与基线竞争，材料开源。

Comments Accepted at ICML 2026. Project page: https://modus-multimodal.epfl.ch

Monkey King Bang: A Unified Scientific Multimodal Foundation Model

孙悟空爆炸：一个统一的科学多模态基础模型

Hesen Chen, Xinyu Su, Xiaomeng Yang, Yuetan Lin, Zixiong Yang, Junyi An, Fenglei Cao, Yifeng Jiao, Yunqi Zhang, Yuan Cheng, Zhiyu Tan, Hao Li, Libo Wu, Yuan Qi

机构 * Shanghai Academy of AI for Science（上海人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 研究针对科学多领域推理需求，引入统一科学多模态模型MKB，围绕共享Transformer主干及定制组件构建，涵盖多科学分支。通过两阶段训练，在多方面实验表现出色，证明该范式可行，为跨领域科学多模态探索提供基础。

Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

Visual-OPSD：用于高效统一多模态推理的跨模态在策略自蒸馏

Pengyu Li, Zhitao Gao, Lingling Zhang, Muye Huang, Yuanming Li, Fangzhi Xu, Jun Liu

机构 * Xi’an Jiaotong University（西安交通大学） ； MOE KLINNS Lab（MOE KLINNS实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering（陕西省大数据知识工程重点实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CV

AI总结 提出Visual-OPSD方法，通过跨模态在策略自蒸馏，将多步扩散生成的可视化思维推理能力转移到纯文本学生模型，实现14.3倍加速且性能提升3.40个百分点。

Multimodal Crystal Flow: Any-to-Any Modality Generation for Unified Crystal Modeling

多模态晶体流：面向统一晶体建模的任意模态生成

Kiyoung Seong, Sungsoo Ahn, Sehui Han, Changyoung Park

机构 * Graduate School of AI, KAIST, Seoul, South Korea（韩国科学技术院人工智能研究生院，首尔，韩国） ； Materials Intelligence Lab, LG AI Research, Seoul, South Korea（LG AI研究所材料智能实验室，首尔，韩国） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title)；分类 cs.AI

AI总结 提出多模态晶体流（MCFlow），一种统一的多模态流模型，通过原子类型和晶体结构的独立时间变量实现多种晶体生成任务，并在MP-20和MPTS-52基准上达到与任务特定基线竞争的性能。

MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification

MDReID: 任意到任意多模态对象重识别的模态解耦学习

Yingying Feng, Jie Li, Jie Hu, Yukang Zhang, Lei Tan, Jiayi Ji

机构 * Northeastern University（东北大学） ； Xiamen University（厦门大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：any-to-any(title,abstract)；multi-modal(title)；分类 cs.CV

AI总结 MDReID通过模态解耦学习和模态感知度量学习，实现了任意到任意多模态对象重识别的鲁棒性和可扩展性。

Comments Accepted by NeurIPS 2025

Cross-Modal Unlearning via Influential Neuron Path Editing in Multimodal Large Language Models

Kunhao Li, Wenhao Li, Di Wu, Lei Yang, Jun Bai, Ju Jia, Jason Xue

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.AI

Comments Accepted at AAAI 2026 as a Conference Paper (Oral Presentation)

Multi-modal Pose Diffuser: A Multimodal Generative Conditional Pose Prior

Calvin-Khang Ta, Arindam Dutta, Rohit Kundu, Rohit Lal, Hannah Dela Cruz, Dripta S. Raychaudhuri, Amit Roy-Chowdhury

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(title)；分类 cs.CV

A Survey of Resource-efficient LLM and Multimodal Foundation Models

Mengwei Xu, Wangsong Yin, Dongqi Cai, Rongjie Yi, Daliang Xu, Qipeng Wang, Bingyang Wu, Yihao Zhao, Chen Yang, Shihe Wang, Qiyang Zhang, Zhenyan Lu, Li Zhang, Shangguang Wang, Yuanchun Li, Yunxin Liu, Xin Jin, Xuanzhe Liu

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

Pattern over Pixels: Measuring Pattern Completion Bias in Multimodal Code Generation

像素上的模式：测量多模态代码生成中的模式完成偏差

Khai-Nguyen Nguyen, Oscar Chaparro, Antonio Mastropaolo

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态代码生成中存在的模式完成偏差问题，构建了首个视觉模式完成偏差基准，评估发现前沿MLLMs均存在严重偏差，且偏差与视觉显著性密切相关。

Comments 41st IEEE/ACM International Conference on Automated Software Engineering

VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA

VinQA：面向真实世界多模态文档问答的交错视觉元素长文本答案生成

Young Rok Jang, Hyesoo Kong, Kyunghwan An, Jae Sub Huh, Gyeonghun Kim, Stanley Jungkyu Choi

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出VinQA数据集和两种编码方法（页面编码与模态编码），用于生成交错引用视觉元素的长文本答案；通过M-GroSE评估框架和微调Qwen2.5-VL模型，显著缩小与专有模型的性能差距。

Comments Accepted to CVPR 2026. Main paper: 5 figures, 4 tables; includes supplementary material

NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis

NutriMLLM：用于膳食微量营养素分析的多模态大语言模型

Runze Yan, Minxiao Wang, Jiaying Lu, Darren Liu, Xiao Hu, Hanqi Luo

机构 * Emory University（埃默里大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(summary_cn)；分类 cs.CV、cs.AI

AI总结 针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。

Comments 35 pages, 10 figures, 1 table