多模态大模型

MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning

MLLM-LLaVA-FL：多模态大语言模型辅助联邦学习

Jianyi Zhang, Hao Frank Yang, Ang Li, Xin Guo, Pu Wang, Haiming Wang, Yiran Chen, Hai Li

机构 * Duke University（杜克大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland College Park（马里兰大学学院市分校） ； Lenovo Research（联想研究院） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对联邦学习中数据异质性问题，提出MLLM-LLaVA-FL框架，利用多模态大语言模型，通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段，提升联邦学习性能。

Comments Accepted to WACV 2025

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)

MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

MLLM-Microscope：解锁多模态大语言模型中的隐藏结构

Ravil Mussabayev, Rustam Mussabayev

机构 * Satbayev University（萨特拜耶夫大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出MLLM-Microscope系统，通过分析线性度、内在维度和各向异性，揭示多模态大语言模型中隐藏的表示结构，并基于ScienceQA数据集评估LLaVA-NeXT和OmniFusion，发现模态融合方式显著影响模型内部工作机理。

GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models

GAP-MLLM：几何对齐预训练以激活多模态大语言模型中的3D空间感知

Jiaxin Zhang, Junjun Jiang, Haijie Li, Youyu Chen, Kui Jiang, Dave Zhenyu Chen

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； Huawei（华为） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出GAP-MLLM，通过几何对齐预训练激活多模态大语言模型中的3D空间感知，改进了传统方法在3D空间感知上的不足。

Comments Accepted by ECCV 2026. Project page: https://gapmllm.github.io/

TCAP: Tri-Component Attention Profiling for Unsupervised Backdoor Detection in MLLM Fine-Tuning

TCAP: 面向MLLM微调中无监督后门检测的三组件注意力分析

Mingzu Liu, Hao Fang, Runmin Cong

机构 * School of Control Science and Engineering, Shandong University, Jinan, China（控制科学与工程学院，山东大学，济南，中国） ； Key Laboratory of Industrial Intelligent Systems, Shandong Province, China（山东省工业智能系统重点实验室，中国） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对微调即服务中的后门攻击，提出基于三组件注意力分布差异的无监督防御框架TCAP，通过高斯混合模型和EM投票聚合检测中毒样本。

Comments ICML 2026

Promoting cross-modal representations to improve multimodal foundation models for physiological signals

Ching Fang, Christopher Sandino, Behrooz Mahasseni, Juri Minxha, Hadi Pouransari, Erdrin Azemi, Ali Moin, Ellen Zippi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；multimodal foundation model(title,abstract)

Comments NeurIPS 2024 AIM-FM Workshop

Progressive Multimodal Alignment for Continual Instruction Tuning

用于持续指令微调的渐进式多模态对齐

Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心） ； Kyoto University（京都大学） ； Migu Culture Technology Co.,Ltd.（咪咕文化科技有限公司） ； State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与类脑智能技术国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(summary_cn,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态持续指令微调中投影器级遗忘问题，提出渐进式多模态对齐框架PMA，以亚线性参数增长平衡稳定性与可塑性，在多基准实验中提升了现有方法性能且适配多种MLLM主干。

Comments Accepted by ACM MM2026

Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence

Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力

Diankun Wu, Fangfu Liu, Yi-Hsin Hung, Yueqi Duan

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。

Comments 22 pages

A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

基于MLLM的视觉丰富文档理解综述：方法、挑战与新兴趋势

Yihao Ding, Siwen Luo, Yue Dai, Yanbei Jiang, Zechuan Li, Qiang Sun, Geoffrey Martin, Wei Liu, Yifan Peng

机构 * The University of Western Australia（西澳大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（韦尔·柯尔医学中心） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了基于MLLM的视觉丰富文档理解最新进展，探讨了文本、视觉和布局特征的表示与整合技术，以及预训练、指令微调等训练方法，分析了数据稀缺、多页文档处理等挑战及新兴趋势。

Comments Accepted at ACL 2026 Findings

GeoAlign: Geometric Feature Realignment for MLLM Spatial Reasoning

GeoAlign：用于MLLM空间推理的几何特征重定位

Zhaochen Liu, Limeng Qiao, Guanglu Wan, Tingting Jiang

机构 * National Engineering Research Center of Visual Technology, National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（视觉技术国家工程研究中心、多媒体信息处理国家重点实验室、计算机学院、北京大学） ； Meituan Inc.（美团公司） ； National Biomedical Imaging Center, Peking University（生物医学成像国家中心、北京大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出GeoAlign框架，通过动态聚合多层几何特征以解决MLLM在空间推理中的任务对齐偏差问题，实验表明其紧凑模型在多个基准测试中达到SOTA性能。

Understanding Knowledge Transfer Mechanism in Heterogeneous MLLM Fusion: A Simple Linear Approach

理解异构多模态大语言模型（MLLM）融合中的知识迁移机制：一种简单线性方法

Yinghao Hou, Jiahe Fan, Yuanhao Pu, Zongyuan Chen, Hong Xie

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 该研究针对异构MLLM跨规模知识迁移机制，提出CDPI线性探针，经多组模型与基准测试发现，融合增益集中于高层推理，且正向迁移多发生在小比率区间。

Comments 17 pages, 6 figures; includes supplementary material. Revised presentation and terminology; results unchanged

A Model Merging Approach for Continual MLLM Unlearning

面向持续多模态大语言模型（MLLM）遗忘的模型合并方法

Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。

Comments 17 pages, 5 figures

Design-MLLM: A Reinforcement Alignment Framework for Verifiable and Aesthetic Interior Design

Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架

Yuxuan Yang, Xiaotong Mao, Jingyao Wang

机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.MM

AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。

Improving MLLM Training Efficiency via Stage-Aware Sparsity

通过阶段感知稀疏性提升MLLM训练效率

Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

机构 * Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于稀疏表示的高效训练框架STS，通过阶段感知设计适应不同训练阶段的冗余，采用视觉标记压缩器和层动态跳过器来减少计算开销，验证了其在多种MLLM架构上的有效性。

LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference

LAST：最后一个查询令牌指导视觉令牌剪枝用于边缘-云协作多模态大语言模型（MLLM）推理

Feng Yang, Xinrui Ju, Keyang Zhang, Xiandong Meng, Rongqun Lin, Howard Leung, Shiqi Wang, Haoliang Li, Chris Xing Tian

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出无训练框架LAST，利用边缘侧VLM的最后查询令牌注意力实现查询感知视觉令牌剪枝，在11个多模态基准上以12.5%视觉令牌保留率维持95.4%全令牌准确率，降低边缘和云侧开销。

AviationLMM: A Large Multimodal Foundation Model for Civil Aviation

AviationLMM：民用航空的大规模多模态基础模型

Wenbin Li, Jingling Wu, Xiaoyong Lin. Jing Chen, Cong Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 AviationLMM旨在通过统一民用航空的异构数据流，提升航空安全与效率，推动可信且隐私保护的航空人工智能生态系统发展。

Comments Accepted by 2025 7th International Conference on Interdisciplinary Computer Science and Engineering (ICICSE 2025), Chongqing, China; 9 pages,1 figure,5 tables

MANTA: Cross-Modal Semantic Alignment and Information-Theoretic Optimization for Long-form Multimodal Understanding

Ziqi Zhong, Daniel Tang

机构 * London School of Economics（伦敦经济学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Cross-modal Information Flow in Multimodal Large Language Models

Zhi Zhang, Srishti Yadav, Fengze Han, Ekaterina Shutova

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Journal ref CVPR2025

Cross-Modal Projection in Multimodal LLMs Doesn't Really Project Visual Attributes to Textual Space

Gaurav Verma, Minje Choi, Kartik Sharma, Jamelle Watson-Daniels, Sejoon Oh, Srijan Kumar

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted at ACL 2024 (Main, Short)

Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference

超越准确率：针对OCR关键多模态大语言模型（MLLM）推理的视觉令牌剪枝空间溯源审计

Feixiang Liu, Qiang Qiu, Hao Zhang, Xinyue Wang

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 该研究针对OCR关键MLLM推理的视觉令牌剪枝，提出结合空间溯源的审计方法，发现准确率无法反映的质量风险，揭示模型特定前沿并验证压缩与任务通用性的关系，为视觉令牌剪枝评估提供新范式。

Comments 21 pages, including supplementary material. Code and reproducibility artifacts: https://github.com/SouthWinter/spatial-provenance-audit

MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding

MOON: 基于生成式多模态大语言模型的电商产品理解多模态表示学习

Daoze Zhang, Chenghan Fu, Zhanheng Nie, Jianyu Liu, Wanxian Guan, Yuan Gao, Jun Song, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MOON通过生成式多模态大语言模型改进电商产品理解的多模态表示学习，引入引导的MoE模块、核心语义区域检测和负采样策略，提升零样本性能和泛化能力。

Comments Accepted by WSDM 2026 (oral). 11 pages, 9 figures

MDF-MLLM: Deep Fusion Through Cross-Modal Feature Alignment for Contextually Aware Fundoscopic Image Classification

Jason Jordan, Mohammadreza Akbari Lor, Peter Koulen, Mei-Ling Shyu, Shu-Ching Chen

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；cross-modal(title)；multimodal(abstract)；image-text(abstract)

Comments Word count: 5157, Table count: 2, Figure count: 5

Recursive Joint Cross-Modal Attention for Multimodal Fusion in Dimensional Emotion Recognition

R. Gnana Praveen, Jahangir Alam

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV、eess.AS

Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective

从费舍尔信息视角理解和克服多模态异常检测中的跨模态融合偏差

Kaifang Long, Lianbo Ma, Liming Liu, Guoyang Xie

机构 * Northeastern University（东北大学） ； CATL（宁德时代） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。

Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention

迈向基于视觉的多模态摘要：通过跨模态Transformer和门控注意力

Abid Ali, Diego Molla-Aliod, Usman Naseem

机构 * School of Computing, Macquarie University（麦考瑞大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出SPeCTrA-Sum框架，通过深度视觉处理器和轻量视觉相关性预测器实现文本摘要与图像选择，提升多模态摘要的视觉连贯性与准确性。

Comments Accepted to Findings of ACL 2026

Guiding Cross-Modal Representations with MLLM Priors via Preference Alignment

通过偏好对齐引导跨模态表示

Pengfei Zhao, Rongbo Luan, Wei Zhang, Peng Wu, Sifeng He

机构 * Apple（苹果公司） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 MAPLE通过利用多模态大语言模型的细粒度对齐先验，引导跨模态表示学习，提升细粒度检索性能。

Comments Accepted by NeurIPS 2025

Q-MLLM: Vector Quantization for Robust Multimodal Large Language Model Security

Q-MLLM：向量量化用于鲁棒多模态大语言模型安全

Wei Zhao, Zhe Li, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 Q-MLLM通过两级向量量化提升多模态大语言模型的安全性，有效防御对抗性攻击并保持模型实用性。

Comments Accepted by NDSS 2026

On the Value of Cross-Modal Misalignment in Multimodal Representation Learning

Yichao Cai, Yuhang Liu, Erdun Gao, Tianjiao Jiang, Zhen Zhang, Anton van den Hengel, Javen Qinfeng Shi

机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究所） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV

Comments NeurIPS 2025 camera-ready version (with checklist removed for presentation clarity)

VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

Boqiang Zhang, Kehan Li, Zesen Cheng, Zhiqiang Hu, Yuqian Yuan, Guanzheng Chen, Sicong Leng, Yuming Jiang, Hang Zhang, Xin Li, Peng Jin, Wenqi Zhang, Fan Wang, Lidong Bing, Deli Zhao

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（虎派实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；image-text(abstract)；分类 cs.CV

Comments BZ, KL, ZC, ZH, YY, GC, SL, YJ, HZ, and XL contributed equally to this project. Code: https://github.com/DAMO-NLP-SG/VideoLLaMA3

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento（特伦托大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MARS方法，通过从LLM骨干提取的文本拒绝方向泛化到多模态，无需多模态安全数据即可提升安全性，在五个先进MLLM上验证了有效性。

Comments Preprint

Geometric Cross-Modal Token Selection for Latency-Constrained Multimodal Token Communication

面向延迟约束多模态令牌通信的几何跨模态令牌选择

Joohyuk Park, Junyong Shin, Yongjeong Oh, Jihong Park, Yo-Seb Jeon

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；audio-visual(abstract)

AI总结 该研究针对延迟约束多模态令牌通信问题，提出基于几何的跨模态令牌选择框架及IBS、R-IBS策略，在VQA和AVQA任务上实现了显著的准确率提升。