多模态大模型

Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token

重新思考MLLM本身作为分割器：仅用一个分割标记

Anqi Zhang, Xiaokang Ji, Guangyu Gao, Jianbo Jiao, Chi Harold Liu, Yunchao Wei

机构 * Beijing Institute of Technology（北京理工大学） ； University of Birmingham（伯明翰大学） ； Beijing Jiaotong University（北京交通大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SELF1E方法，通过保留原始图像分辨率并利用残差特征提升分割精度，无需外部解码器即可实现与专业解码器相当的分割性能。

Comments Paper is accepted by CVPR 2026

Parameter-Efficient Modality-Balanced Symmetric Fusion for Multimodal Remote Sensing Semantic Segmentation

参数高效模态平衡对称融合用于多模态遥感语义分割

Haocheng Li, Juepeng Zheng, Shuangxi Miao, Ruibo Lu, Guosheng Cai, Haohuan Fu, Jianxi Huang

机构 * College of Land Science and Technology, China Agricultural University（中国农业大学土地科学与技术学院） ； Key Laboratory of Remote Sensing for Agri-Hazards, Ministry of Agriculture and Rural Affairs（农业农村部农业灾害遥感重点实验室） ； Faculty of Geosciences and Engineering, Southwest Jiaotong University（西南交通大学地质科学与工程学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Henan Polytechnic University（河南理工大学） ； Key Laboratory of Spatio-Temporal Information and Ecological Restoration of Mines, Ministry of Natural Resources of the People’s Republic of China（矿产资源时空信息与生态修复重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； National Supercomputing Center in Shenzhen, Shenzhen, China（深圳国家超算中心） ； Ministry of Education Key Laboratory for Earth System Modeling and the Department of Earth System Science, Tsinghua University（地球系统模拟教育部重点实验室和清华大学地球系统科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MoBaNet，通过参数高效和模态平衡的对称融合框架，在减少可训练参数的同时提升多模态遥感语义分割的鲁棒性和平衡性。

Comments 14 pages, 6 figures

HGP-Mamba: Integrating Histology and Generated Protein Features for Mamba-based Multimodal Survival Risk Prediction

HGP-Mamba：整合组织学与生成的蛋白质特征用于基于Mamba的多模态生存风险预测

Jing Dai, Chen Wu, Ming Wu, Qibin Zhang, Zexi Wu, Jingdong Zhang, Hongming Xu

机构 * Cancer Hospital of Dalian University of Technology, Shenyang, China（大连理工大学沈阳医院） ； School of Biomedical Engineering, Faculty of Medicine, Dalian University of Technology, Dalian, China（大连理工大学生物医学工程学院） ； Key Laboratory of Integrated Circuit and Biomedical Electronic System, Dalian University of Technology, Dalian, China（大连理工大学集成电路与生物医学电子系统重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HGP-Mamba框架，通过整合组织学与生成蛋白质特征，提升多模态生存风险预测的效率与性能。

Comments Accepted at IEEE ICME 2026. This arXiv version includes additional supplementary experiments and extended discussions beyond the conference version

Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

具有冲突意识的多模态融合用于矛盾与犹豫识别

Salah Eddine Bekhouche, Hichem Telli, Azeddine Benlamoudi, Salah Eddine Herrouz, Abdelmalik Taleb-Ahmed, Abdenour Hadid

机构 * University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU） ； Laboratory of LESIA, University of Biskra（贝斯克拉大学LESIA实验室） ； Lab. de Génie Electrique (LAGE), University Kasdi Merbah Ouargla（奥尔加拉大学LAGE实验室） ； Institute of Electronics, Microelectronics and Nanotechnology (IEMN), Polytechnic University of Hauts-de-France, University of Lille（电子、微电子与纳米技术研究所（IEMN），法国 Hauts-de-France 工业大学，里尔大学） ； Sorbonne Center for Artificial Intelligence, Sorbonne University Abu Dhabi, UAE（索邦人工智能中心，索邦大学阿布扎比校区，阿联酋） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ConflictAwareAH框架，通过多模态融合识别矛盾与犹豫状态，提升F1指标，采用冲突特征作为双向线索，改进模型性能。

DualSwinFusionSeg: Multimodal Martian Landslide Segmentation via Dual Swin Transformer with Multi-Scale Fusion and UNet++

DualSwinFusionSeg: 多模态火星滑坡分割 via 双Swin Transformer 与多尺度融合及UNet++

Shahriar Kabir, Abdullah Muhammed Amimul Ehsan, Istiak Ahmmed Rifti, Md Kaykobad Reza

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DualSwinFusionSeg，通过双Swin Transformer与多尺度融合及UNet++实现多模态火星滑坡分割，验证了在有限标注数据下提升分割精度的效果。

Comments 10 pages, 2 Figures, 12 Tables. Code is available at: https://github.com/amimulamim/Mars-LS-Segmentation

Sparse-Dense Mixture of Experts Adapter for Multi-Modal Tracking

稀疏-密集专家混合适配器用于多模态跟踪

Yabin Zhu, Jianqi Li, Chenglong Li, Jiaxiang Wang, Chengjie Gu, Jin Tang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出稀疏-密集专家混合适配器框架，通过稀疏MoE和密集共享MoE有效建模多模态特征，结合Gram基于语义对齐超图融合模块，提升多模态跟踪性能。

CAMEL-CLIP: Channel-aware Multimodal Electroencephalography-text Alignment for Generalizable Brain Foundation Models

CAMEL-CLIP：面向通用脑基础模型的通道感知多模态EEG-文本对齐

Hanseul Choi, Jinyeong Park, Seongwon Jin, Sungho Park, Jibum Kim

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Incheon National University（庆尚国立大学） ； Department of Artificial Intelligence（人工智能系） ； Inha University（Inha大学） ； Center for Brain-Machine Interface（脑机接口中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 CAMEL-CLIP通过通道属性位置编码、动态通道投影和双级对比学习，提升EEG-文本多模态基础模型在通道异质性下的鲁棒性，实验表明其在线性探测中表现最优。

LoC-Path: Learning to Compress for Pathology Multimodal Large Language Models

LoC-Path：学习压缩用于病理多模态大语言模型

Qingqiao Hu, Weimin Lyu, Meilong Xu, Kehan Qi, Xiaoling Hu, Saumya Gupta, Jiawei Zhou, Chao Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 LoC-Path通过压缩滑片图像特征，降低多模态模型的训练和推理成本，使在有限资源下实现高效病理大语言模型成为可能。

Comments Code will be released soon

Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild

层次粒度对齐与状态空间建模用于野外多模态面部动作单元检测

Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出了一种基于层次粒度对齐和状态空间模型的多模态框架，通过强大的基础模型提取高保真视觉和音频表示，并引入视觉-马尔可夫模型和不对称交叉注意机制，实现对野外环境中面部动作单元的高效检测。

Comments 8 pages, 1 figures

From Images to Words: Efficient Cross-Modal Knowledge Distillation to Language Models from Black-box Teachers

从图像到词语：高效的跨模态知识蒸馏用于从黑盒教师模型向语言模型转移

Ayan Sengupta, Shantanu Dixit, Md Shad Akhtar, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi, India（印度德里印度理工学院） ； Indraprastha Institute of Information Technology Delhi, India（印度德里印度信息科技学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出ARMADA框架，通过高效的跨模态知识蒸馏方法，从黑盒视觉-语言模型向语言模型转移知识，实现性能提升且无需昂贵预训练。

GeoSense: Internalizing Geometric Necessity Perception for Multimodal Reasoning

GeoSense: 内化几何必要性感知以实现多模态推理

Ruiheng Liu, Haihong Hao, Mingfei Han, Xin Gu, Kecheng Zhang, Changlin Li, Xiaojun Chang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 GeoSense通过内化几何必要性感知，提升多模态推理的鲁棒性和效率。

Point Cloud as a Foreign Language for Multi-modal Large Language Model

点云作为多模态大语言模型的外语

Sneha Paul, Zachary Patterson, Nizar Bouguila

机构 * Concordia University（康科迪亚大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SAGE是首个端到端3D多模态大语言模型，通过轻量级3D分词器直接处理点云，提升3D任务的推理能力与鲁棒性。

Comments Accepted in The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026

Progressive Representation Learning for Multimodal Sentiment Analysis with Incomplete Modalities

逐步表示学习用于不完整模态的多模态情感分析

Jindi Bao, Jianjun Qian, Mengkai Yan, Jian Yang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Hohai University（河海大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 PRLF通过逐步表示学习框架，在不完整模态条件下提升多模态情感分析的鲁棒性和泛化能力。

Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM

Granulon: 通过自适应多粒度语义唤醒像素级视觉编码器以实现MLLM

Junyuan Mao, Qiankun Li, Linghao Meng, Zhicheng He, Xinliang Zhou, Kun Wang, Yang Liu, Yueming Jin

机构 * National University of Singapore（国立新加坡大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 Granulon通过自适应多粒度语义增强，提升多模态大语言模型的像素级视觉理解和多粒度推理能力。

CAMMSR: Category-Guided Attentive Mixture of Experts for Multimodal Sequential Recommendation

CAMMSR: 基于类别的注意力混合专家多模态序列推荐

Jinfeng Xu, Zheyu Chen, Shuo Yang, Jinze Li, Hewei Wang, Yijie Li, Jianheng Tang, Yunhuai Liu, Edith C. H. Ngai

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 CAMMSR通过引入基于类别的注意力混合专家模块，实现多模态序列推荐的自适应、协同和用户中心化

Comments Accepted by ICDE 2026

Evolutionary Multimodal Reasoning via Hierarchical Semantic Representation for Intent Recognition

通过层次语义表示进行进化多模态推理以实现意图识别

Qianrui Zhou, Hua Xu, Yunjin Gu, Yifan Wang, Songze Li, Hanlei Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.MM

AI总结 HIER通过层次语义表示与进化推理提升多模态意图识别性能，实现更准确的意图推断。

Comments Accepted by CVPR 2026

PinCLIP: Large-scale Foundational Multimodal Representation at Pinterest

PinCLIP：Pinterest的规模化多模态基础表示

Josh Beal, Eric Kim, Jinfeng Rao, Rex Wu, Dmitry Kislyuk, Charles Rosenberg

机构 * Pinterest Inc.（Pinterest公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 PinCLIP通过多模态表示学习提升Pinterest的检索和排序模型，解决冷启动问题并提高用户参与度。

Beyond Language Modeling: An Exploration of Multimodal Pretraining

超越语言模型：多模态预训练的探索

Shengbang Tong, David Fan, John Nguyen, Ellis Brown, Gaoyue Zhou, Shengyi Qian, Boyang Zheng, Théophane Vallaeys, Junlin Han, Rob Fergus, Naila Murray, Marjan Ghazvininejad, Mike Lewis, Nicolas Ballas, Amir Bar, Michael Rabbat, Jakob Verbeek, Luke Zettlemoyer, Koustuv Sinha, Yann LeCun, Saining Xie

机构 * FAIR, Meta（FAIR、Meta） ； New York University（纽约大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文通过多模态预训练探索，揭示了视觉与语言数据的互补性及统一预训练对世界建模的促进作用，并提出MoE架构解决多模态扩展的不对称性问题。

Comments Project website at https://beyond-llms.github.io/

EIMC: Efficient Instance-aware Multi-modal Collaborative Perception

EIMC: 高效实例感知多模态协作感知

Kang Yang, Peng Wang, Lantao Li, Tianci Bu, Chen Sun, Deying Li, Yongcai Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Sony Research and Development Center China（索尼（中国）研发有限公司） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 EIMC通过实例感知的多模态协作感知方法，提升自动驾驶安全性，减少带宽使用，实现高效且准确的3D感知。

Comments 9 pages, 8 figures, 7 tables

SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data

SGMA: 基于不完整多模态数据的语义引导模态感知遥感语义分割

Lekang Wen, Liang Liao, Jing Xiao, Mi Wang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SGMA通过语义引导和模态感知方法解决不完整多模态数据下的语义分割问题，提升模态间平衡性和一致性。

Q-BERT4Rec: Quantized Semantic-ID Representation Learning for Multimodal Recommendation

Q-BERT4Rec: 量化语义-ID表示学习用于多模态推荐

Haofeng Huang, Ling Gai

机构 * University of Shanghai for Science and Technology（上海科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 Q-BERT4Rec通过统一语义表示与量化建模，提升多模态推荐的性能和可解释性。

Comments Submitted to KDD2026

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle

Shuffle-R1: 通过数据导向的动态洗牌提升多模态大语言模型的强化学习框架

Linghao Zhu, Yiran Guan, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Bin Qin, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 Shuffle-R1通过动态洗牌和轨迹采样提升多模态大语言模型的强化学习效率，实现更高效的训练效果。

Comments This paper has been accepted by ICLR 2026. Conference link: https://iclr.cc/virtual/2026/poster/10007559 OpenReview link: https://openreview.net/forum?id=mYP33u1QBK Project page at: https://xenozlh.github.io/Shuffle-R1/

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Co-Evolutionary Multi-Modal Alignment via Structured Adversarial Evolution

基于结构对抗进化的多模态对齐

Guoxin Shi, Haoyu Wang, Zaihui Yang, Yuxing Wang, Yongzhe Chang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出CEMA框架，通过共进化对抗提升多模态对齐的鲁棒性和安全性。

Comments Preprint

TokenCom: Vision-Language Model for Multimodal and Multitask Token Communications

TokenCom: 一种用于多模态和多任务令牌通信的视觉-语言模型

Feibo Jiang, Siwei Tu, Li Dong, Xiaolong Li, Kezhi Wang, Cunhua Pan, Zhu Han, Jiangzhou Wang

机构 * Hunan Provincial Key Laboratory of Intelligent Computing and Language Information Processing, Hunan Normal University（湖南省级智能计算与语言信息处理重点实验室，湖南师范大学） ； School of Information Science and Engineering, Hunan Normal University（信息科学与工程学院，湖南师范大学） ； Changsha Social Laboratory of Artificial Intelligence, Hunan University of Technology and Business（长沙人工智能社会实验室，湖南工业大学） ； School of Computer Science, Hunan University of Technology and Business（计算机科学学院，湖南工业大学） ； Department of Computer Science, Brunel University London（伦敦布鲁内尔大学计算机科学系） ； National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心） ； Department of Electrical and Computer Engineering, University of Houston（电子与计算机工程系，休斯顿大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 TokenCom提出了一种新的视觉-语言模型框架TaiChi，通过双视觉分词器和双向注意力网络提升多模态和多任务令牌通信的性能。

FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

FermatSyn: 基于改进双向Mamba的多模态医学图像合成方法

Feng Yuan

机构 * USTC（中国科学技术大学） ； SII（上海信息研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 FermatSyn通过改进的双向Mamba结合Fermat螺旋扫描策略，解决多模态医学图像合成中全局一致性与局部细节的平衡问题，提升合成图像质量与临床应用价值。

Comments MICCAI 2026(under view)

pFedMMA: Personalized Federated Fine-Tuning with Multi-Modal Adapter for Vision-Language Models

pFedMMA: 为视觉-语言模型设计的个性化联邦微调多模态适配器

Sajjad Ghiasvand, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 pFedMMA通过多模态适配器实现视觉-语言模型的个性化联邦微调，平衡个性化与泛化能力，优于现有方法。

Towards Multimodal Domain Generalization with Few Labels

迈向少标签多模态领域泛化的研究

Hongzhao Li, Hao Dong, Hualei Wan, Shupan Li, Mingliang Xu, Muhammad Haris Khan

机构 * Zhengzhou University（郑州大学） ； ETH Zürich（苏黎世联邦理工学院） ； MBZUAI（马克斯·普朗克智能系统研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SSMDG框架，通过三个关键组件实现少标签多模态领域泛化，提升跨模态鲁棒性和领域不变性。

Comments Accepted to CVPR 2026

GatedCLIP: Gated Multimodal Fusion for Hateful Memes Detection

GatedCLIP：用于仇恨表情包检测的门控多模态融合

Yingying Guo, Ke Zhang, Zirong Zeng

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 GatedCLIP通过门控融合和对比学习提升多模态仇恨表情包检测性能，实现0.66 AUROC优于CLIP基线。

Comments Preprint

Closing the gap in multimodal medical representation alignment

弥合多模态医学表征对齐的差距

Eleonora Grassucci, Giordano Cicchetti, Danilo Comminiello

机构 * Dept. of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种模态无关的框架，用于弥合多模态医学表征对齐中的模态差距，提升放射学图像与临床文本之间的对齐效果。

Comments Accepted at MLSP2025

M3S-Net: Multimodal Feature Fusion Network Based on Multi-scale Data for Ultra-short-term PV Power Forecasting

M3S-Net：基于多尺度数据的多模态特征融合网络用于超短期光伏功率预测

Penghui Niu, Taotao Cai, Suqi Zhang, Junhua Gu, Ping Zhang, Qiqi Liu, Jianxin Li

机构 * School of Artificial Intelligence, Hebei University of Technology（人工智能学院，河北工业大学） ； University of Southern Queensland（南方昆士兰大学） ； School of Information Engineering, Tianjin University of Commerce（信息工程学院，天津商业大学） ； Hebei Province Key Laboratory of Big Data Calculation, Hebei University of Technology（大数据计算河北重点实验室，河北工业大学） ； General AI Lab, School of Engineering, Westlake University（通用人工智能实验室，西湖大学） ； School of Business and Law, Edith Cowan University（商学院和法学院，埃迪斯科文大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 M3S-Net通过多尺度数据融合和跨模态Mamba交互模块，提升超短期光伏功率预测的精度与效率。