多模态大模型

Improving MLLM Training Efficiency via Stage-Aware Sparsity

通过阶段感知稀疏性提升MLLM训练效率

Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

机构 * Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于稀疏表示的高效训练框架STS，通过阶段感知设计适应不同训练阶段的冗余，采用视觉标记压缩器和层动态跳过器来减少计算开销，验证了其在多种MLLM架构上的有效性。

Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning

跨模态亲和对齐的多模态学习分析用于预测基于游戏的学习中学生协作满意度

Wen-Hsin Tsai, Chia-Ming Lee, Yuk-Ying Tung

机构 * Institute of Education, National Cheng Kung University（国立成功大学教育研究所） ； Institute of Intelligent System, National Yang Ming Chiao Tung University（阳明交通大学智能系统研究所） ； Department of Computer Science, University at Albany, State University of New York（纽约州立大学水牛城分校计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种跨模态亲和对齐的多模态学习分析框架，通过建模模态间关系和对比学习来增强学生协作满意度预测的鲁棒性和可解释性。

Comments Accetped by CVPR 2026 CVxEdu Workshop

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect: 动态模态感知的令牌压缩用于高效多模态大语言模型

Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

机构 * Soochow University（苏州大学） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：omni-modal(title)；multimodal(abstract,abstract_cn)；cross-modal(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出OmniSelect，一种无需训练的模态自适应令牌剪枝框架，通过动态选择压缩策略来提高多模态大语言模型的效率，通过轻量级AudioCLIP模型估计跨模态相关性，并根据相关性得分在不同时间组中进行细粒度令牌剪枝，从而在不增加训练成本的情况下实现高效的多模态令牌压缩。

CodeBind: Decoupled Representation Learning for Multimodal Alignment with Unified Compositional Codebook

CodeBind: 一种用于多模态对齐的解耦表示学习框架

Zeyu Chen, Jie Li, Kai Han

机构 * Visual AI Lab, The University of Hong Kong（视觉人工智能实验室，香港大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 CodeBind通过统一的组合代码本设计优化多模态表示空间，解决了传统方法在跨模态信息差异和数据稀缺导致的对齐空间不足问题，实现了多模态分类和检索任务中的最佳性能。

Comments ACL 2026 Findings; Project page: https://visual-ai.github.io/codebind

Learning Relative Representations for Fine-Grained Multimodal Alignment with Limited Data

基于有限数据的细粒度多模态对齐的相对表示学习

Shiwon Kim, Yu Rang Park

机构 * Yonsei University（延世大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于相对表示的学习方法，用于在有限数据条件下实现细粒度多模态对齐，通过学习token级别的跨模态结构来提升零样本分类、跨模态检索和零样本分割任务的性能。

LatentUMM: Dual Latent Alignment for Unified Multimodal Models

LatentUMM: 双重潜在对齐用于统一多模态模型

Yinyi Luo, Wenwen Wang, Hayes Bai, Marios Savvides, Jindong Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出LatentUMM，通过构建增强的共享潜在空间，显式对齐映射到和从潜在空间的转换，提高跨模态一致性。实验表明，该方法在多种架构上一致提升了多模态一致性。

Controlling Decision Drift in Multimodal Sentiment Analysis with Missing Modalities

通过缺失模态控制决策漂移的多模态情感分析

Chenglizhao Chen, Yuchen Cao, Xinyu Liu, Mengke Song, Guisheng Zhang, Xiaomin Yu

机构 * Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所，计算机科学与技术学院，中国石油大学（华东）） ； Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能油气工业软件重点实验室） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种两级参考对齐框架，旨在解决多模态情感分析中因缺失模态和质量不平衡导致的决策漂移问题，通过稳定参考提升鲁棒性，实验表明在不同缺失模态设置下方法有效，且在全模态输入下达到最先进的性能。

Comments Accepted by IJCAI 2026

Multilingual and Multimodal LLMs in the Wild: Building for Low-Resource Languages

多语言和多模态大语言模型在野：为低资源语言构建

Firoj Alam, Shammur Absar Chowdhury, Enamul Hoque Prince

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； HBKU（哈马德大学） ； York University（约克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL；multimodal foundation model(comments)

AI总结 本文探讨了在有限数据和计算资源下构建多语言多模态大语言模型的方法，涵盖了低成本数据创建、三模态对齐适配器堆栈以及文化感知评估等核心技术和资源。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Low-resources-language

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

多模态语言模型需要多少视觉标记？通过F^3A进行视觉标记剪枝的扩展

YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China（东北大学计算机科学与工程学院，沈阳 110819，中国） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China（东北大学计算机与通信工程学院，秦皇岛 066004，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出F^3A方法，通过任务条件证据搜索优化视觉标记分配，在不训练模型的情况下实现高效的视觉标记剪枝，保留原始多模态提示和解码流程。

Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction

多模态大语言模型中的安全几何坍缩与自适应漂移修正

Jiahe Guo, Xiangran Guo, Jiaxuan Chen, Weixiang Zhao, Yanyan Zhao, Yutai Hou, Qianchao Wang, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了多模态大语言模型在跨模态安全转移中的不足，提出安全几何坍缩现象，并通过自适应漂移修正方法提升模型安全性。

SkyNative: A Native Multimodal Framework for Remote Sensing Visual Evidence Reasoning

SkyNative: 一种面向遥感视觉证据推理的原生多模态框架

Xiao Yang, Ronghao Fu, Zhiwen Lin, Zhuoran Duan, Jiashun Zhu, Jiasen Hu, Lang Sun, Weipeng Zhang, Jiaqi Liu, Xu Na, Haoran Liu, Weijie Zhang, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出SkyNative，一种原生多模态框架，通过去除预训练视觉骨干，直接在语言模型token空间中表示图像为原始patch tokens，以提升遥感图像的细粒度空间推理能力。

Robust Multimodal Representation Learning in Healthcare

医疗领域鲁棒多模态表征学习

Xiaoguang Zhu, Linxiao Gong, Lianlong Sun, Yang Liu, Haoyu Wang, Jing Liu

机构 * University of California, Davis（加州大学戴维斯分校） ； HKUST (GZ)（香港科技大学） ； University of Rochester（罗切斯特大学） ； Tongji University（同济大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Fudan University（复旦大学） ； The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出双流特征去相关框架，通过结构因果分析处理医疗多模态数据中的系统性偏差，提升模型泛化能力，实验验证在MIMIC-IV、eICU和ADNI数据集上的性能提升。

The Deep Learning-Based Dual-Branch Multimodal Fusion Model for Solar Flare Prediction

基于深度学习的双分支多模态融合模型用于太阳耀斑预测

Limin Zhao, Xingyao Chen, Xiaoshuai Zhu, Dong Zhao, and Yihua Yan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出一种双分支多模态融合深度学习模型，用于预测24小时内的太阳耀斑，通过交叉注意力机制整合磁图和磁参数，并在特征层面进行跨尺度交互以增强多尺度表示，同时实现了二分类和多分类任务，实验结果表明模型在预测X级耀斑方面表现优异。

Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation

基于文本引导的视觉表示学习用于鲁棒的多模态电子商务推荐

Yufei Guo, Jing Ma, Tianlu Zhang, Shijie Yang, Yanlong Zang, Weijie Ding, Pinghua Gong, Jungong Han

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出Text-Guided Q-Former框架，通过结构化元数据指导视觉令牌提取，提升多模态检索的鲁棒性，实验表明其在电子商务数据集上显著提升了检索性能。

Comments 12 pages, 5 figures. Accepted to the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). Pre-camera-ready version

MedMIX: Modality-Internal Expert Fusion for Multimodal Medical Diagnosis

MedMIX：多模态医学诊断中的模态内部专家融合

Seungik Cho, Anqi Li, Wei Qiu

机构 * Department of Physics and Astronomy（物理与天文学系） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Rice University（里奇大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 MedMIX通过融合模态内部专家、跨模态学习融合及大-小模型协作，提升多模态医学预测的鲁棒性，适用于缺失模态的场景。

Evaluating Cognitive Age Alignment in Interactive AI Agents

评估交互式AI代理的认知年龄对齐

Yifan Shen, Jiawen Zhang, Jian Xu, Junho Kim, Ismini Lourentzou, Xu Cao, Meihuan Huang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shenzhen Children's Hospital（深圳儿童医院） ； Peking University（北京大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出ChildAgentEval，首个基于心理测量的交互式基准，用于评估基于多模态大语言模型的代理的认知年龄对齐，通过与年龄特定的人类发展阶段进行系统比较，揭示当前代理在模拟年龄特定认知行为方面的优劣。

Rethinking Point Clouds as Sequences: A Causal Next-Token Predictive Learning Framework

重新思考点云作为序列：一种因果性下一标记预测学习框架

Yumeng Yao, Jingzhi Dong, Haowen Gu, Tao Chen, Zonghan Wu, Xiaoshui Huang, Yazhou Yao

机构 * Nanjing University of Science and Technology（南京理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Hangzhou City University（杭州城市学院） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出PointNTP，将点云预训练重新定义为全因果、无解码器的潜在下一标记预测问题，通过局部补丁分割和结构化3D标记序列生成，实现对点云结构依赖的直接建模，无需重建解码器或显式几何恢复，实验表明其在多个下游任务中表现优异。

Comments 10 pages, 2 figures. Code will be released upon acceptance

A More Word-like Image Tokenization for MLLMs

一种更像单词的图像标记化方法用于大规模语言模型

Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

机构 * Seoul National University（首尔国立大学） ； Ewha Womans University（成均馆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种解耦视觉标记化方法（DiVT），通过将图像块嵌入聚类为语义单元，使每个标记对应于独特的视觉概念，从而提升多模态模型的性能和效率。

Journal ref Proceedings of the IEEE/CVF International Conference on Pattern Recognition and Computer Vision (CVPR), 2026

SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning

SSL4RL：重新审视自监督学习作为视觉语言推理的内在奖励

Xiaojun Guo, Runyu Zhou, Yifei Wang, Qi Zhang, Chenheng Zhang, Stefanie Jegelka, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yisen Wang

机构 * Peking University（北京大学） ； MIT（麻省理工学院） ； TUM（技术大学（TUM）） ； Meituan（美团） ； Peking University School of CIT, MCML, MDSIEECS and CSAIL（北京大学计算机学院、MCML、MDSIEECS以及CSAIL） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SSL4RL框架，利用自监督学习任务作为强化学习的可验证奖励，提升视觉语言推理性能，并通过实验验证其在多模态模型对齐中的有效性。

MHMamba: Multi-Head Mamba for 3D Brain Tumor Segmentation

MHMamba：多头Mamba用于3D脑肿瘤分割

Hanjun Tao, Hua Wang, Fan Zhang

机构 * Shandong Technology and Business University（山东科技与商务大学） ； Ludong University（鲁东大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MHMamba，结合U型结构与多头状态空间模型，提升3D脑肿瘤分割的长程表示与多模态训练稳定性，实验显示在BraTS数据集上整体准确率和边界平滑度显著提升。

Comments 10 pages, 3 figures, 4 tables

Neural Visual Decoding via Cognitive guided Adaptive Blurring and Information Constrained Alignment

通过认知引导的自适应模糊和信息受限对齐实现神经视觉解码

Fan Yin, Chuhang Zheng, Peiliang Gong, Donghai Guan, Qi Zhu

机构 * Department of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； Department of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CAIA框架，通过认知引导的自适应模糊和信息受限对齐，提升神经信号与视觉语义的映射精度，改进零样本脑-图像检索的Top-1和Top-5准确率。

SGSoft: Learning Fused Semantic-Geometric Features for 3D Shape Correspondence via Template-Guided Soft Signals

SGSoft: 通过模板引导的软信号学习融合语义-几何特征以实现3D形状对应

Soyeon Yoon, Chang Wook Seo, Hyunjung Shim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Anigma Technologies（Anigma科技公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SGSoft方法，通过模板引导的软信号学习融合语义-几何特征，实现3D形状对应，解决了结构变化、非等距变形和拓扑不一致的挑战，实现了最先进的跨类别泛化和最佳精度-效率权衡。

GeoHand: Unlocking Prior Geometry Knowledge for Monocular 3D Hand Reconstruction

GeoHand: 解锁先验几何知识以实现单目3D手形 reconstruction

Weiquan Lin, Yaoqing Hu, Liangchen Dai, Xu Tang, Xingyu Chen

机构 * School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院） ； Zhongguancun Academy（中关村学院） ； School of Automation, Beijing Institute of Technology（北京理工大学自动化学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出GeoHand框架，通过解锁冻结的基础单目几何估计器MoGe2中的高质量几何先验，结合地图级GeoAdapter和门控跨模态token融合策略，实现高精度手形重建，尤其在严重遮挡和手-物体交互场景中表现优异。

SHED: Style-Homogenized Embedding Alignment for Domain Generalization

SHED: 风格均质化嵌入对齐用于领域泛化

Kai Gan, Tong Wei

机构 * School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。

NGM: A Plug-and-Play Training-Free Memory Module for LLMs

NGM: 一种无需训练的插拔式内存模块用于大语言模型

Yuwen Qu, Wenhui Dong, Chenyang Si, Caifeng Shan

机构 * Nanjing University（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出NGM，一种无需训练的插拔式内存模块，通过因果n-gram编码器和余弦门控内存注入器，实现高效的知识检索，提升大语言模型在代码生成和知识密集型任务中的性能。

Comments Code is available at https://github.com/PioneerQyw/NGM

Axial-Relation Guided Fusion State Space Model for Optical-Elevation Sensing Image Segmentation

基于轴向关系引导的融合状态空间模型用于光学-海拔感测图像分割

Feng Gao, Zhilin Jin, Yanhai Gan, Junyu Dong, Qian Du

机构 * State Key Laboratory of Physical Oceanography, Ocean University of China（中国海洋大学物理海洋学国家重点实验室） ； Department of Electrical and Computer Engineering, Mississippi State University（密苏里州立大学电气与计算机工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于状态空间模型的框架，用于光学-海拔遥感图像分割，通过引入多尺度状态空间模块和轴向关系引导融合模块，有效提升了多源遥感图像语义分割的性能和计算效率。

Comments Accepted by IEEE GRSL 2026

SinkTrack: Attention Sink based Context Anchoring for Large Language Models

SinkTrack: 基于注意力sink的上下文锚定用于大语言模型

Xu Liu, Guikun Chen, Wenguan Wang

机构 * The State Key Lab of Brain-Machine Intelligence（脑机智能国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 SinkTrack通过将<BOS>作为信息锚点，注入关键上下文特征，缓解大语言模型的幻觉和上下文遗忘问题，实验显示在文本和多模态任务中均取得显著提升。

Comments ICLR 2026. Code: https://github.com/67L1/SinkTrack

M-IDoL: Information Decomposition for Modality-Specific and Diverse Representation Learning in Medical Foundation Model

M-IDoL：面向医学基础模型的模态特定与多样化表示学习的信息分解

Yihang Liu, Longzhen Yang, Jiaxiong Yang, Ying Wen, Lianghua He, Heng Tao Shen

机构 * School of Computer Science and Technique（计算机科学与技术学院） ； Tongji University（同济大学） ； School of Communications and Electronic Engineering（通讯与电子工程学院） ； East China Normal University（华东师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出M-IDoL，通过信息分解提升医学基础模型的模态特异性和多样性，通过最大化跨模态熵和最小化内模态不确定性，在21个下游任务中实现优于现有模型的泛化能力。

Machine Learning Enabled Graph Analysis of Particulate Composites: Application to Solid-state Battery Cathodes

机器学习赋能的颗粒复合材料分析：应用于固态电池正极

Zebin Li, Shimao Deng, Yijin Liu, Jia-Mian Hu

机构 * Department of Materials Science and Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校材料科学与工程系） ； Walker Department of Mechanical Engineering, University of Texas at Austin（德克萨斯大学奥斯汀分校沃克机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种基于机器学习的框架，将多模态X射线图像转化为拓扑感知图，用于分析颗粒复合材料的微观结构与性能关系，以固态电池正极为例验证了三相交点和离子/电子传导通道的重要性。

Missing-Modality-Aware Graph Neural Network for Cancer Classification

面向缺失模态的图神经网络用于癌症分类

Sina Tabakhi, Chen, Chen, Haiping Lu

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出MAGNET模型，通过动态患者-模态多头注意力机制融合低维模态嵌入，以提升部分模态下的多模态预测性能，实验表明其在癌症分类任务中优于现有方法。

Comments 27 pages, 22 figures