多模态大模型

TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

基于文本引导的层融合缓解多模态大语言模型中的幻觉

Chenchen Lin, Sanbao Su, Rachel Luo, Yuxiao Chen, Yan Wang, Marco Pavone, Fei Miao

机构 * University of Connecticut（康涅狄格大学） ； NVIDIA（NVIDIA公司） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TGIF通过文本引导的层融合方法，有效缓解多模态大语言模型中的幻觉问题，提升视觉接地能力。

Comments Accepted at COLM 2026

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

迈向多模态预训练的物理学：知识流、模态协同、早期统一与方法指南

Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis

机构 * FAIR, Meta（Meta FAIR研究院） ； Reality Labs, Meta（Meta Reality Labs） ； University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 该研究探索多模态预训练的机制，得出知识流、模态协同等四个关键见解，推导高效预训练方法，为多模态预训练的理解与扩展提供基础。

Comments Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Ruoyu Chen, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures

EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

EMO-R3：多模态大语言模型中用于情感推理的反射强化学习

Yiyang Fang, Wenke Huang, Pei Fu, Yihao Yang, Kehua Su, Zhenbo Luo, Jian Luan, Mang Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型情感推理难题，提出EMO-R3框架。引入结构化情感思维并设计反射情感奖励，经大量实验验证，该框架显著提升模型可解释性与情商，在多视觉情感理解基准测试中表现出色。

Comments Accepted by CVPR 2026

Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs

多模态大语言模型在胃肠诊断中的临床认知对齐

Huan Zheng, Yucheng Zhou, Tianyi Yan, Dubing Chen, Hongbo Lu, Wenlong Liao, Tao He, Pai Peng, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau（澳门大学协同创新研究院物联网国家重点实验室） ； Shanghai Jiao Tong University（上海交通大学） ； COWARobot Co. Ltd.（COWARobot有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出CogAlign框架，通过构建层次化临床认知数据集和监督微调提升模型临床分析能力，并采用反事实强化学习消除视觉偏差，实现胃肠诊断的因果关联与高准确率。

Comments ECCV 2026

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

罗马尼亚视觉语言模型的参数高效多模态指令微调

George-Andrei Dima, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation

FISHER：多模态工业信号综合表示的基础模型

Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学智能感知与机器人研究院） ； Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； Huakong AI Plus Company Limited（华冠AIplus有限公司） ； Didi International Business Group（滴滴国际商务集团） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

AI总结 针对工业信号分析中的数据异质性（M5问题），提出FISHER基础模型，采用子带建模处理多采样率问题，通过教师-学生自蒸馏预训练，在19个数据集上以较小规模超越24个SOTA编码器。

Comments Accepted by IEEE TII. FISHER open-sourced on https://github.com/jianganbai/FISHER . RMIS open-sourced on https://jianganbai.github.io/RMIS

Attention, not scale, drives human-AI alignment in multimodal language prediction

注意力，而非规模，驱动多模态语言预测中的人机对齐

Viktor Kewenig, Andrew Lampinen, Samuel A. Nastase, Christopher Edwards, Quitterie Lacome D'Elascombe, Akilles Rechardt, Jeremy I Skipper, Gabriella Vigliocco

机构 * Psychology and Language Science, Experimental Psychology, University College London, London, UK（心理学与语言科学、实验心理学，伦敦大学学院，伦敦，英国） ； Google Deepmind, Mountain View, US（谷歌DeepMind，山景城，美国） ； Princeton Neuroscience Institute, Princeton University, Princeton, NJ, USA（普林斯顿神经科学研究所，普林斯顿大学，普林斯顿，新泽西州，美国） ； Computer Science Department, Exeter University（计算机科学系，埃克塞特大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过比较五种视觉-语言模型与600名人类在视觉世界范式中的表现，发现添加视觉上下文显著提升模型与人类在预测评分上的一致性，且注意力机制而非模型规模是主要驱动因素。

Comments 39 pages, 6 Figures, published in NPJ Artificial Intelligence

Interpretable Alzheimer's Diagnosis via Multimodal Fusion of Regional Brain Experts

可解释的阿尔茨海默病诊断：基于区域脑专家的多模态融合

Farica Zhuang, Shu Yang, Dinara Aliyeva, Zixuan Wen, Duy Duong-Tran, Christos Davatzikos, Tianlong Chen, Song Wang, Li Shen

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MREF-AD多模态区域专家融合模型，采用混合专家框架将各模态脑区域视为独立专家，通过门控网络学习个性化融合权重，实现可解释的AD诊断。

Comments Published at IEEE ICHI 2026

VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

VFEM: 视觉特征赋能的多变量时间序列预测与跨模态融合

Yanlong Wang, Hang Yu, Jian Xu, Fei Ma, Hongkang Zhang, Tongtong Feng, Zijian Zhang, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Pengcheng Laboratory（鹏城实验室） ； Ant Group（蚂蚁集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VFEM模型，利用预训练大视觉模型通过跨模态注意力融合视觉与时间特征，仅训练7.45%参数即可捕捉跨变量依赖，提升多变量时间序列预测性能。

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency

RankByGene: 通过跨模态排序一致性实现基因引导的组织病理学表示学习

Wentao Huang, Meilong Xu, Xiaoling Hu, Shahira Abousamra, Aniruddha Ganguly, Saarthak Kapse, Alisa Yurovsky, Prateek Prasanna, Tahsin Kurc, Joel Saltz, Michael L. Miller, Chao Chen

机构 * Stony Brook University（石英溪大学） ； Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School（阿提诺拉A.马丁努斯生物医学影像中心，麻省总医院和哈佛医学院） ； Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Pathology and Cell Biology, Columbia University（病理学与细胞生物学系，哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出基于排序对齐损失的框架，利用教师-学生网络自监督知识蒸馏，解决空间转录组学与组织学图像的对齐问题，在基因表达预测、切片分类和生存分析任务中表现优异。

Comments 12 pages, 8 figures, accepted by TMI'26

From Visual to Multimodal: Systematic Ablation of Encoders and Fusion Strategies in Animal Identification

从视觉到多模态：动物识别中编码器和融合策略的系统消融

Vasiliy Kudryavtsev, Kirill Borodin, German Berezin, Kirill Bubenchikov, Grach Mkrtchian, Alexander Ryzhkov

机构 * Faculty of IT, Technical University of Communication（信息科技学院，通信技术大学） ； AI lab, Avito（人工智能实验室，Avito） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出多模态验证框架，通过合成文本描述提升视觉特征，利用门控融合机制在动物识别中实现84.28%的准确率，比单一模态基线提升11%。

Comments Accepted to the FGVC13 Workshop at CVPR 2026. And published at MDPI Journal of Imaging (see at https://www.mdpi.com/2313-433X/12/1/30)

Journal ref Journal of Imaging (2026) 12, no. 1: 30

BMDS-Net:Deployment-aware multi-modal brain tumor segmentation with adaptive fusion,decoder regularization,and Bayesian calibration

BMDS-Net：一种用于鲁棒脑肿瘤分割的贝叶斯多模态深度监督网络

Yan Zhou, Suncheng Xiang, Zhen Huang, Yue Ouyang, Yingqiu Li, Zehua Wang

机构 * School of Mathematics and Statistics, Changsha University of Science and Technology（数学与统计学学院，长沙理工大学） ； School of Biomedical Engineering, Shanghai Jiao Tong University（生物医学工程学院，上海交通大学） ； Shanghai Chest Hospital, Shanghai Jiao Tong University School of Medicine（上海胸科医院，上海交通大学医学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 BMDS-Net通过贝叶斯方法提升多模态脑肿瘤分割的鲁棒性和可信度，实现更稳定的临床应用。

Comments 21 pages, 6 figures. Manuscript prepared for submission to ACM HEALTH

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

CoLT: 教会多模态模型通过潜在思维链进行思考

Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； NKIARI ； AAIS & VCIP, Nankai University（南开大学AAIS & VCIP） ； Tianjin University（天津大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出CoLT框架，用潜在思维链代替文本推理，通过前向和后向解码器监督及内部监督实现高效多模态推理，在8个基准上优于现有方法，推理时间减少10.1倍。

Comments Accepted by ECCV2026. Code is available at https://github.com/hulianyuyy/CoLT

Bridging Multimodal Fusion and Expert Routing via Spectral Reliability Descriptors for Robust Object Detection

复用融合时频谱可靠性用于RGB-红外目标检测的自适应融合与专家路由

Yefeng Wu

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 提出一种无参数的7维频谱可靠性描述符，通过频谱可靠性融合和可靠性条件专家路由，提升RGB-红外目标检测在退化条件下的性能。

EHR2Path: Comprehensive Pathway-Level Modeling of Longitudinal Patient Trajectories from Multimodal Electronic Health Records

EHR2Path：从多模态电子健康记录中可扩展地建模纵向患者路径

Chantal Pellegrini, Ege Özsoy, David Bani-Harouni, Matthias Keicher, Nassir Navab

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 EHR2Path通过统一的时序表示建模更广泛的患者信息，提升对住院患者路径的预测和模拟能力，优于现有基线方法。

Uncertainty-Aware Multimodal Fusion for Oral Lesion Classification

面向口腔病变分类的患者感知多模态RGB-HSI融合：通过增量启发式元学习

Soujanya Hazra, Rupam Mukherjee, Rajkumar Daniel, Shirin Dasgupta, Subhamoy Mandal

机构 * 1 School of Medical Science \& Technology, IIT Kharagpur, India 2 Department of Electrical Engineering, IIT Kharagpur, India 3 Dr. B.C. Roy Multispeciality Medical Research Centre, IIT Kharagpur, India 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种面向口腔病变分类的患者感知多模态RGB-HSI融合方法，结合深度学习、光谱分析和人口统计数据，通过增量启发式元学习提升诊断鲁棒性。

Comments Accepted at MICCAI MultiTab Workshop 2026

Annotation-Assisted Learning of Treatment Policies From Multimodal Electronic Health Records

借助注释的学习：从多模态电子健康记录中学习治疗策略

Henri Arno, Thomas Demeester

机构 * Department of Information Technology Ghent University - imec（信息科技系根特大学 - imec） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出AACE方法，通过专家注释辅助学习多模态EHR中的因果策略，提升治疗决策效果。

Comments Accepted at Machine Learning for Healthcare (MLHC) 2026

EGRA:Toward Enhanced Behavior Graphs and Representation Alignment for Multimodal Recommendation

EGRA：迈向用于多模态推荐的增强行为图和表示对齐

Xiaoxiong Zhang, Xin Zhou, Zhiwei Zeng, Yongjie Wang, Zhiqi Shen

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态推荐现有方法不足，EGRA通过纳入预训练模型生成表示构建的项-项图减轻稀疏性，引入双层动态对齐加权机制提升模态-行为表示对齐，实验证明其有效性。

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

LP-SFT：通过多模态熵结构进行局部保持监督微调

Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究监督微调中存在的问题，利用香农和雷尼熵分析揭示预训练模型的多模态熵结构，提出LP-SFT目标，在多领域实验中提升性能，平衡准确率和k准确率。

Comments 20 pages, 3 figures. Code is available at https://github.com/Wakaka161/LP-SFT

Dynamic Interaction-Aware and Causality-Disentangled Framework for Multimodal Sentiment Analysis

动态交互感知与因果解耦的多模态情感分析框架

Guangyuan Dong, Ziwei Hong, Shenghao Liu, Chenyu Wu, Yuanyuan Fang, Zihao Li, Xudong Zhang, Bingchen Liu, Yuchen Zhang, Haitao Ding, Zhenzhou Zhou, Ziyu Song

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 提出动态多模态因果解耦与自适应融合框架（MCAF），通过因果干预模块解耦语言模态的偏见，动态路由器实时评估交互状态并自适应融合，以及条件扩散去噪模块过滤噪声，在CMU-MOSI和CMU-MOSEI上取得最优分类性能。

Comments This preprint is withdrawn for unauthorized posting and incorrect author metadata.It was uploaded without full consent of all co-authors, with wrong name and affiliation information. We withdraw it to avoid copyright disputes. This corrects submission irregularities only, not academic content or conclusions

Multi-modal cross-domain mixed fusion model with dual disentanglement for fault diagnosis under unseen working conditions

用于未知工况下故障诊断的具有双重解缠的多模态跨域混合融合模型

Pengcheng Xia, Yixiang Huang, Chengjin Qin, Chengliang Liu

机构 * State Key Laboratory of Mechanical System and Vibration（机械系统与振动国家重点实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 针对未知工况下故障诊断问题，提出具有双重解缠的多模态跨域混合融合模型，通过双重解缠框架、跨域混合融合策略和三模态融合机制，实现多模态表示学习与域泛化，实验验证该方法优于先进方法及各组件有效性。

Comments Accepted for publication in Mechanical Systems and Signal Processing

Journal ref Mechanical Systems and Signal Processing, Volume 258, 2026, 114693

Enhancing Vision Foundation Models via Multimodal Continual Pre-Training

通过多模态持续预训练增强视觉基础模型

Yitong Chen, Lingchen Meng, Wujian Peng, Jun Tao, Chenjie Xu, Zuxuan Wu, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI, Fudan University（可信具身人工智能研究院，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Baosight Software Co., Ltd.（上海博视软件有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究通过多模态持续预训练增强视觉基础模型，提出M-CPT框架，用持续位置嵌入处理不同分辨率视觉输入，通过特征对齐目标提升视觉与文本表示一致性，实验证明该框架能提升多模态理解性能并保持标准视觉任务表现。

Comments Code is available in https://github.com/ShareLab-SII/CoMP-MM

Where Will They Go? Modelling Multimodal Pedestrian Manoeuvres from Ego-centric Videos

他们将去哪里？从自我中心视频建模多模态行人机动

Yuxuan Xie, Nicolas Pugeault, Chongfeng Wei, Hubert P. H. Shum, Edmond S. L. Ho

机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院） ； James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院） ； Department of Computer Science, Durham University（杜伦大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出MMPM框架，通过行为感知交互模块和基于CVAE的模态感知轨迹预测器，分别建模行人过马路和不过马路两种模式，提升自我中心视角下多模态轨迹预测准确性。

Comments Accepted at The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

Towards Domain-Generalized Open-Vocabulary Object Detection: A Progressive Domain-invariant Cross-modal Alignment Method

迈向领域通用的开放词汇物体检测：一种渐进领域不变跨模态对齐方法

Xiaoran Xu, Xiaoshan Yang, Jiangang Yang, Yifan Xu, Jian Liu, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室） ； Institute of Microelectronics, University of Chinese Academy of Sciences（中国科学院大学微电子学院） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出PICA方法，通过多级模糊性和信号强度课程，解决开放词汇检测中领域变化导致的跨模态空间崩溃问题，提升模型鲁棒性。