多模态大模型

When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs

当模态记住：多模态知识图谱的持续学习

Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Haoran Duan, Gadeng Luosang, Nyima Tashi

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Computer Science, Zhejiang University（浙江大学计算机科学学院） ； School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院） ； School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出MRCKG模型，通过多模态-结构协同课程和跨模态知识保存机制，解决多模态知识图谱的持续学习问题，提升新知识学习能力。

Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

Mitigating Shared-Private Branch Imbalance via Dual-Branch Rebalancing for Multimodal Sentiment Analysis

通过双分支重新平衡缓解共享-私有分支不平衡以实现多模态情感分析

Chunlei Meng, Jiabin Luo, Pengbin Feng, Zhenglin Yan, Chengyin Hu, Zhongxue Gan, Chun Ouyang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 本文提出双分支重新平衡框架，通过解耦共享与私有分支，缓解多模态情感分析中的分支不平衡问题，提升模型鲁棒性。

Comments This study has been Accepted by ACM MM 2026

Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment

Semi-MedRef：基于跨模态对齐的半监督医学指引用图像分割

Yuchen Li, Ziru Wei, Zhen Zhao, Yi Liu, Luping Zhou

机构 * The University of Sydney（悉尼大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Changzhou University（常州大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Semi-MedRef框架，通过三个组件维持医学图像与位置语言的一致性，实验显示其在低标签条件下优于其他方法。

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

PMC-InterCPT：重新思考用于多模态持续预训练的医学交错数据

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） ； InfiX.ai ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CL

AI总结 针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。

End-to-End 3-D Spatiotemporal Perception with Multimodal Fusion and V2X Collaboration

端到端3D时空感知与多模态融合及V2X协作

Zhenwei Yang, Yibo Ai, Weidong Zhang

机构 * National Center for Materials Service Safety（材料服务安全国家中心） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 XET-V2X通过多模态融合与V2X协作，实现端到端3D时空感知，提升复杂交通场景下的检测与跟踪性能。

Comments 21 pages, 10 figures

Journal ref IEEE Internet of Things Journal, vol. 13, no. 15, pp. 33456-33475, 1 Aug.1, 2026

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

GemNav：使用多模态大语言模型的离散令牌视觉机器人导航

Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam

机构 * CSIRO Technology（联邦科学与工业研究组织） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。

QATMA: Quantization-Aware Training with Multimodal Alignment for Open-Vocabulary Object Detection

CR-QAT: 基于课程关系量化感知训练的开放词汇目标检测

Jinyeong Park, Donghwa Kang, Seunghwan An, Insoo Kim, Brent ByungHoon Kang, Hyeongboo Baek, Jibum Kim

机构 * Incheon National University, Incheon, South Korea（韩国仁川国立大学） ； KAIST, Daejeon, South Korea（韩国成均馆大学） ； University of Seoul, Seoul, South Korea（首尔大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 CR-QAT通过课程关系量化感知训练提升开放词汇目标检测在低比特设置下的性能，实现显著的AP提升。

SynGR: Unleashing the Potential of Cross-Modal Synergy for Generative Recommendation

SynGR：释放跨模态协同在生成推荐中的潜力

Wei Chen, Xingyu Guo, Shuang Li, Fuwei Zhang, Meng Yuan, Jing Fan, Zhao Zhang, Deqing Wang, Fuzhen Zhuang

机构 * School of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能学院） ； School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出SynGR框架，通过显式鼓励生成过程中的跨模态依赖，以捕捉新兴物品语义，从而提升生成推荐性能。

Comments Accepted by ICML 2026, 15 pages

Rethinking Multimodal Fusion for Time Series: Text Modalities Need Constrained Fusion

重新思考时间序列的多模态融合：文本模态需要受约束的融合

Seunghan Lee, Jun Seo, Jaehoon Lee, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, SoonYoung Lee, Wonbin Ahn

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。

Comments KDD Workshop on Mining and Learning from Time Series 2026 (Oral presentation)

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

ReLope：KL正则化的LoRA探针用于多模态大语言模型路由

Yaopei Zeng, Congchao Wang, Blake JianHang Chen, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon AGI（亚马逊AGI） ； Google（谷歌） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 针对多模态大语言模型路由中探针性能下降问题，提出Attention Probe和KL正则化的LoRA探针ReLope，通过改进隐藏状态质量提升路由效果。

M2I2HA: Multi-modal Object Detection Based on Intra- and Inter-Modal Hypergraph Attention

M2I2HA：基于模态内和模态间超图注意力的多模态目标检测

Xiaofan Yang, Yubin Liu, Wei Pan, Guoqing Chu, Junming Zhang, Jie Zhao, Zhuoqi Man, Xuanming Cao

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态目标检测中模态内和模态间信息提取及跨模态对齐的挑战，提出基于超图理论的M2I2HA网络，通过多个模块实现多模态特征的有效处理，在多模态目标检测任务中取得了最优性能。

Comments 43 pages, 13 figures, The theoretical derivation was refined, some data was updated, and experiments were added

Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis

在一起，然后分开：平衡多模态生存分析中的对齐与独特性

Wenjing Liu, Qin Ren, Wen Zhang, Yuewei Lin, Chenyu You

机构 * Stony Brook University（石溪大学） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Brookhaven National Laboratory（布鲁赫林国家实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态生存分析，提出TTA框架，先基于原型对齐捕获跨模态共享结构，再通过锚定引导对比目标鼓励模态特定独特性，用不平衡最优传输处理模态不平衡和噪声对应，在多个癌症队列上评估，提升了生存预测并揭示可解释模式。

Spectral Text Fusion: A Frequency-Aware Approach to Multimodal Time-Series Forecasting

频谱文本融合：一种频率感知的多模态时间序列预测方法

Huu Hiep Nguyen, Minh Hoang Nguyen, Dung Nguyen, Hung Le

机构 * Applied Artificial Intelligence Initiative（应用人工智能计划） ； Deakin University（迪金大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 提出SpecTF框架，通过频谱分解将文本信息与时间序列在频域融合，利用轻量级交叉注意力机制自适应重加权频带，显著提升多模态时间序列预测性能。

Comments Accepted at AISTATS 2026

Prior-guided Fusion of Multimodal Features for Change Detection from Optical-SAR Images

先验引导的多模态特征融合用于光学-SAR图像变化检测

Xuanguang Liu, Lei Ding, Yujie Li, Chenguang Dai, Zhenchao Zhang, Mengmeng Li, Ziyi Yang, Yifan Sun, Yongqi Sun, Hanyun Wang, Lorenzo Bruzzone

机构 * Institute of Geospatial Information, Information Engineering University（地理信息研究所，信息工程大学） ； Academy of Digital China (Fujian), Fuzhou University（数字中国研究院（福建），福州大学） ； The School of Electronics and Communication Engineering, Sun Yat-sen University（电子与通信工程学院，中山大学） ； The Department of Information Engineering and Computer Science, University of Trento（信息工程与计算机科学系，特伦托大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出STSF-Net框架，联合建模模态特定和时空共同特征，并利用视觉基础模型的语义先验自适应融合多模态特征，在三个数据集上达到最优性能。

Cross-Modal Registration Between 3D and 2D Fingerprints via Pose-Aware Unwrapping and Point-Cloud Fusion

通过姿态感知解缠和点云融合实现3D与2D指纹的跨模态注册

Xiongjun Guan, Jianjiang Feng, Jie Zhou

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出统一框架，实现3D指纹预处理与跨接触式和非接触式2D指纹的注册，结合非参数可视化解缠、点云融合、姿态归一化和姿态感知注册策略，提升3D与2D指纹兼容性。

Multimodal Brain Tumour Classification Using Feature Fusion

使用特征融合的多模态脑肿瘤分类

Wajih ul Islam, Muhammad Yaqoob, Javed Ali Khan, Volker Steuber

机构 * School of Physics, Engineering and Computer Science（物理、工程与计算机科学学院） ； University of Hertfordshire（赫特福德郡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出双分支多模态网络，融合MRI图像与91个放射组学特征，通过门控融合实现脑肿瘤分类，准确率达96.13%。

MVCL-DAF++: Enhancing Multimodal Intent Recognition via Prototype-Aware Contrastive Alignment and Coarse-to-Fine Dynamic Attention Fusion

MVCL-DAF++: 通过原型感知对比对齐和由粗到细动态注意力融合增强多模态意图识别

Haofeng Huang, Yifei Han, Long Zhang, Bin Li, Yangfan He, Yaxin Xue

机构 * University of Shanghai for Science and TechnologyChina（上海科学技术大学中国） ； Shenzhen Institute of Advanced Technology, Chinese Academy of SciencesChina（深圳先进技术研究院，中国科学院中国） ； University of Minnesota-Twin Cities, USA（明尼苏达大学双城分校，美国） ； University of LeedsUK（利兹大学，英国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出MVCL-DAF++，通过原型感知对比对齐和由粗到细注意力融合，在MIntRec和MIntRec2.0上提升多模态意图识别，尤其改善稀有类识别。

Comments Accepted by Interspeech 2026

TerraMind: Large-Scale Generative Multimodality for Earth Observation

TerraMind：面向地球观测的大规模生成式多模态模型

Johannes Jakubik, Felix Yang, Benedikt Blumenstiel, Erik Scheurer, Rocco Sedona, Stefano Maurogiovanni, Jente Bosmans, Nikolaos Dionelis, Valerio Marsocci, Niklas Kopp, Rahul Ramachandran, Paolo Fraccaro, Thomas Brunschwiler, Gabriele Cavallaro, Juan Bernabe-Moreno, Nicolas Longépé

机构 * IBM Research – Europe（IBM欧洲研究院） ； ETH Zurich（苏黎世联邦理工学院） ； Forschungszentrum Jülich（尤利希研究中心） ； European Space Agency（欧洲航天局） ； Φ \Phi -Lab（Φ实验室） ； NASA IMPACT ； University of Iceland（爱沙尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；any-to-any(abstract)；multimodal foundation model(abstract)

AI总结 提出首个任意到任意生成式多模态基础模型TerraMind，通过双尺度表示（token级和像素级）预训练，实现零样本/少样本应用，并引入“模态思考”能力，在PANGAEA等基准上达到领先性能。

Comments Accepted at ICCV'25

LF${}^{2}$AR: Accounting for Layerwise Dynamics to Improve Multimodal Adaptation of Language Models

LF²AR：考虑分层动态以改进语言模型的多模态适配

Santiago Cuervo, Adel Moumen, Yanis Labrak, Sameer Khurana, Antoine Laurent, Mickael Rouvier, Phil Woodland, Ricard Marxer

机构 * Université de Toulon, Aix-Marseille Université, CNRS, LIS, France（法国图卢兹大学、马赛大学、CNRS、LIS） ； Department of Engineering, University of Cambridge, UK（剑桥大学工程系） ； Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL）） ； LIA, Avignon Université, France（法国阿维尼翁大学LIA） ； LIUM, Le Mans Université, France（法国勒芒大学LIUM） ； Zenidoc, Marseille, France（法国马赛Zenidoc） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本研究提出LF²AR架构，通过分层抽象-细化动态设计适配机制，在文本转图像、语音模态上提升语言模型性能，支持1.9倍生成加速。

Comments Published as a conference paper at COLM 2026

Knowledge-Guided Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Label-Conditioned Contrastive Alignment

通过标签条件对比对齐实现成人到儿科心电图转换的知识引导跨模态融合

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 研究针对成人与儿科心电图转换问题，提出知识引导的跨模态融合框架PEACE，通过标签条件对比对齐等方法，在有限监督下实现更好的儿科心电图解释，消融实验证明标签条件知识对齐是关键驱动因素。

Comments This article was accidentally submitted as a new arXiv paper instead of a replacement of arXiv:2605.00647. Please refer to arXiv:2605.00647 for the correct and updated version

LATTICE: Graph Self-Supervised Learning for Multimodal Spatial Omics Integration

LATTICE：用于多模态空间组学整合的图自监督学习

Jagan Mohan Reddy Dwarampudi, Veena Kochat, Suresh Satpati, Hien Van Nguyen, Kunal Rai, Tania Banerjee

机构 * University of Houston（休斯顿大学） ； MD Anderson Cancer Center（MD安德森癌症中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究针对多模态空间组学整合下游分析常采用单模态管道的问题，提出LATTICE框架，通过构建空间邻域图并训练TransformerConv编码器，在黑色素瘤队列实验中实现多模态整合，提升相关指标，为该领域提供实用框架。

Beyond Information Redundancy: Expanding Cross-Modal Knowledge Representation for Power Load Time Series Forecasting

PrismNet：通过多模态棱镜解读时间序列以实现可解释的电力负荷预测

Yuxuan Chen, Shuo Dai, Ruoyi Xu, Haipeng Xie

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)

AI总结 PrismNet通过多模态增强模块和PID引导的多模态对比学习，提升电力负荷预测的可解释性与少样本学习能力，在实际数据集上优于现有方法。

Context-specific Credibility-aware Multimodal Fusion with Conditional Probabilistic Circuits

基于条件概率电路的上下文特定可信感知多模态融合

Pranuthi Tenali, Sahil Sidheekh, Saurabh Mathur, Erik Blasch, Kristian Kersting, Sriraam Natarajan

机构 * Department of Computer Science , TU Darmstadt（德累斯顿技术大学计算机科学系） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出C$^2$MF框架，利用条件概率电路建模实例级源可靠性，通过KL散度度量上下文特定信息可信度，在跨模态冲突下提升预测准确率高达29%。

Label-Conditioned Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Curriculum-Gated Contrastive Alignment

基于标签的跨模态融合用于成人到儿童ECG转移 via 课程门控对比对齐

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 本文提出PEACE框架，通过预训练和适应性融合提升儿童ECG诊断，采用对比学习和课程适应策略，在有限标注下实现高准确率。

Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain

医学VQA中通过置信度-证据贝叶斯增益实现确定性幻觉检测

Mohammad Asadi, Tahoura Nedaee, Jack W. O'Sullivan, Euan Ashley, Ehsan Adeli

机构 * Department of Electrical Engineering, Stanford University, CA, USA（电气工程系，斯坦福大学） ； Department of Biology, Stanford University, CA, USA（生物学系，斯坦福大学） ； Division of Cardiology, Department of Medicine, Stanford University, CA, USA（心脏病学部，医学系，斯坦福大学） ； Department of Biomedical Data Science, Stanford University, CA, USA（生物医学数据科学系，斯坦福大学） ； Department of Computer Science, Stanford University, CA, USA（计算机科学系，斯坦福大学） ； Department of Psychiatry and Behavioral Sciences, Stanford University, CA, USA（精神病学与行为科学系，斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出CEBaG方法，利用模型自身log概率中的不一致置信度和弱视觉证据敏感性，实现无需随机采样和外部模型的确定性幻觉检测，在医疗MLLM和VQA基准测试中取得最佳AUC表现。

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

Covert Visual Prompt Injection against Commercial Multimodal Large Language Models

对抗性提示注入攻击多模态大语言模型

Meiwen Ding, Song Xia, Chenqi Kong, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院快速丰富目标搜索实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了针对强大闭源多模态大语言模型的不可察觉视觉提示注入攻击，通过界文本叠加嵌入恶意提示并优化视觉扰动，提升攻击性能。

TGIF: Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

基于文本引导的层融合缓解多模态大语言模型中的幻觉

Chenchen Lin, Sanbao Su, Rachel Luo, Yuxiao Chen, Yan Wang, Marco Pavone, Fei Miao

机构 * University of Connecticut（康涅狄格大学） ； NVIDIA（NVIDIA公司） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 TGIF通过文本引导的层融合方法，有效缓解多模态大语言模型中的幻觉问题，提升视觉接地能力。

Comments Accepted at COLM 2026

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

迈向多模态预训练的物理学：知识流、模态协同、早期统一与方法指南

Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis

机构 * FAIR, Meta（Meta FAIR研究院） ； Reality Labs, Meta（Meta Reality Labs） ； University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 该研究探索多模态预训练的机制，得出知识流、模态协同等四个关键见解，推导高效预训练方法，为多模态预训练的理解与扩展提供基础。

Comments Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures