多模态大模型

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

用于多模态思维链推理的视觉显著性引导蒸馏

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态思维链推理在小模型中存在的问题，提出视觉显著性引导蒸馏方法，利用多模态大语言模型注意力图生成扰动图像，经奇异值分解提取引导向量指导层间蒸馏，实验证明该方法能改进推理生成和答案推理。

Securing Multimodal AI through Internal Information Decomposition

通过内部信息分解保护多模态人工智能

Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型的攻击问题，提出FlowGuard框架，通过监测内部多模态一致性检测有害输入，受部分信息分解启发得出FlowVectors量化相关指标，有效降低攻击成功率且减少效用损失和延迟，为多模态推理提供有效防御。

Comments Accepted as Spotlight Paper at ICML 2026

LunarFM: A Shared Multimodal Representation of the Moon's Surface

LunarFM：月球表面的共享多模态表示

Marc Girona-Mata, Jakob Gawlikowski, Sumit Goski, Gautier Bardi de Fourtou, Valentin T. Bickel, Ben Moseley, Abigail Calzada-Diaz, Sylvester Kaczmarek, Raúl Ramos-Pollán

机构 * University of Cambridge（剑桥大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； SPAIDER SPACE（斯派德太空公司） ； Mines Paris - PSL University（巴黎矿业学院 - 巴黎文理研究大学） ； University of Bern（伯尔尼大学） ； Imperial College London（伦敦帝国理工学院） ； European Space Resources Innovation Center (ESRIC)（欧洲空间资源创新中心） ； Universidad de Antioquia（安蒂奥基亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 因月球探索需求，针对多源观测致月球表面分析碎片化问题，提出LunarFM多模态基础模型，融合多仪器观测学习通用表示，支持多种下游应用，还提供相关数据集、预训练模型等，助力月球表面高效分析。

Comments 19 pages, 12 figures

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

DCS：用于跨模态版权侵权检测的统一条件敏感度框架

Xiafeng Man

机构 * Fudan University（复旦大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 研究针对基础模型版权侵权检测问题，提出统一的DCS框架，将侵权证据视为反事实条件分布转移，通过条件差分隐私形式化，创建双分支并结合多种因素界定敏感度，还定义校准统计量，适用于多种模型并以不同方式评估。

PRIMS: Physics-guided Representation for Fluid Identification in Multimodal Sensing

PRIMS：多模态传感中用于流体识别的物理引导表示

Hai-Long Nguyen, Trung Thanh Nguyen, Lars Holm, Dennis Alveringh, Duc Viet Le

机构 * University of Twente（特文特大学） ； Nagoya University（名古屋大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对微流体应用中流体识别挑战，提出PRIMS物理感知多模态Transformer，通过三个模块集成物理知识于表示学习和注意力机制，实现可解释、数据高效的流体分类，实验显示其性能优越且鲁棒性强。

Comments 2026 European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases

Generative and multimodal AI for materials prediction and design: Progress, challenges, and perspectives

用于材料预测和设计的生成式和多模态人工智能：进展、挑战与展望

Xianyuan Liu, Charles Anjah, Benjamin E. Jolly, Jonathon F. S. Markanday, Joshua Berry, Haolin Wang, Nicola A. Morley, Robert D. J. Oliver, Alexandra J. Ramadan, Delvin Ce Zhang, Katerina A. Christofidou, Haiping Lu

机构 * School of Computer Science, University of Sheffield, Sheffield, UK（计算机科学学院，谢菲尔德大学） ； Centre for Machine Intelligence, University of Sheffield, Sheffield, UK（智能机器研究中心，谢菲尔德大学） ； School of Chemical, Materials and Biological Engineering, University of Sheffield, Sheffield, UK（化学、材料与生物工程学院，谢菲尔德大学） ； Henry Royce Institute, Royce Discovery Centre, University of Sheffield, Sheffield, UK（亨利·罗伊奇研究所，谢菲尔德大学） ； Materials Nexus Ltd., Salisbury House, Cambridge, UK（材料 nexus 有限公司，剑桥，英国） ； School of Mathematical and Physical Sciences, University of Sheffield, Sheffield, UK（数学与物理科学学院，谢菲尔德大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究探讨生成式和多模态人工智能在材料预测与设计中的应用，引入材料属性层次结构框架，指出当前证据局限，强调需全社区标准支持多模态相关建模与基准测试，以设计具科学和实际新颖性、可实验实现的材料。

Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

通过新视图合成在别名和低纹理环境中从稀疏视图进行视觉重定位

Maria Peribañez, Javier Civera, Rudolph Triebel, Riccardo Giubilato

机构 * University of Zaragoza（萨拉戈萨大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对类行星地形中视觉定位难题，提出基于 3D 高斯溅射构建可微地图表示估计相机姿态的方法，采用结合光度与几何损失的几何感知训练策略，经实验验证能有效提升定位准确性与姿态估计鲁棒性。

Comments Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs

FBLayout：为在移动GPU上高效微调大语言模型优化内存布局

Kahou Tam, Wei Niu, Yu Bao, Xiaomin Ouyang, Chengzhong Xu, Li Li

机构 * University of Macau（澳门大学） ； University of Georgia（佐治亚大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对移动GPU上Transformer模型微调内存低效问题，提出FBLayout框架，通过统一布局、索引转换及激活引导选择等方法，在多手机多模型测试中实现加速，提高缓存效率并减少内存占用，助力设备上大模型微调。

Comments 13 pages, 21 figures, Mobisys 2026

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

超越多样性：将视觉令牌剪枝视为子空间重建以实现高效视觉语言模型

Jaeyeon Lee, Shunjie Wen, Dong-Wan Choi

机构 * Inha University（延世大学） 纠错

专题命中 多模态训练与对齐 ：image-text(abstract)；分类 cs.CV

AI总结 提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。

SAGE-Net: Semantics-Augmented Geometric Encoder for Material Property Prediction

SAGE-Net：用于材料属性预测的语义增强几何编码器

Guanghui Zhang, Yuxuan Yao, Kieran B. Spooner, Jun Yin, Dan Han, David O. Scanlon, Lijun Zhang

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(comments)

AI总结 研究针对材料属性预测，提出语义增强几何编码器网络SAGE-Net，通过语义引导消息传递将晶体学语义注入几何消息传递，在多基准测试中表现出色，能有效捕捉晶体学特征，是深度集成多模态材料学习的通用可转移框架。

Comments 29 pages, 5 figures, multi-modal network

CODA: Cascaded Online Discontinuity-Aware Alignment for Real-Time Image-Based Score Following

CODA：用于基于图像的实时乐谱跟随的级联在线不连续感知对齐

Yining Yang, Ruogu Chen, Jie Han

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文针对实时乐谱跟随难题，提出CODA系统。它利用乐谱级联结构增强预测一致性，通过静音驱动中断模式实现不连续恢复。在多模态乐谱数据集钢琴基准测试中，CODA在实时吞吐量下取得了领先的跟踪精度和不连续恢复性能。

Comments 8 pages, 3 figures, accepted by the International Society for Music Information Retrieval

Learning Population-Level Dynamics through a Latent Fokker--Planck Model and Discrepancy Transport Maps

通过潜在福克 - 普朗克模型和差异传输映射学习总体水平动力学

Chengyang Huang, Krishna Garikipati

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对科学和工程系统概率分布动力学未知问题，提出总体水平推理框架，通过潜在福克 - 普朗克模型和差异传输映射恢复潜在随机动力学，经正则化联合学习，能准确重建复杂概率演化，为动力学推理提供通用框架。