多模态大模型

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.CV、cs.AI

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment

PaLMR: 通过多模态过程对齐实现忠实视觉推理

Yantao Li, Qiang Hui, Chenyang Yan, Kanzhi Cheng, Fang Zhao, Chao Tan, Huanling Gao, Jianbing Zhang, Kai Wang, Xinyu Dai, Shiguo Lian

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出PaLMR框架，通过感知对齐数据层和过程对齐优化层，减少推理幻觉并提升视觉推理忠实度，在多个基准上取得最优结果。

Journal ref CVPR 2026 Findings

A Multi-Modal Framework with Cross-Subject Pseudo-Labeling and Semantic Alignment for Micro-Gesture Recognition

一种结合跨主体伪标签与语义对齐的多模态微手势识别框架

Haoran Zhang, Haokun Zhang, Pengyu Liu, Yujia Zhang, Weibao Xue, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT)（合肥工业大学计算机科学与信息工程学院） ； School of Computer Science, University of Auckland (UOA)（奥克兰大学计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对微手势识别中低信噪比、长尾分布和跨主体域偏移问题，提出多模态框架，通过显著性引导提取、平方根平滑加权、正交语义嵌入损失和跨模态伪标签策略，实现有效识别，F1分数达68.13%。

Comments 14 pages, 2 figures

When to Align, When to Predict: A Phase Diagram for Multimodal Learning

何时对齐，何时预测：多模态学习的相图

Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero

机构 * Technion（以色列理工学院） ； Genentech（基因泰克公司） ； Brown University（布朗大学） ； Meta AI, FAIR 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出统一线性框架，通过信噪比模型揭示跨模态对齐与预测的互补失效模式，构建四区域相图指导多模态学习目标选择，并在非线性实验中验证。

PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization

PRISMR: 通过参数化表示内化克服多模态列表排序中的解析崩溃

Hao Jiang, Xin Li, Annan Wang, Zhi Yang, Haoxiang Zhang, Yichi Zhang, Weisi Lin

机构 * Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； Independent Researcher（独立研究员） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态长上下文场景中生成式列表排序的解析崩溃问题，提出PRISMR框架，用参数化结构条件替代临时上下文列表处理，通过轻量级超网络并行编码候选并生成LoRA权重，显著减少解析崩溃并提升排序性能。

Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs

Hölder++：改进多模态VAE中的质量-一致性权衡

Huyen Vo, María Martínez-García, Isabel Valera

机构 * Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs Supplementary Material（Hölder++：多模态VAE中质量与一致性权衡的改进补充材料） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态VAE生成质量与语义一致性之间的权衡问题，提出Hölder++，通过精确Hölder池化、扩展架构和层次推理，在提升一致性的同时保持生成质量。

Comments Accepted at ICML 2026. Camera-ready version

Missing-Token Prompted Reliability-Aware Fusion for Robust Polyglot Speaker Identification

缺失令牌提示的可靠性感知融合用于鲁棒多语种说话人识别

Peng Jia, Li Dai, Jia Li, Zhenzhen Hu, Ye Zhao, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； Intelligent Interconnected Systems Laboratory of Anhui Province（安徽省智能互联系统实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)

AI总结 提出MRAF框架，通过可学习的缺失令牌和可靠性感知交叉注意力融合，解决多语种场景下跨语言泛化和人脸缺失时的鲁棒性问题，在POLY-SIM 2026测试集上取得高准确率。

Comments 8 pages, 3 figures, 4 tables

Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm

Brick: 面向混合模型范式的空间能力路由

Francesco Massa, Marco Cristofanilli

机构 * Regolo AI ； Seeweb 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出Brick多模态路由器，通过六维能力评分与查询难度估计，结合成本惩罚几何规则调度模型，在质量与成本间实现灵活权衡。

Comments 17 pages, 5 figures. Technical report

From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation

从模仿到对齐：面向长距离人行道导航的人类偏好流策略

Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出FlowPilot，一种仅使用单目RGB相机的无地图导航策略，通过锚定流匹配进行预训练，并引入人类偏好学习实现对齐，在长距离人行道导航中提升鲁棒性和社会合规性。

Feature-preserving Latent-EnKF for Data Assimilation of Flows with Shocks

保持特征的潜在EnKF用于含激波流动的数据同化

Hemanth Chandravamsi, Hangchuan Hu, Ponkrshnan Thiagarajan, Tamer A. Zaki

机构 * Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对含激波流动中EnKF因多模态统计产生伪振荡的问题，提出在学习的低维潜在空间进行集合更新以保持激波特征，并通过共享解码器恢复物理状态，数值实验验证了无伪振荡的准确特征恢复。