多模态大模型

MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images

MedMO：为医学图像构建和理解多模态大语言模型

Ankan Deria, Komal Kumar, Adinath Madhavrao Dukre, Eran Segal, Salman Khan, Imran Razzak

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)

AI总结 MedMO是一种基于通用MLLM架构构建的医学多模态基础模型，通过多阶段训练提升跨模态和任务的性能，超越现有开源基线，在医学图像识别和报告生成中取得显著提升。

Comments 21 pages, 6 figures and 4 tables

IDRL: An Individual-Aware Multimodal Depression-Related Representation Learning Framework for Depression Diagnosis

IDRL: 一种面向抑郁症诊断的个体感知多模态抑郁症相关表示学习框架

Chongxiao Wang, Junjie Liang, Peng Cao, Jinzhu Yang, Osmar R. Zaiane

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education, Northeastern University, Shenyang, China（教育部医学图像智能计算重点实验室） ； National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Shenyang, China（工业智能与系统优化国家级前沿科学中心） ； Alberta Machine Intelligence Institute, University of Alberta, Edmonton, Canada（阿尔伯塔机器智能研究所，阿尔伯塔大学，加拿大爱德蒙顿） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 IDRL框架通过分解多模态表示并引入个体感知的模态融合模块，提升抑郁症诊断的鲁棒性和适应性。

LoC-Path: Learning to Compress for Pathology Multimodal Large Language Models

LoC-Path：学习压缩用于病理多模态大语言模型

Qingqiao Hu, Weimin Lyu, Meilong Xu, Kehan Qi, Xiaoling Hu, Saumya Gupta, Jiawei Zhou, Chao Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 LoC-Path通过压缩滑片图像特征，降低多模态模型的训练和推理成本，使在有限资源下实现高效病理大语言模型成为可能。

Comments Code will be released soon

Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild

层次粒度对齐与状态空间建模用于野外多模态面部动作单元检测

Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 本文提出了一种基于层次粒度对齐和状态空间模型的多模态框架，通过强大的基础模型提取高保真视觉和音频表示，并引入视觉-马尔可夫模型和不对称交叉注意机制，实现对野外环境中面部动作单元的高效检测。

Comments 8 pages, 1 figures

Frequency-Modulated Visual Restoration for Matryoshka Large Multimodal Models

频率调制的视觉修复用于Matryoshka大多模态模型

Qingtao Pan, Zhihao Dou, Shuo Li

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出FMVR策略，通过频率调制修复视觉语义，提升LMMs在减少视觉token时的推理能力，并在多个基准测试中验证其有效性。

LatentGeo: Learnable Auxiliary Constructions in Latent Space for Multimodal Geometric Reasoning

LatentGeo: 在潜在空间中学习可学习的辅助构造以进行多模态几何推理

Haiying Xu, Zihan Wang, Song Dai, Zhengxuan Zhang, Kairan Dou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nankai University（南开大学） ； Communication University of China（中国传媒大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 LatentGeo通过学习潜在空间中的连续视觉表示，解决多模态几何推理中辅助构造的表示问题，采用三阶段课程和强化学习方法提升几何推理任务的性能。

A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications

多模态深度学习在生物医学应用中的中间融合系统综述

Valerio Guarrasi, Fatih Aksu, Camillo Maria Caruso, Francesco Di Feola, Aurora Rofena, Filippo Ruffini, Paolo Soda

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文系统综述了多模态深度学习在生物医学应用中的中间融合方法，分析了现有技术、挑战及未来方向，并提出结构化符号以促进方法的广泛应用。

Journal ref Image and Vision Computing 158 (2025) 105509

Noise-aware few-shot learning through bi-directional multi-view prompt alignment

通过双向多视图提示对齐实现噪声感知的少样本学习

Lu Niu, Cheng Xue

机构 * Southeast University（东南大学） ； AIIA, Ministry of Education, China（教育部人工智能研究院，中国） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 NA-MVP通过双向多视图提示对齐实现噪声感知少样本学习，有效区分干净与噪声线索，提升模型在噪声环境下的鲁棒性。

Learning Tree-Based Models with Gradient Descent

通过梯度下降学习基于树的模型

Sascha Marton

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出通过梯度下降学习硬轴对齐决策树的方法，解决传统方法的局限性，提升树模型在多个领域的性能和适用性。

Comments PhD thesis