多模态大模型

DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning

DecAlign：解耦多模态表示学习的分层跨模态对齐

Chengxuan Qian, Shuo Xing, Shawn Li, Yue Zhao, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯A&M大学） ； University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 DecAlign通过分层跨模态对齐框架解耦多模态表示，结合原型引导最优传输策略和多模态Transformer提升语义一致性，实验显示在四个基准上优于现有方法。

Comments Accepted by ICLR 2026

Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions

通过增强覆盖的潜在动作控制多模态对话代理

Yongqi Li, Hao Lang, Tieyun Qian, Yongbin Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Tongyi Lab（通义实验室） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过增强覆盖的潜在动作空间改进多模态对话代理的强化学习微调，利用跨模态投影器提升鲁棒性，在两个对话任务中优于基线方法。

Comments Accepted to ACL 2026 (Main), camera-ready version

MM-LIMA: Less Is More for Alignment in Multi-Modal Datasets

MM-LIMA：多模态数据集对齐中的‘少即是多’

Lai Wei, Xiaozhe Li, Zihao Jiang, Weiran Huang, Lichao Sun

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） ； Shanghai Innovation Institute（上海创新研究院） ； Lehigh University（里海大学） ； Tongji University（同济大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出MM-LIMA，仅用200个示例（约6%的指令数据）训练，通过数据选择器过滤低质量数据，使模型在多项评估中超越MiniGPT-4，证明高质量少量指令数据的有效性。

Comments Published at Artificial Intelligence for Engineering

Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition

基于眼动数据的视觉提示在基于多模态LLM的人类活动识别中的评估

Jae Young Choi, Seon Gyeom Kim, Hyungjun Yoon, Taeckyung Lee, Donggun Lee, Jaeryung Chung, Jihyung Kil, Ryan Rossi, Sung-Ju Lee, Tak Yeon Lee

机构 * KAIST（韩国科学技术院） ； Adobe Research（Adobe研究院） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过眼动数据可视化方法提升多模态LLM处理高频传感器数据的效率，验证了视觉提示在人类活动识别中的有效性与扩展性。

Comments 6 pages. Conditionally accepted to IEEE PacificVis 2026 (VisNotes track)

Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy

Nano-EmoX：从感知到共情的多模态情感智能统一框架

Jiahao Huang, Fengyan Lin, Xuechao Yang, Chen Feng, Kexin Zhu, Xu Yang, Zhide Chen

机构 * Fujian Normal University（福建师范大学） ； RMIT University（皇家墨尔本理工大学） ； Minjiang University（闽江学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Nano-EmoX，通过认知启发的三级架构整合感知、理解与交互层面的情感任务，首次实现六项核心情感任务的统一建模，展现高效且强大的泛化能力。

Comments This paper has been accepted by CVPR 2026

Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence

感知更少，推断更多：面向边缘医疗智能的代理多模态变压器

Chengwei Zhou, Zhaoyan Jia, Haotian Yu, Xuming Chen, Brandon Lee, Christopher Pulliam, Steve Majerus, Massoud Pedram, Gourav Datta

机构 * Case Western Reserve University（凯斯西储大学） ； University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文提出AMI框架，通过代理多模态变压器在边缘设备上实现高效医疗监测，在减少传感器使用的同时提升诊断准确性。

Comments 7 figures, 4 tables

Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning

通过字形驱动微调增强多模态大语言模型用于古汉字演变分析

Rui Song, Lida Shi, Ruihua Qi, Yingji Li, Hao Xu

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China（吉林大学古文字、文物与人工智能重点实验室） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院） ； School of Archaeology, Jilin University, China（吉林大学考古学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出GEVO框架，通过字形驱动微调提升多模态大语言模型在古汉字演变分析中的能力，实验显示模型在多个任务上均取得显著提升。

Comments Accepted by ACL 2026 main

BoxTuning: Directly Injecting the Object Box for Multimodal Model Fine-Tuning

BoxTuning：直接注入物体框进行多模态模型微调

Zekun Qian, Ruize Han, Wei Feng

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳理工大学计算机科学与人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 BoxTuning通过将物体空间时间信息直接注入视觉模态，解决多模态大语言模型在视频问答中物体细粒度定位的不足，显著降低token成本并保持时间分辨率，实验表明其在空间导向任务中优于文本坐标方法。

C2F-Thinker: Coarse-to-Fine Reasoning with Hint-Guided Reinforcement Learning for Multimodal Sentiment Analysis

C2F-Thinker：基于提示引导强化学习的粗到细推理用于多模态情感分析

Miaosen Luo, Zhenhao Yang, Jieshen Long, Jinghu Sun, Yichu Liu, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机科学学院） ； School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出C2F-Thinker框架，通过粗到细结构推理与提示引导强化学习，提升多模态情感分析的可解释性和泛化能力。

Exploring Cross-Modal Flows for Few-Shot Learning

探索跨模态流用于少样本学习

Ziqi Jiang, Yanghao Wang, Long Chen

机构 * Department of CSE, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出跨模态流匹配对齐（FMA）方法，通过多步调整提升跨模态对齐精度与鲁棒性，在多种基准和模型上均取得显著性能提升。

Comments Accepted by ICLR2026

Search-MIND: Training-Free Multi-Modal Medical Image Registration

Search-MIND: 无需训练的多模态医学图像配准

Boya Wang, Ruizhe Li, Chao Chen, Xin Chen

机构 * Lab for Uncertainty in Data and Decision Making (LUCID), Nottingham Biomedical Research Centre (BRC), School of Medicine, University of Nottingham, UK（英国诺丁汉大学医学院诺丁汉生物医学研究中心（BRC）数据与决策不确定性实验室（LUCID）） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出Search-MIND，一种无需训练的迭代优化框架，通过粗到细策略和两种新损失函数提升多模态医学图像配准的稳定性与精度。

A Multi-modal Fusion Network for Star-Galaxy Classification from CSST Simulated Datasets

基于CSST模拟数据的多模态融合网络用于星系分类

Zhuoming Han, Tianmeng Zhang, Chao Liu, Chenxiaoji Ling

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文提出基于ResNet-50和BiLSTM的多模态融合网络，利用CSST模拟数据提升星系和恒星分类性能，达到99.81%的召回率。

Comments 27 pages, 12 figures

Improving Pediatric Emergency Department Triage with Modality Dropout in Late Fusion Multimodal EHR Models

通过晚期融合多模态EHR模型中的模态脱落改进儿科急诊分诊

Tyler Yang, Romal Mitr

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出一种晚期融合多模态架构，结合XGBoost和Bio_ClinicalBERT处理结构化数据和非结构化文本，通过逻辑回归元分类器预测急诊严重程度指数，通过模态脱落提升模型在儿科群体中的泛化能力。

Comments 10 pages, 4 figures, 4 tables

Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi

多模态、多尺度表示学习用于卫星影像分析只需一个良好的ALiBi

Patrick Kage, Pavlos Andreadis

专题命中 多模态训练与对齐 ：multi-modal(title)；分类 cs.CV

AI总结 本文提出Scale-ALiBi机制，通过空间编码偏置提升多尺度多模态卫星影像表示学习效果，并在GEO-Bench基准上取得改进。

Comments Originally appeared at the 4th Space Imaging Workshop at the Georgia Institute of Technology, October 7-9, 2024

COXNet: Cross-Layer Fusion with Adaptive Alignment and Scale Integration for RGBT Tiny Object Detection

COXNet：跨层融合与自适应对齐与尺度整合用于RGBT微小目标检测

Peiran Peng, Tingfa Xu, Liqiang Song, Mengqi Zhu, Yuqiang Fang, Jianan Li

机构 * Beijing Institute of Technology（北京理工大学） ； National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） ； National Key Laboratory of Space Target Awareness, Space Engineering University（航天工程大学空间目标感知全国重点实验室） ； Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China（教育部光电成像技术与系统重点实验室） ； Chongqing Innovation Center, Beijing Institute of Technology（北京理工大学重庆创新中心） ； China North Vehicle Research Institute（中国北方车辆研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出COXNet框架，通过跨层融合模块、动态对齐与尺度精修模块及优化标签分配策略，提升RGBT多模态微小目标检测的鲁棒性，在RGBTDronePerson数据集上实现3.32%的mAP50提升。

GeoMeld: Toward Semantically Grounded Foundation Models for Remote Sensing

GeoMeld：迈向遥感领域语义引导的基模模型

Maram Hasan, Md Aminur Hossain, Savitra Roy, Souparna Bhowmik, Ayush V. Patel, Mainak Singha, Subhasis Chaudhuri, Muhammad Haris Khan, Biplab Banerjee

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； Space Applications Centre, ISRO（印度空间研究组织空间应用中心） ； University of Trento（特伦托大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GeoMeld数据集，通过语义引导的监督方法，结合多模态对齐，提升遥感领域基模模型的性能和鲁棒性。

Comments Accepted at CVPR Workshop 2026; 8 pages, 6 figures

RL makes MLLMs see better than SFT

强化学习使多模态大语言模型比监督微调看得更清楚

Junha Song, Sangdoo Yun, Dongyoon Han, Jaegul Choo, Byeongho Heo

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文研究了强化学习在多模态大语言模型中的视觉编码器影响，发现RL能产生更精确的视觉表示，提出PIVOT方法提升视觉编码性能。

Improving the Reasoning of Multi-Image Grounding in MLLMs via Reinforcement Learning

通过强化学习提升多图像接地在MLLMs中的推理能力

Bob Zhang, Haoran Li, Tao Zhang, Jianan Li, Cilin Yan, Xikai Liu, Jiayin Cai, Yanbin Hao

机构 * Xiaohongshu Inc.（小红书公司） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Technical University of Munich（慕尼黑工业大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文通过强化学习策略提升多图像接地任务中MLLMs的推理能力，采用合成CoT数据、LoRA微调和规则引导的RL方法，实验表明在MIG-Bench和多个领域外基准上效果显著。

Comments 5 pages

Not Your Stereo-Typical Estimator: Combining Vision and Language for Volume Perception

非典型立体视觉估计器：结合视觉与语言进行体积感知

Gautham Vinod, Bruce Coburn, Siddeshwar Raghavan, Fengqing Zhu

机构 * Purdue University（普渡大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出融合立体视觉隐式3D线索与自然语言显式先验知识的方法，通过多模态表示提升体积估计精度。

Semantic-Geometric Dual Compression: Training-Free Visual Token Reduction for Ultra-High-Resolution Remote Sensing Understanding

语义-几何双压缩：无训练视觉令牌减少用于超高清遥感理解

Yueying Li, Fengxiang Wang, Yan Li, Mingshuo Chen, Mengying Zhao, Long Lan

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DualComp框架，通过任务自适应双流令牌压缩方法，有效解决超高清遥感图像处理中视觉令牌过多导致的计算开销问题，提升处理效率和准确性。

LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

LaMI：通过晚期多图像融合增强大型语言模型

Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Bar-Ilan University（巴伊兰大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 LaMI通过在测试时融合多个图像提升视觉常识推理能力，同时保持文本推理性能，适用于视觉和NLP任务。

Comments Accepted to ACL 2026

Bridging the RGB-IR Gap: Consensus and Discrepancy Modeling for Text-Guided Multispectral Detection

弥合RGB-红外差距：面向文本引导多光谱检测的共识与差异建模

Jiaqi Wu, Zhen Wang, Enhao Huang, Kangqing Shen, Yulin Wang, Yang Yue, Yifan Pu, Gao Huang

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种语义桥融合框架，通过双支持建模解决文本引导多光谱检测中的共识与差异问题，提升跨模态交互的鲁棒性。

Comments 17 pages ,Under review

TCSA-UDA: Text-Driven Cross-Semantic Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation

TCSA-UDA：基于文本的跨语义对齐用于医学图像分割中的无监督域适应

Lalit Maurya, Honghai Liu, Reyer Zwiggelaar

机构 * School of Computing, University of Portsmouth（朴茨茅斯大学计算学院） ； Department of Computer Science, Aberystwyth University（阿伯里斯特威斯大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出TCSA-UDA框架，通过文本驱动的跨语义对齐方法，在医学图像分割中减少域偏移并提升跨模态一致性。

EDFNet: Early Fusion of Edge and Depth for Thin-Obstacle Segmentation in UAV Navigation

EDFNet：边缘与深度信息的早期融合用于无人机导航中的薄障碍物分割

Negar Fathi

机构 * University of Nebraska--Lincoln（内布拉斯加大学林肯分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 EDFNet通过融合RGB、深度和边缘信息，提升无人机导航中薄障碍物的分割性能，实验表明其在边界敏感和召回率指标上表现优异，但超薄类别分割仍面临挑战。

NeuroPath: Practically Adopting Motor Imagery Decoding through EEG Signals

NeuroPath: 通过EEG信号实际采用运动想象解码

Jiani Cao, Kun Wang, Yang Liu, Zhenjiang Li

机构 * City University of Hong Kong（香港城市大学） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 NeuroPath提出一种神经架构，通过EEG信号统一解码运动想象任务，解决现有方法模型孤立、电极配置固定和低信噪比下性能下降的问题。

Ψ-Map: Panoptic Surface Integrated Mapping Enables Real2Sim Transfer

Ψ-Map：全景表面集成映射实现真实到仿真转移

Xuan Yu, Yuxuan Xie, Changjian Jiang, Shichao Zhai, Rong Xiong, Yu Zhang, Yue Wang

机构 * Department of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 Ψ-Map通过整合几何强化、端到端学习和高效渲染，实现大规模场景中高精度全景重建，兼顾几何精度与实时推理，满足机器人仿真需求。

MonoEM-GS: Monocular Expectation-Maximization Gaussian Splatting SLAM

MonoEM-GS: 单目期望-最大化高斯点云SLAM

Evgenii Kruzhkov, Sven Behnke

机构 * Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics – and the Center for Robotics and the Lamarr Institute for Machine Learning and Artificial Intelligence, University of Bonn（波恩大学自主智能系统组、计算机科学研究所VI——智能系统与机器人学——以及机器人中心与拉马尔机器学习和人工智能研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 MonoEM-GS通过整合几何预测到全局高斯点云表示中，解决视点依赖性和噪声问题，结合期望-最大化方法稳定几何并采用ICP对齐估计姿态，支持多模式特征参数化实现开放集分割等下游任务。