多模态大模型

Patho-R1: A Multimodal Reinforcement Learning-Based Pathology Expert Reasoner

Patho-R1: 基于多模态强化学习的病理专家推理器

Wenchuan Zhang, Penghao Zhang, Jingru Guo, Tao Cheng, Jie Chen, Shuwan Zhang, Zhang Zhang, Yuhao Yi, Hong Bu

机构 * Department of Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科部门） ； Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院临床病理科研究所） ； University of Toronto（多伦多大学） ； Business School, Sichuan University（四川大学商学院） ； Department of Pathology, Shengjing Hospital of China Medical University（中国医科大学盛京医院病理科部门） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Patho-R1，通过构建高质量推理导向数据集，结合三阶段训练流程提升病理推理能力，实现跨模态任务的鲁棒性能。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(33): 28418-28426, 2026

Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models

预测正则化对抗多模态大语言模型中的视觉表征退化

Enguang Wang, Qiang Wang, Yuanchen Wu, Ke Yan, Xinbin Yuan, Shouhong Ding, Xialei Liu, Ming-Ming Cheng

机构 * NKIARI ； VCIP, CS, Nankai University（VCIP计算机科学系，南开大学） ； AAIS, Nankai University（AAIS，南开大学） ； Tencent Youtu Lab（腾讯优设实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型中的视觉表征退化问题，提出预测正则化方法以维持视觉表征，提升视觉语言性能。

Comments Accepted at CVPR 2026

Learning Progressive Adaptation for Multi-Modal Tracking

多模态跟踪的渐进适应学习

He Wang, Tianyang Xu, Zhangyong Tang, Xiao-Jun Wu, Josef Kittler

机构 * School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院） ； Centre for Vision, Speech and Signal Processing, University of Surrey（Surrey大学视觉、语音和信号处理中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PATrack方法，通过引入模态依赖、模态交织和任务级适配器，解决多模态跟踪中预训练RGB模型适应问题，提升跨模态交互和预测头的鲁棒性。

SSAM: Singular Subspace Alignment for Merging Multimodal Large Language Models

SSAM：奇异子空间对齐用于融合多模态大语言模型

Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, M. Salman Asif

机构 * University of California Riverside（加州大学河滨分校） ； Amazon（亚马逊） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SSAM通过参数空间对齐融合多模态大语言模型，无需训练数据实现跨模态统一，提升性能并降低资源消耗。

Comments 25 Pages, 9 Figures, 5 Tables

Joint Segmentation and Grading with Iterative Optimization for Multimodal Glaucoma Diagnosis

多模态青光眼诊断的联合分割与分级迭代优化方法

Zhiwei Wang, Yuxing Li, Meilu Zhu, Defeng He, Edmund Y. Lam

机构 * Department of Electrical and Electronic Engineering, The University of Hong Kong, Hong Kong, China（香港大学电子与电气工程系） ； College of Information Engineering, Zhejiang University of Technology, Hangzhou, China（浙江工业大学信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种迭代多模态优化模型，通过中层融合策略整合眼底和OCT特征，并利用跨模态特征对齐模块减少模态差异，实现青光眼的精确分割与分级。

Cross-Space Synergy: A Unified Framework for Multimodal Emotion Recognition in Conversation

跨空间协同：一种用于对话中多模态情感识别的统一框架

Xiaosen Lyu, Jiayu Xiong, Yuren Chen, Wanlong Wang, Xiaoqing Dai, Jing Wang

机构 * Xiaosen Lyu 1,2（李绍森 1,2） ； Jiayu Xiong 1,2（熊佳宇 1,2） ； Yuren Chen 1,2（陈远人 1,2） ； Wanlong Wang 1,2（王万龙 1,2） ； Xiaoqing Dai 1,2（戴晓青 1,2） ； Jing Wang 1,2（王婧 1,2） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.MM

AI总结 本文提出Cross-Space Synergy框架，通过协同多项式融合和帕累托梯度调节器有效提升多模态情感识别的准确性和训练稳定性。

Comments Accepted to AAAI 2026

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(29), 24226-24234 (2026)

Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation

通过渐进重对齐桥接模态以实现多模态测试时适应

Jiacheng Li, Songhe Feng

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出BriMPR框架，通过分治策略解决多模态测试时适应中的模态间分布偏移和语义对齐问题，通过提示调优和跨模态对比学习提升多模态特征对齐效果。

Comments Accepted by AAAI 2026 (Oral)

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence. 2026, 40(27): 22931-22939

Towards Multimodal Time Series Anomaly Detection with Semantic Alignment and Condensed Interaction

迈向多模态时间序列异常检测的语义对齐与压缩交互

Shiyan Hu, Jianxin Jin, Yang Shu, Peng Chen, Bin Yang, Chenjuan Guo

机构 * East China Normal University（华东师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本文提出MindTS模型，通过语义对齐和压缩交互解决多模态时间序列异常检测中的关键问题，实验表明其性能优于现有方法。

Comments ICLR 2026

Weakly supervised multimodal segmentation of acoustic borehole images with depth-aware cross-attention

弱监督多模态分割：基于深度感知的跨注意力机制用于声学钻孔图像

Jose Luis Lima de Jesus Silva

机构 * Federal University of Bahia, Institute of Geosciences, Department of Geophysics（巴伊亚联邦大学，地质科学学院，地球物理学系） ； Grupo de Estudos e Aplicação de Inteligência Artificial em Geofísica (GAIA)（地质物理中人工智能研究与应用小组） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种弱监督多模态分割框架，通过深度感知的跨注意力机制提升钻孔图像分割性能，结合二维图像纹理与一维井下数据，实现无监督的高精度分割。

Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models

面向层次视觉识别的分类意识表示对齐

Hulingxiao He, Zhi Tan, Yuxin Peng

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学计算机系王轩研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出TARA方法，通过生物基础模型的层次对比学习将分类知识注入大模态模型，提升层次视觉识别中对已知和新类别的识别性能。

Comments Published as a conference paper at CVPR 2026

Multimodal Survival Analysis with Locally Deployable Large Language Models

多模态生存分析与可本地部署的大语言模型

Moritz Gögl, Christopher Yau

机构 * University of Oxford（牛津大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI；multi-modal(comments)

AI总结 本文提出利用可本地部署的大语言模型进行多模态生存分析，结合临床文本、表格数据和基因组数据，通过教师-学生蒸馏和原理化的多模态融合，实现校准的生存概率估计和简洁的诊断文本生成，优于标准基线并在隐私和准确性方面表现更优。

Comments NeurIPS 2025 Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences

Exploring Multimodal Prompts For Unsupervised Continuous Anomaly Detection

探索多模态提示用于无监督连续异常检测

Mingle Zhou, Jiahui Liu, Jin Wan, Gang Li, Min Li

机构 * Key Laboratory of Computing Power Network（计算能力网络重点实验室） ； Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences)（信息安全，教育部，山东计算机科学中心（济南国家超算中心），齐鲁工业大学（山东科学院）） ； Shandong Provincial Key Laboratory of Computing Power Internet（山东省计算能力互联网重点实验室） ； Service Computing, Shandong Fundamental Research Center for Computer Science（服务计算，山东省计算机基础研究中心） ； Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出基于多模态提示的无监督连续异常检测框架，通过持续多模态提示记忆库和缺陷语义引导自适应融合机制提升检测精度与鲁棒性，实验表明在MVTec AD和VisA数据集上取得最优性能。

DMMRL: Disentangled Multi-Modal Representation Learning via Variational Autoencoders for Molecular Property Prediction

DMMRL：通过变分自编码器进行解耦多模态表示学习以进行分子性质预测

Long Xu, Junping Guo, Jianbo Zhao, Jianbo Lu, Yuzhong Peng

机构 * Guangxi Key Lab of Human-machine Interaction and Intelligent Decision（广西人机交互与智能决策重点实验室） ； Nanning Normal University（南宁师范大学） ； College of Big Data and Software Engineering（大数据与软件工程学院） ； Zhejiang Wanli University（浙江万里大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出DMMRL，通过变分自编码器解耦分子表示为共享和私有潜在空间，提升可解释性和预测性能，实验验证其在七个基准数据集上的优越表现。

Comments 9 pages, 1 figure

HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

HeCoFuse: 跨模态互补V2X协作感知与异构传感器

Chuheng Wei, Ziye Qin, Walter Zimmer, Guoyuan Wu, Matthew J. Barth

机构 * College of Engineering, Center for Environmental Research and Technology, University of California at Riverside（加州大学河滨分校工程学院、环境研究与技术中心） ； School of Transportation and Logistics, Southwest Jiaotong University（西南交通大学交通运输与物流学院） ； Chair of Robotics, Artificial Intelligence and Real-time Systems, TUM School of Computation, Information and Technology, Technical University of Munich（慕尼黑技术大学计算机、信息与技术学院机器人、人工智能与实时系统教授职位） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI、cs.MM

AI总结 HeCoFuse提出一种统一框架，通过通道和空间注意力机制实现异构传感器下的跨模态特征融合，提升协作感知的可靠性与性能，实验显示其在TUMTraf-V2X数据集上达到43.22%的3D mAP，优于基线方法。

Comments Ranked first in CVPR DriveX workshop TUM-Traf V2X challenge. Accepted by ITSC2025

Journal ref Proceedings of the 2025 IEEE 28th International Conference on Intelligent Transportation Systems (ITSC), pp. 1214-1221, 2025

Let's Think with Images Efficiently! An Interleaved-Modal Chain-of-Thought Reasoning Framework with Dynamic and Precise Visual Thoughts

让我们高效地用图像思考！一种具有动态和精确视觉思维的交错模态推理框架

Xu Liu, Yongheng Zhang, Qiguang Chen, Yao Li, Sheng Wang, Libo Qin

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DaP-ICoT框架，通过动态视觉思维整合和精确视觉思维引导，解决传统ICoT方法中视觉思维位置固定和表示不连贯的问题，提升推理效率和效果。

Comments Accepted by AAAI 2026

QMoP: Query Guided Mixture-of-Projector for Efficient Visual Token Compression

QMoP：基于查询的混合投影器用于高效的视觉令牌压缩

Zhongyang Li, Yaqian Li, Faming Fang, Rinyoichi Takezoe, Zi-Hao Bo, Cheng Qian, Mo Guang, Guixu Zhang, Kaiwen Long

机构 * East China Normal University（华东师范大学） ； Li Auto Inc（Li汽车公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出QMoP框架，通过三种协作分支实现视觉令牌的自适应压缩，结合查询引导路由和专家融合机制，提升效率并减少资源消耗。

Dual-Path Knowledge-Augmented Contrastive Alignment Network for Spatially Resolved Transcriptomics

双路径知识增强对比对齐网络用于空间解析转录组学

Wei Zhang, Jiajun Chu, Xinci Liu, Chen Tong, Xinyue Li

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DKAN网络，通过整合组织病理图像和基因表达谱，利用生物信息学方法预测空间解析基因表达，解决现有方法在生物上下文利用不足、依赖示例检索和模态对齐不充分的问题。

Comments AAAI 2026 Oral, extended version

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(15), 12807-12815. 2026

SGDFuse: SAM-Guided Diffusion Model for High-Fidelity Infrared and Visible Image Fusion

SGDFuse: 基于SAM的扩散模型用于高保真红外与可见图像融合

Xiaoyang Zhang, jinjiang Li, Guodong Fan, Yakun Ju, Linwei Fan, Jun Liu, Alex C. Kot

机构 * School of Computer Science（计算机科学学院） ； Business University, Yantai, China（烟台商学院） ； College of Computer and Data Science（计算机与数据科学学院） ； Fuzhou University, Fuzhou, China（福州大学） ； School of Computing and Mathematical Sciences（计算与数学科学学院） ； University of Leicester, Leicester, United Kingdom（莱斯特大学） ； School of Computing and Artificial Intelligence（计算与人工智能学院） ； Director of the Rapid-Rich Object Search Laboratory（快速丰富对象搜索实验室主任） ； NTU-PKU Joint Research Institute, Nanyang Technological University, Singapore（NTU-PKU联合研究机构，新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SGDFuse，通过结合SAM的高阶语义先验与扩散模型的高保真生成能力，解决红外与可见图像融合中的语义盲问题，提升图像质量和下游任务性能。

Comments Published in Information Fusion

Journal ref Information Fusion, 2026: 104290

STENet: Superpixel Token Enhancing Network for RGB-D Salient Object Detection

STENet：基于超像素令牌增强的RGB-D显著目标检测网络

Jianlin Chen, Gongyang Li, Zhijiang Zhang, Liang Chang, Dan Zeng

机构 * School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； Yunnan Key Laboratory of Service Computing, Yunnan University of Finance and Economics（云南财经大学服务计算重点实验室） ； Innovation Academy for Microsatellites of Chinese Academy of Science（中国科学院微卫星创新院） ； Institute for Urban Governance, Shanghai University（上海大学城市治理研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 STENet通过引入超像素进行跨模态交互，解决RGB-D显著目标检测中注意力机制复杂度高和局部细节提取有限的问题，提出全局增强模块和局部精修模块以提升特征表示。

Comments 12 pages, 8 figures, accepted by IEEE TMM

Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Infrared and Visible Image Fusion

超越严格配对：用于高性能红外和可见图像融合的任意配对训练

Yanglin Deng, Tianyang Xu, Chunyang Cheng, Hui Li, Xiao-jun Wu, Josef Kittler

机构 * School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院） ； Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（Surrey 大学视觉、语音和信号处理中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文挑战严格配对训练范式，提出任意配对训练范式，通过丰富跨模态关系提升红外和可见图像融合性能，实验证明其在数据有限情况下可达到与大规模数据集相当的性能。

Comments Accepted by CVPR2026

OmniFM: Toward Modality-Robust and Task-Agnostic Federated Learning for Heterogeneous Medical Imaging

OmniFM：迈向模态鲁棒且任务无关的联邦学习 for 异质医学影像

Meilin Liu, Jiaying Wang, Jing Shan

机构 * School of Software, Shenyang University of Technology（沈阳理工大学软件学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 OmniFM提出一种统一训练分类、分割、超分辨率、视觉问答和多模态融合的联邦学习框架，通过频域洞察提升跨模态一致性，实现任务无关和模态鲁棒的联邦学习。

Comments Accepted by CVPR 2026 (Main)

PEARL: Geometry Aligns Semantics for Training-Free Open-Vocabulary Semantic Segmentation

PEARL：几何对齐语义以实现无训练的开放词汇语义分割

Gensheng Pei, Xiruo Jiang, Xinhao Cai, Tao Chen, Yazhou Yao, Byeungwoo Jeon

机构 * Department of Electrical and Computer Engineering, Sungkyunkwan University（苏州市立大学电气与计算机工程系） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 PEARL提出一种无训练的开放词汇语义分割方法，通过几何对齐和文本感知拉普拉斯传播，在不增加复杂度的情况下实现高效分割。

Comments accepted by CVPR 2026

Lean Learning Beyond Clouds: Efficient Discrepancy-Conditioned Optical-SAR Fusion for Semantic Segmentation

在云之外的高效学习：基于光- SAR融合的语义分割框架

Chenxing Meng, Wuzhou Quan, Yingjie Cai, Liqun Cao, Liyan Zhang, Mingqiang Wei

机构 * School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EDC框架，通过三流编码器和Discrepancy-Conditioned Hybrid Fusion机制提升光- SAR融合的效率和鲁棒性，实验显示在M3M-CR和WHU-OPT-SAR数据集上mIoU提升0.56%和0.88%，参数量减少46.7%。

Comments 14 page, 7 figures

UniStitch: Unifying Semantic and Geometric Features for Image Stitching

UniStitch：统一语义与几何特征用于图像拼接

Yuan Mei, Lang Nie, Kang Liao, Yunqiu Xu, Chunyu Lin, Bin Xiao

机构 * CQUPT（中国科学技术大学紫金学院） ； PolyU ； NTU（国立台湾大学） ； NUS（新加坡国立大学） ； BJTU（北京交通大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出UniStitch框架，通过融合语义和几何特征提升图像拼接性能，采用Neural Point Transformer和Adaptive Mixture of Experts模块实现特征融合，实验表明其显著优于现有方法。

Comments Project Page: http://mmelodyy.github.io/projects/unistitch

VoroLight: Learning Voronoi Surface Meshes via Sphere Intersection

VoroLight: 通过球体相交学习Voronoi表面网格

Jiayin Lu, Ying Jiang, Yumeng He, Yin Yang, Chenfanfu Jiang

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 VoroLight通过球体相交损失促进可控的Voronoi退化，实现平滑的表面重建，保留Voronoi的拓扑一致性与凸性。

Hierarchical Multiscale Structure-Function Coupling for Brain Connectome Integration

层次化多尺度结构-功能耦合用于脑连接组整合

Jianwei Chen, Zhengyang Miao, Wenjie Cai, Jiaxue Tang, Boxing Liu, Yunfan Zhang, Yuhang Yang, Hao Tang, Carola-Bibiane Schönlieb, Zaixu Cui, Du Lei, Shouliang Qi, Chao Li

机构 * School of Medicine, University of Dundee, UK（邓迪大学医学院） ； School of Science and Engineering, University of Dundee, UK（邓迪大学科学与工程学院） ； College of Medicine and Biological Information Engineering, Northeastern University, China（东北大学医学院与生物信息工程学院） ； College of Medical Informatics, Chongqing Medical University, China（重庆医科大学医学信息学院） ； School of Airspace Science and Engineering, Shandong University, China（山东大学航空航天科学与工程学院） ； Chinese Institute for Brain Research, China（中国脑科学研究院） ； Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系） ； Department of Clinical Neurosciences, University of Cambridge, UK（剑桥大学临床神经科学系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 本文提出层次化多尺度结构-功能耦合框架，通过联合学习结构和功能连接组的模块化组织与层级耦合，提升脑连接组整合效果，验证了其在预测脑年龄、认知分数和疾病分类中的优越性。

Reactive Slip Control in Multifingered Grasping: Hybrid Tactile Sensing and Internal-Force Optimization

多指抓取中的反应滑移控制：混合触觉感知与内部力优化

Théo Ayral, Saifeddine Aloui, Mathieu Grossard

机构 * Université Grenoble Alpes, CEA, Leti（格勒诺布尔大学、CEA、LETI） ； Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、CEA、LIST） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出一种结合学习触觉滑移检测与模型内部力控制的混合方法，用于多指抓取的稳定控制，通过触觉反馈实现快速滑移检测与力优化，实验验证了在外部扰动下的抓取稳定性。

Comments Accepted to IEEE International Conference on Robotics and Automation (ICRA), 2026