多模态大模型

Aligning the True Semantics: Constrained Decoupling and Distribution Sampling for Cross-Modal Alignment

对齐真实语义：基于约束解耦和分布采样的跨模态对齐

Xiang Ma, Lexin Fang, Litian Xu, Caiming Zhang

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CL

AI总结 本文提出CDDS算法，通过约束解耦和分布采样方法，解决跨模态对齐中的语义分离和模态差距问题，实验表明其优于现有方法。

Comments AAAI 2026 poster

Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

适配器增强的带状机用于在线多约束多模态推断调度

Xianzhi Zhang, Yue Xu, Yinlin Zhu, Di Wu, Yipeng Zhou, Miao Hu, Guocong Quan

机构 * School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, 510006, China.（中山大学计算机科学与工程学院） ； School of Computing, Macquarie University, NSW 2109, Australia（麦考瑞大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；multimodal(abstract)；MLLM(abstract)

AI总结 M-CMAB通过多适配器增强框架，实现多模态任务调度中的多约束优化，提升推断效率和预算利用效率。

Rethinking the Mixture of Vision Encoders Paradigm for Enhanced Visual Understanding in Multimodal LLMs

重新思考多模态大语言模型中视觉编码器混合范式以提升视觉理解

Mozhgan Nasr Azadani, James Riddell, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 LEO通过轻量级融合设计提升多模态大语言模型的视觉理解能力，并在自动驾驶领域展现良好泛化性能。

Comments Accepted by TMLR

Fuse4Seg: Image Fusion for Multi-Modal Medical Segmentation via Bi-level Optimization

Fuse4Seg: 多模态医学分割的图像融合 via 两级优化

Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

机构 * Northwestern University（西北大学） ； Northeastern University（东北大学） ； South China University of Technology（华南理工大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Beijing Normal - Hong Kong Baptist University（北京师范大学-香港 Baptist大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 Fuse4Seg通过两级优化实现多模态医学图像融合，解决视觉与语义间的差距问题，提升分割任务的准确性和临床可解释性。

Post Fusion Bird's Eye View Feature Stabilization for Robust Multimodal 3D Detection

融合后鸟瞰图特征稳定化用于鲁棒多模态3D检测

Trung Tien Dong, Dev Thakkar, Arman Sargolzaei, Xiaomin Lin

机构 * Department of Electrical Engineering, University of South Florida（佛罗里达州立大学电气工程系） ； Department of Mechanical Engineering, University of South Florida（佛罗里达州立大学机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 本文提出了一种轻量级模块PFS，通过稳定特征统计、抑制传感器退化区域和残差校正，提升多模态3D检测在域转移和传感器故障下的鲁棒性。

SpaCRD: Multimodal Deep Fusion of Histology and Spatial Transcriptomics for Cancer Region Detection

SpaCRD：多模态深度融合组织学与空间转录组学用于癌症区域检测

Shuailin Xue, Jun Wan, Lihua Zhang, Wenwen Min

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 SpaCRD通过多模态深度融合组织学与空间转录组学数据，实现跨样本、平台和批次的癌症区域检测，优于现有八种方法。

Comments Accepted by AAAI-2026-Oral

Omni-C: Compressing Heterogeneous Modalities into a Single Dense Encoder

Omni-C：将异构模态压缩到单一密集编码器

Kin Wai Lau, Yasar Abbas Ur Rehman, Lai-Man Po, Pedro Porto Buarque de Gusmão

机构 * City University of Hong Kong（香港城市大学） ； TCL AI Lab（TCL人工智能实验室） ； University of Surrey, United Kingdom（英国萨里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Omni-C通过单一密集Transformer编码器学习跨异构模态的共享表示，有效缓解跨模态冲突，提升多模态学习的效率与可扩展性。

Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation

层次化协作融合用于3D实例感知指代表达分割

Keshen Zhou, Runnan Chen, Mingming Gong, Tongliang Liu

机构 * The University of Sydney（悉尼大学） ； The University of Melbourne（墨尔本大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 HCF-RES通过层次化视觉语义分解和渐进多级融合，实现了3D实例感知指代表达分割的高精度与细粒度定位。

SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization

SPINE：基于熵带正则化的令牌选择性测试时间强化学习

Jianghao Wu, Yasmeen George, Jin Ye, Yicheng Wu, Daniel F. Schmidt, Jianfei Cai

机构 * Monash University（墨尔本大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL

AI总结 SPINE通过令牌选择性和熵带正则化提升测试时间推理稳定性与效果。

Spatial Calibration of Diffuse LiDARs

扩散式时间飞行激光雷达的空间校准

Nikhil Behari, Ramesh Raskar

机构 * MIT（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种扩散式时间飞行激光雷达的空间校准方法，通过恢复每像素响应图实现激光雷达与 RGB 的跨模态对齐与融合。

Lyapunov Probes for Hallucination Detection in Large Foundation Models

Lyapunov探针用于大型基础模型中的幻觉检测

Bozhi Luan, Gen Li, Yalan Qin, Jifeng Guo, Yun Zhou, Faguo Wu, Hongwei Zheng, Wenjun Wu, Zhaoxin Fan

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北航） ； School of Electronic and Information Engineering, State Key Laboratory of CNS/ATM, Beihang University（电子与信息工程学院， CNS/ATM 国家重点实验室，北航） ； National Key Laboratory of Information Systems Engineering, National University of Defense Technology（信息系统工程国家重点实验室，国防科技大学） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） ； Shanghai University（上海大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 通过Lyapunov探针检测大型基础模型中的幻觉，利用动力系统稳定性理论分析知识过渡区域的边界特征。