多模态大模型

MAny: Merge Anything for Multimodal Continual Instruction Tuning

MAny：为多模态连续指令微调合并任何内容

Zijian Gao, Wangwang Jia, Xingxing Zhang, Pengfei Qian, Tao Sun, Bo Ding, Yong Dou, Huaimin Wang, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology（国防科技大学并行与分布式计算国家重点实验室） ； State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室） ； School of Computer Science, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对多模态连续指令微调中感知漂移和推理崩溃问题，提出MAny框架，通过跨模态投影合并和低秩参数合并实现任务知识融合，提升模型鲁棒性和性能。

Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks

为何多模态上下文学习滞后？揭示内部机制和瓶颈

Yu Wang, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文分析了多模态上下文学习在零样本设置中表现与少样本演示下退化的原因，揭示了模型在视觉与文本表示对齐和任务映射转移方面的不足，并提出改进方法。

Comments ACL Main 2026

RSGMamba: Reliability-Aware Self-Gated State Space Model for Multimodal Semantic Segmentation

RSGMamba：面向多模态语义分割的可靠性感知自门控状态空间模型

Guoan Xu, Yang Xiao, Guangwei Gao, Dongchen Zhu, Guo-Jun Qi, Wenjing Jia

机构 * Faculty of Engineering and Information Technology, University of Technology Sydney（工程与信息技术学院，悉尼技术大学） ； PCA Lab, Key Laboratory of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, School of Computer Science and Engineering, Nanjing University of Science and Technology（教育部高维信息智能感知与系统重点实验室，南京理工大学计算机科学与工程学院） ； Bionic Vision Systems Laboratory, Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所生物视觉系统实验室） ； Research Center for Industries of the Future and the School of Engineering, Westlake University（未来产业研究中心和工程学院，西湖大学） ； OPPO Research, Seattle, WA 98101 USA（OPPO研究，美国华盛顿州西雅图98101） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出RSGMamba框架，通过可靠性感知自门控机制提升多模态语义分割性能，实验表明其在RGB-D和RGB-T基准上取得最优结果，参数量仅48.6M。

Comments 7tables,9 figures

Cross-Platform Domain Adaptation for Multi-Modal MOOC Learner Satisfaction Prediction

跨平台领域适应用于多模态MOOC学习者满意度预测

Jakub Kowalski, Magdalena Piotrowska

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)

AI总结 本文研究了在缺乏目标平台标签的情况下，利用跨平台领域适应技术进行多模态MOOC学习者满意度预测，提出ADAPT-MS框架，通过文本编码、跨平台表征对齐、评分偏差校正和缺失行为模态处理，提升了预测精度。

Geometry-Aware Cross Modal Alignment for Light Field-LiDAR Semantic Segmentation

面向几何的多模态对齐用于光场-激光雷达语义分割

Jie Luo, Yuxuan Jiang, Xin Jin, Mingyu Liu, Yihui Fan

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出融合光场数据和点云数据的多模态语义分割网络，通过特征补全和深度感知模块提升复杂场景下的分割性能，优于单模态方法。

Visual Self-Fulfilling Alignment: Shaping Safety-Oriented Personas via Threat-Related Images

视觉自我实现对齐：通过威胁相关图像塑造安全导向的人设

Qishun Yang, Shu Yang, Lijie Hu, Di Wang

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术学院） ； Provable Responsible AI and Data Analytics Lab（可证责任AI与数据分析实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； China University of Petroleum-Beijing at Karamay（北京石油大学克拉玛依校区） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉自我实现对齐方法，通过威胁相关图像训练视觉语言模型，塑造安全导向的人设，减少攻击成功率并提升响应质量。

Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

为何及何时视觉标记修剪失效？对多模态大语言模型解码中相关视觉信息转移的研究

Jiwan Kim, Kibum Kim, Wonjoong Kim, Byung-Kwan Lee, Chanyoung Park

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； NVIDIA 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 本文研究了视觉标记修剪在复杂视觉推理任务中的失效原因，提出解码阶段感知标记修剪方法，有效缓解了修剪方法在复杂推理任务中的性能下降。

Comments Preprint, Project : https://ptkjw1997.github.io/DSTP-page/

Parameter-efficient Quantum Multi-task Learning

参数高效的量子多任务学习

Hevish Cowlessur, Chandra Thapa, Tansu Alpcan, Seyit Camtepe

机构 * CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文提出参数高效的量子多任务学习框架，通过量子预测头替代传统任务特定线性头，实现任务专一性与参数效率的平衡，实验表明在自然语言处理、医学影像和多模态讽刺检测等任务中表现优异。