多模态大模型

Multimodal Abstractive Summarization of Instructional Videos with Vision-Language Models

基于视觉语言模型的指令视频多模态抽象摘要

Maham Nazir, Muhammad Aqeel, Richong Zhang, Francesco Setti

机构 * Beihang University, Beijing, China（北航大学，北京，中国） ； University of Verona, Italy（威尼斯大学，意大利） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ClipSum框架，利用冻结的CLIP视觉语言特征进行指令视频摘要，通过显式时间建模和维度自适应融合，实现视觉与语言的语义对齐，实验显示其在YouCook2数据集上表现优于传统方法。

Comments Accepted to ICPR 2026

Modality-Inconsistent Continual Learning of Multimodal Large Language Models

多模态大语言模型的模态不一致持续学习

Weiguo Pian, Shijian Deng, Shentong Mo, Mingrui Liu, Yunhui Guo, Yapeng Tian

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Carnegie Mellon University（卡内基梅隆大学） ； George Mason University（乔治·梅森大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出MICL，一种针对多模态大语言模型的持续学习场景，涉及不一致的模态和变化的任务类型。通过伪目标生成模块和基于指令的知识蒸馏，解决任务类型转移导致的遗忘问题，实验验证了方法的有效性。

Comments Accepted at Transactions on Machine Learning Research (TMLR), 2026

OmniThoughtVis: A Scalable Distillation Pipeline for Deployable Multimodal Reasoning Models

OmniThoughtVis: 一种可扩展的蒸馏流水线，用于可部署的多模态推理模型

Yuanhao Yue, Chengyu Wang, Yuanjie Lyu, Lei Shen, Jun Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出OmniThoughtVis流水线，通过大规模多模态Co T监督将高容量教师模型的推理能力转移到小型部署模型，实现了在多个基准上的性能提升。

Large-Small Model Collaboration for Farmland Semantic Change Detection

大-小模型协作用于耕地语义变化检测

Xinjia Li, Rui Wang, Qiurong Peng, Lingfei Ye, Dengrong Zhang, Haoyu Zhang

机构 * College of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出大-小协作框架，通过细粒度差分感知Mamba和CLIP文本先验实现耕地变化检测，提升精度与鲁棒性。

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

异质视觉智能体之间通过去中心化学习实现的涌现通信

Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi

机构 * Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究异质视觉智能体通过去中心化学习实现的涌现通信，探讨不同视觉表示下可共享的视觉信息，通过Metropolis-Hastings Captioning Game验证共享符号的生成机制，发现编码器异质性影响共享序列的质量与对称性。

ReasonEdit: Editing Vision-Language Models using Human Reasoning

ReasonEdit：通过人类推理编辑视觉语言模型

Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ReasonEdit通过引入人类推理机制，改进视觉语言模型的编辑能力，提升编辑泛化性能。