多模态大模型

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

推动多模态推理：从优化冷启动到分阶段强化学习

Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Soochow University（苏州大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出ReVisual-R1，通过优化冷启动和分阶段强化学习提升多模态推理能力，在多个挑战性基准测试中取得新突破。

Comments 19 pages, 6 figures

SIN-Bench: Tracing Native Evidence Chains in Long-Context Multimodal Scientific Interleaved Literature

SIN-Bench：在长上下文多模态科学交织文献中追踪原生证据链

Yiming Ren, Junjie Wang, Yuxin Meng, Yihang Shi, Zhiqiang Lin, Ruihang Chu, Yiran Xu, Ziming Li, Yunfei Zhao, Zihan Wang, Yu Qiao, Ruiming Tang, Minghao Liu, Yujiu Yang

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； KuaiShou Inc.（快手公司） ； Stanford University（斯坦福大学） ； Harvard University（哈佛大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 SIN-Bench 通过构建科学交织语料库和四个逐步任务，评估多模态模型在长上下文科学文献中追踪证据链的能力，揭示接地是主要瓶颈。

MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs

Feilong Chen, Yijiang Liu, Yi Huang, Hao Wang, Miren Tian, Ya-Qi Yu, Minghui Liao, Jihao Wu

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

MoA-Off: Adaptive Heterogeneous Modality-Aware Offloading with Edge-Cloud Collaboration for Efficient Multimodal LLM Inference

Zheming Yang, Qi Guo, Yunqing Hu, Chang Zhao, Chang Zhang, Jian Zhao, Wen Ji

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)

Comments 5 pages, 4 figures

R1-ShareVL: Incentivizing Reasoning Capability of Multimodal Large Language Models via Share-GRPO

Huanjin Yao, Qixiang Yin, Jingyi Zhang, Min Yang, Yibo Wang, Wenhao Wu, Fei Su, Li Shen, Minghui Qiu, Dacheng Tao, Jiaxing Huang

机构 * Nanyang Technological University（南洋理工大学） ； ByteDance（字节跳动） ； Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； The University of Sydney（悉尼大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Technical report

Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding

Trilok Padhi, Ramneet Kaur, Adam D. Cobb, Manoj Acharya, Anirban Roy, Colin Samplawski, Brian Matejek, Alexander M. Berenbeim, Nathaniel D. Bastian, Susmit Jha

机构 * Georgia State University（佐治亚州立大学） ； Computer Science Lab, SRI（SRI计算机科学实验室） ； Army Cyber Institute, United States Military Academy（美国陆军网络学院） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

MLLMs Know Where to Look: Training-free Perception of Small Visual Details with Multimodal LLMs

Jiarui Zhang, Mahyar Khayatkhoei, Prateek Chhikara, Filip Ilievski

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Published as a conference paper at ICLR 2025. Code at: https://github.com/saccharomycetes/mllms_know

SAM4MLLM: Enhance Multi-Modal Large Language Model for Referring Expression Segmentation

Yi-Chia Chen, Wei-Hua Li, Cheng Sun, Yu-Chiang Frank Wang, Chu-Song Chen

专题命中 其他多模态 ：multi-modal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ECCV 2024

Multi-modal Misinformation Detection: Approaches, Challenges and Opportunities

Sara Abdali, Sina shaham, Bhaskar Krishnamachari

专题命中 其他多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models

Junho Kim, Yeon Ju Kim, Yong Man Ro

专题命中 其他多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Project page: https://ivy-lvlm.github.io/Counterfactual-Inception/

Visual Persuasion in COVID-19 Social Media Content: A Multi-Modal Characterization

Mesut Erhan Unal, Adriana Kovashka, Wen-Ting Chung, Yu-Ru Lin

专题命中 其他多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 10 pages

Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering

Zihao Zhu, Jing Yu, Yujing Wang, Yajing Sun, Yue Hu, Qi Wu

专题命中 其他多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Pinching Visuo-haptic Display: Investigating Cross-Modal Effects of Visual Textures on Electrostatic Cloth Tactile Sensations

Takekazu Kitagishi, Chun-Wei Ooi, Yuichi Hiroi, Jun Rekimoto

机构 * The University of Tokyo（东京大学） ； ZOZO Research（ZOZO研究） ； Cluster Metaverse Lab（集群元宇宙实验室） ； Sony CSL Kyoto（索尼 CSL京都） 纠错

专题命中 其他多模态 ：cross-modal(title,abstract)；multimodal(abstract,comments)；分类 cs.CV、cs.MM

Comments 10 pages, 8 figures, 3 tables. Presented at ACM International Conference on Multimodal Interaction (ICMI) 2025

Enhancing Part-Level Point Grounding for Any Open-Source MLLMs

增强任意开源多模态大语言模型的部件级点定位能力

Jin-Cheng Jhang, Fu-En Wang, Xin Yang, Nan Qiao, Lu Xia, Min Sun, Cheng-Hao Kuo

机构 * National Tsing Hua University（国立清华大学） ； Amazon（亚马逊） 纠错

专题命中 其他多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出一种通用方法，通过冻结原模型参数并引入Q-Synth模块和注意力到点解码器，为任意开源MLLM赋予精确的2D部件级点定位能力，显著提升部件级定位精度。

Comments CVPR 2026

Robust Grounding with MLLMs Against Occlusion and Small Objects via Language-Guided Semantic Cues

通过语言引导的语义线索实现对遮挡和小物体的鲁棒接地

Beomchan Park, Seongho Kim, Hyunjun Kim, Sungjune Park, Yong Man Ro

机构 * Integrated Vision Language Lab.（集成视觉语言实验室） 纠错

专题命中 其他多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出通过语言引导的语义线索提升MLLM在拥挤场景中的接地能力，通过语义线索提取器和文本嵌入引导优化对象语义，实验表明能有效提高接地精度。

Comments 4 pages, 2 figures, ICASSP 2026

A Multimodal Foundation Model of Spatial Transcriptomics and Histology for Biological Discovery and Clinical Prediction

一种结合空间转录组学和组织学的多模态基础模型用于生物发现和临床预测

Jinxi Xiang, Siyu Hou, Yuchen Li, Ryan Quinton, Xiaoming Zhang, Feyisope Eweje, Xiangde Luo, Yijiang Chen, Zhe Li, Colin Bergstrom, Ted Kim, Sierra Willens, Francesca Maria Olguin, Matthew Abikenari, Andrew Heider, Sanjeeth Rajaram, Joel Neal, Maximilian Diehn, Xiang Zhou, Ruijiang Li

机构 * Department of Radiation Oncology, Stanford University School of Medicine（斯坦福大学医学院放射肿瘤学系） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Medicine (Oncology), Stanford University School of Medicine（斯坦福大学医学院医学系（肿瘤学）） ； Department of Pathology, Stanford University School of Medicine（斯坦福大学医学院病理学系） ； Department of Neurosurgery, Stanford University School of Medicine（斯坦福大学医学院神经外科学系） ； Stanford Institute for Human-Centered Artificial Intelligence（斯坦福大学以人为本人工智能研究所） ； Perelman School of Medicine at the University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院） 纠错

专题命中 其他多模态 ：multimodal(title)；multimodal foundation model(title)；分类 cs.AI

AI总结 本文提出STORM模型，整合形态学特征、基因表达和空间上下文，提升空间领域发现并预测肿瘤类型基因表达，提高免疫治疗响应预测和预后诊断。

Comments 29 pages, 5 figures. This manuscript is a work in progress; further updates and revisions will be posted as they become available

Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning

文本中的去偏：相信你的视觉：面向视觉反常识推理的文本锚定跨模态迁移

Chen Ling, Hanqian Li, Dongnan Liu, Keyu Qian, Jungang Li, Xinglong liu, Shiyi Wang, Xin Dong, Pengcheng Zhu, Wei Zhou, Linjian Mo, Nai Ding

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 其他多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型视觉反常识推理中语言先验干扰问题，提出文本锚定数据构建流程及后训练框架 TACT，实现无需视觉数据的跨模态去偏，提升模型视觉推理性能。

Semantic-Aligned Structural Abstraction for Multimodal Sentiment Analysis

面向多模态情感分析的语义对齐结构抽象

Wei Chen, Junkai Li, Tongguan Wang, Hui Liu, Feiyue Xue, Chuanxiang Ma, Ying Sha

机构 * Huazhong Agricultural University（华中农业大学） ； Hubei University（湖北大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有多模态情感分析方法无法建模情感语义的局限，提出SentiLLM框架，通过双流显著性-上下文校准机制实现语义对齐结构抽象，在四个数据集上取得优异性能。

Comments Accepted by MM 2026

Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

打破失败级联：面向医学多模态推理的步骤感知强化学习

Junha Jung, Minbyul Jeong, Suhyeon Lim, Sungwook Jung, Jaehoon Yun, Taeyun Roh, Mujeen Sung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Upstage AI ； Kyung Hee University（庆熙大学） ； KAIST（韩国科学技术院） ； Hanyang University College of Medicine（汉阳大学医学院） ； AIGEN Sciences 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出步骤感知强化学习算法MRPO，通过为早期错误推理步骤分配指数级惩罚，打破失败级联，显著提升医学视觉问答准确率。

ProMUSE: Progressive Multi-modal Uncertainty-guided Staged Evidential Alzheimer Disease Classification

ProMUSE: 渐进式多模态不确定性引导的分阶段证据阿尔茨海默病分类

Long Doan, Branden Chen, Ethan Litton, Huan Huang, Jiajing Huang, Yixin Xie, Weihua Zhou, Nandakumar Narayanan, Chen Zhao

机构 * Kennesaw State University（肯尼索州立大学） ； Michigan Technological University（密歇根理工大学） ； University of Iowa（爱荷华大学） 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出ProMUSE，一种渐进式多模态不确定性引导的分阶段证据网络，通过自适应决定何时需要额外模态，在保持准确性的同时降低数据采集成本。

LookWise: Knowing When and Where to Look for Fine-Grained Visual Reasoning in Multimodal Large Language Models

LookWise: 知道何时何地关注多模态大语言模型中的细粒度视觉推理

Yuxiang Shen, Hailong Huang, Zhenkun Gao, Xueheng Li, Man Zhou, Chengjun Xie, Haoxuan Che, Xuanhua He, Jie Zhang

机构 * Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（智能机器研究所，合肥物理科学研究院，中国科学院） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出LookWise框架，通过置信度模块和语义引导定位模块实现自适应视觉推理，无需额外训练即可提升细粒度推理精度并加速推理。

CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs

CompoDistill：多模态大语言模型中基于注意力的知识蒸馏用于组合推理

Jiwan Kim, Kibum Kim, Sangwoo Seo, Chanyoung Park

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CompoDistill，通过显式对齐学生与教师模型的视觉注意力，提升多模态大语言模型的组合推理能力，同时保持视觉问答任务的性能。

Comments ICLR'26, Project Page : https://ptkjw1997.github.io/CompoDistill-page/

R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning

R-C2：循环一致性强化学习提升多模态推理

Zirui Zhang, Haoyu Dong, Kexin Pei, Chengzhi Mao

机构 * Rutgers University（罗格斯大学） ； Columbia University（哥伦比亚大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 R-C2通过循环一致性强化学习解决多模态推理中的内部冲突，提升推理准确率7.6个百分点。

Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs

评估后训练量化对多模态大语言模型可靠视觉问答的影响

Paul Jonas Kurz, Tobias Jan Wieczorek, Mohamed A. Abdelsalam, Rahaf Aljundi, Marcus Rohrbach

机构 * TU Darmstadt（图宾根大学） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了后训练量化对多模态大语言模型可靠视觉问答的影响，提出通过选择器置信度估计器提升可靠性，并在不同量化方法中实现了效率与可靠性的最佳平衡。

Comments Accepted poster at the 1st Workshop on Epistemic Intelligence in Machine Learning (EIML) @ EURIPS 2025

Efficient Multimodal Large Language Models: A Survey

高效多模态大语言模型：综述

Yizhang Jin, Jian Li, Yexin Liu, Tianjun Gu, Kai Wu, Zhengkai Jiang, Muyang He, Bo Zhao, Xin Tan, Zhenye Gan, Yabiao Wang, Chengjie Wang, Lizhuang Ma

机构 * Youtu Lab, Tencent（腾讯优图实验室） ； SJTU（上海交通大学） ； BAAI（北京人工智能研究院） ； ECNU（华东师范大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了高效多模态大语言模型的发展现状，探讨了其高效结构、策略及应用，并展望了未来研究方向。

Comments Accepted by Visual Intelligence

Journal ref Visual Intelligence, Volume 3, article number 27, (2025)

UniChange: Unifying Change Detection with Multimodal Large Language Model

UniChange: 通过多模态大语言模型统一变化检测

Xu Zhang, Danyang Li, Xiaohang Dong, Tianhao Wu, Hualong Yu, Jianye Wang, Qicheng Li, Xiang Li

机构 * TMCC, Computer Science, Nankai University（天津大学计算机学院，南开大学） ； VCIP, Computer Science, Nankai University（南开大学计算机科学系） ； NKIARI, Futian, Shenzhen（深圳福田国家工程研究中心） ； CMEE, Sichuan Agricultural University（四川农业大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 UniChange通过多模态大语言模型统一变化检测任务，引入特殊标记和文本提示，实现BCD和SCD的统一，并在多个基准测试中取得最佳性能。

The Impact of Image Resolution on Biomedical Multimodal Large Language Models

Liangyu Chen, James Burgess, Jeffrey J Nirschl, Orr Zohar, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； Institute for Computational and Mathematical Engineering (ICME)（计算与数学工程研究所） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Comments Proceedings of the 10th Machine Learning for Healthcare Conference, PMLR 298, 2025

Seeing the Big Picture: Evaluating Multimodal LLMs' Ability to Interpret and Grade Handwritten Student Work

Owen Henkel, Bill Roberts, Doug Jaffe, Laurence Holt

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Exposing and Mitigating Calibration Biases and Demographic Unfairness in MLLM Few-Shot In-Context Learning for Medical Image Classification

Xing Shen, Justin Szeto, Mingyang Li, Hengguan Huang, Tal Arbel

机构 * Centre for Intelligent Machines, McGill University, Montreal, Canada（智能机器中心，麦吉尔大学，加拿大） ； Mila -- Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所） ； Stanford University, Stanford, USA（斯坦福大学） ； University of Copenhagen, Copenhagen, Denmark（哥本哈根大学） 纠错

专题命中 其他多模态 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments Preprint version. The peer-reviewed version of this paper has been accepted to MICCAI 2025 main conference

Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models

Zeyu Liu, Yuhang Liu, Guanghao Zhu, Congkai Xie, Zhen Li, Jianbo Yuan, Xinyao Wang, Qing Li, Shing-Chi Cheung, Shengyu Zhang, Fei Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Reallm Labs（Reallm 实验室） ； Amazon（亚马逊） ； The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI