多模态大模型

Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models

Robust-LLaVA：大规模鲁棒图像编码器对多模态大语言模型的有效性

Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Khan, Salman Khan

机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； Khalifa University（卡利法大学） ； Michigan State University（密歇根州立大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出利用大规模对抗预训练的图像分类模型替代CLIP编码器，以增强多模态大语言模型对视觉对抗扰动的鲁棒性，在无需额外对抗训练的情况下，在视觉问答、图像描述和越狱攻击任务中取得显著鲁棒性提升。

Comments Accepted at Trustworthy FMs Workshop Trust Before Use: Building Foundation Models that You Can Trust (ICCVW) 2025

Bad Seeing or Bad Thinking? Rewarding Perception for Multimodal Reasoning

Bad Seeing or Bad Thinking? Rewarding Perception for Multimodal Reasoning

Haozhe Wang, Qixin Xu, Changpeng Wang, Taofeng Xue, Chong Peng, Wenhu Chen, Fangzhen Lin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 图文多模态 ：multimodal(title,title_cn)；分类 cs.CV、cs.AI

AI总结 提出一种基于强化学习的模态感知信用分配框架（MoCA），通过感知验证和结构化口头验证解决视觉语言模型中感知与推理的权衡问题，实现多任务性能提升。

Comments Accepted by ICML 2026 as Oral

Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain

超越对称对齐：医学领域视觉-语言模型中模态不平衡的光谱诊断

Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen

机构 * NOVA School of Science and Technology（诺瓦科学与技术学校） ； Nova School of Business and Economics（诺瓦商业与经济学校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出非对称光谱对齐分数（SAS），通过特征值加权的特征模态相关性量化模态信息不平衡，并在医学图像-文本数据集上评估15个VLM，发现医学图像比临床报告保留更丰富的结构信息，且SAS与检索性能的相关性最强。

Comments 10 pages, 3 figures, 9 tables

Can VLMs Predict Future States? Bootstrapping World Models from Inverse Dynamics

视觉语言模型能预测未来状态吗？从逆动力学引导世界模型

Yifu Qiu, Yftah Ziser, Anna Korhonen, Shay B. Cohen, Edoardo M. Ponti

机构 * Institute for Language, Cognition and Computation, University of Edinburgh（语言、认知与计算研究所，爱丁堡大学） ； Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学） ； NVIDIA（NVIDIA公司） ； University of Groningen（格罗宁根大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文发现视觉语言模型（VLM）难以直接进行前向动力学预测（FDP），但逆动力学预测（IDP）更容易学习，并利用IDP通过弱监督学习和推理时验证两种策略引导FDP，在Aurora-Bench上取得与最先进图像编辑模型竞争的性能。

Large AI Models in Dental Healthcare: From General-Purpose Systems to Domain-Specific Foundation Models

牙科医疗中的大型AI模型：从通用系统到领域特定基础模型

Sema Helali, Lina Abu Nada, Sausan Al Kawas, Alaa Abd-Alrazaq, Faleh Tamimi, Rafat Damseh

机构 * University of Al Ain, UAE（阿联酋阿恩大学） ； Sharjah University, UAE（阿联酋谢尔杰大学） ； Cornell University, Qatar（卡塔尔康奈尔大学） ； McGill University（麦吉尔大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统综述，提出二维分类框架，比较语言生成模型、判别视觉基础模型和牙科特定基础模型在牙科任务中的表现，发现集成管道优于单一模型，并指出数据不对称、幻觉和缺乏标准化基准等障碍。

Revisiting Model Stitching In the Foundation Model Era

重新审视基础模型时代的模型拼接

Zheda Mai, Ke Zhang, Fu-En Wang, Zixiao Ken Wang, Albert Y. C. Chen, Lu Xia, Min Sun, Wei-Lun Chao, Cheng-Hao Kuo

机构 * The Ohio State University（俄亥俄州立大学） ； Boston University（波士顿大学） ； Amazon（亚马逊） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过系统协议研究视觉基础模型（如CLIP、DINOv2、SigLIP 2）的可拼接性，提出基于目标模型倒数第二层特征匹配损失的拼接方法，并构建VFM拼接树（VST）实现多模态大模型中多个VFM的准确率-延迟权衡。

Comments Accepted by CVPR 2026

UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding

UniFine: 一种统一且细粒度的零样本视觉-语言理解方法

Rui Sun, Zhecan Wang, Haoxuan You, Noel Codella, Kai-Wei Chang, Shih-Fu Chang

机构 * Columbia University（哥伦比亚大学） ； Microsoft Research（微软研究院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出UniFine框架，通过利用句子关键词和图像对象等细粒度信息进行图像-文本匹配，在零样本设置下统一处理VQA、SNLI-VE和VCR等视觉-语言任务，并在多个数据集上取得显著改进。

Comments 14 pages, 4 figures, ACL 2023 Findings

Selectivity Estimation for Semantic Filters on Image Data

图像数据语义过滤器的选择性估计

Matthias Urban, Vu Huy Nguyen, Gabriele Sanmartino, Paolo Papotti, Carsten Binnig

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 针对图像数据上的语义过滤器，提出基于共享嵌入空间的语义直方图方法，通过估计查询特异性来绕过传统在线采样，实现高效选择性估计，将查询优化与执行的端到端运行时开销降低高达86%。