多模态大模型

Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization

揭示视觉-语言模型的脆弱性：通过纹理约束扰动和跨模态优化的多模态对抗协同

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。

Comments Publish in AAAI 2026

How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning

如何以及想象什么？统一多模态模型中的视觉思维用于跨视角空间推理

Qian Yang, Ankur Sikarwar, Huy Le, Le Zhang, Zhuan Shi, Perouz Taslakian, Aishwarya Agrawal

机构 * Mila - Québec AI Institute（蒙特利尔AI研究所） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； ServiceNow AI Research（ServiceNow人工智能研究） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出View Dropout训练策略使模型利用中间思维图像进行跨视角空间推理，并发现全景视觉思维在信息性和可学习性上最优。

Comments Preprint

FTibSuite: A Comprehensive Resource Suite for Tibetan Vision-Language Modeling

FTibSuite：面向藏语视觉语言建模的综合资源套件

Guixian Xu, Yide Liang, Zeli Su, Xuexian Song, Ziyin Zhang, Yushuang Dong, Ting Zhang, Xu Han

机构 * Hainan International College, Minzu University of China（民族大学海南国际学院） ； School of Information Engineering, Minzu University of China（民族大学信息工程学院） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 针对藏语视觉语言建模缺乏可复现训练和评估基础设施的问题，提出FTibSuite资源套件，包含数据集FTibData、基准FTibBench和基线模型FTibVLM，在多项任务上取得显著性能提升。

The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP

拯救效应：时空语义早期退出绕过CLIP中的量化崩溃

Kahyeon Nam, Hyesong Choi

机构 * Soongsil University（顺斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对CLIP模型INT8量化导致的表示崩溃问题，提出LRA-EE方法，通过时空语义聚合、多特征门控和层自适应阈值实现早期退出，在ImageNet-1K零样本分类中降低13.4% FLOPs并提升2.44%准确率。

BioFact-MoE: Biologically Factorized Mixture of Experts for Vision-Language Prognostic Modeling in Hepatocellular Carcinoma

BioFact-MoE：基于生物学因子分解的混合专家模型用于肝细胞癌的视觉-语言预后建模

Junlin Yang, Tian Yu, Nicha C. Dvornek, Yuexi Du, Peiyu Duan, Annabella Shewarega, Lawrence H. Staib, James S. Duncan, Julius Chapiro

机构 * Department of Radiology \& Biomedical Imaging, Department of Biomedical Engineering, Department of Electrical Engineering, Department of Statistics \& Data Science Yale University, New Haven, CT, 06510, USA 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出BioFact-MoE框架，通过生物学监督的混合专家模型显式分解肝脏和肿瘤因子，在肝细胞癌预后预测中提升准确性和生物学可解释性。

Comments Early accepted at MICCAI 2026

Left-Right Symmetry Breaking in CLIP-style Vision-Language Models Trained on Synthetic Spatial-Relation Data

CLIP风格视觉语言模型在合成空间关系数据训练中的左右对称性破缺

Takaki Yamamoto, Chihiro Noguchi, Toshihiro Tanizawa

机构 * InfoTech, Toyota Motor Corporation（丰田汽车公司信息科技部门） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 通过可控一维图像文本测试平台，研究基于Transformer的视觉语言编码器在CLIP风格对比学习下如何通过位置与标记嵌入交互产生左右关系理解，并发现标签多样性比布局多样性更关键。

Comments Accepted at ICML 2026

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

VERA-V：用于破解视觉语言模型的变分推断框架

Qilin Liao, Anamika Lochab, Ruqi Zhang

机构 * Department of Computer Science, Purdue University, USA（美国普渡大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出VERA-V变分推断框架，通过联合后验分布生成隐蔽的文本-图像对抗输入，以系统性地发现视觉语言模型的多模态漏洞，在多个基准上攻击成功率最高提升53.75%。

Comments 18 pages, 7 Figures,

Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery

真实图像，更差判断：评估视觉-语言模型在具体性和意象性上的表现

Yifan Jiang, Ruoxi Ning, Sheng Yao, Freda Shi

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。

On the Robustness of Machine Unlearning for Vision-Language Models

机器遗忘在视觉-语言模型中的鲁棒性研究

Yujie Lin, Kaidi Jia, Jiayao Ma, Chengyi Yang, Jinsong Su

机构 * Xiamen University（厦门大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文首次系统调查了视觉-语言模型机器遗忘的鲁棒性，通过提出三种攻击范式揭示现有方法往往隐藏而非彻底移除目标知识。

RISE: Reliable Improvement in Self-Evolving Vision-Language Models

RISE: 自进化视觉语言模型的可靠改进

Chaoran Xu, Yingmao Miao, Pengfei Zhang, Hao Dou, Lei Sun, Xiangxiang Chu

机构 * AMAP, Alibaba Group（阿里集团AMAP实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型自进化中角色交替粗粒度、问题质量下降和类型坍缩问题，提出RISE框架，通过细粒度角色交替、质量监督器和技能感知动态平衡实现可靠自进化。

DETR-ViP: Detection Transformer with Robust Discriminative Visual Prompts

DETR-ViP：具有鲁棒判别性视觉提示的检测Transformer

Bo Qian, Dahu Shi, Xing Wei

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University（西安交通大学人机混合增强智能国家重点实验室） ； CCAI, Zhejiang University（浙江大学计算机辅助设计与智能交互研究院） ； Hikrobot Co., Ltd.（海康威视有限公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出DETR-ViP框架，通过全局提示集成和视觉-文本提示关系蒸馏学习可区分视觉提示，并采用选择性融合策略实现鲁棒检测，在多个数据集上显著提升视觉提示检测性能。

Comments Published as a conference paper at ICLR 2026