视觉大模型 / VLM

Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

在分布偏移下，边际覆盖率能否保证零样本视觉语言模型（VLM）的类条件安全性？

Jai Kumar Sharma, Amartya Dutta

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title_cn,summary_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对CLIP等零样本VLM，发现边际共形覆盖率无法保证类条件安全性，源域校准无法迁移，目标域类别校准可改善尾部但需类别标签，指出其仅为平均可靠性统计量。

Comments Accepted at the ECCV 2026 Workshop on Uncertainty Quantification for Computer Vision (UNCV). 34 pages (16 main + 18 supplementary), 10 figures

When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

当无关文本起作用时：多模态大语言模型中的仿射间隔偏移

Yinfeng Wang, Zhiyuan Yao, Zheren Fu, Lei Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文研究多模态大语言模型（MLLMs）中任务无关文本对视觉判断任务的影响，发现其会使模型决策间隔发生可预测的仿射变换，为提升模型对噪声上下文的鲁棒性提供了诊断基础。

CADRE: Stable, Parameter Efficient Adaptation of Medical Vision Language Models with Bounded Forgetting and Prior Drift

CADRE：具有有界遗忘和先验漂移的稳定、参数高效的医学视觉语言模型适应

Rishabh Jha, Amrita Singh, Prashanna Chudal

机构 * Mindriser's Consortium, Kathmandu, Nepal（Mindriser's 联盟，加德满都，尼泊尔） ； University of Victoria, BC, Canada（维多利亚大学，不列颠哥伦比亚省，加拿大） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 提出CADRE框架，通过结合低秩适应与弹性权重巩固及先验锚定惩罚，在仅训练0.23%参数下实现医学视觉语言模型的高精度、低遗忘和正向反向迁移，遗忘率降低约七倍。

Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs

Jianhao Chen, Shiqin Wang, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Zheng Wang, Tieyun Qian

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。

Comments This work was accepted by WISE2026. 15 pages, 2 figures

Reading Between the Pixels: An Inscriptive Jailbreak Attack on Text-to-Image Models

在像素之间阅读：一种针对文本到图像模型的 inscription 性 jailbreak 攻击

Zonghao Ying, Haowen Dai, Lianyu Hu, Zonglei Jing, Quanchen Zou, Yaodong Yang, Aishan Liu, Xianglong Liu

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出 Etch 框架，通过分解对抗提示为语义伪装、视觉空间锚定和字形编码三层，实现对文本到图像模型的 inscription 性 jailbreak 攻击，验证了现有安全机制的不足。