On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces
基于中间谱子空间视角的视觉语言模型对抗脆弱性研究
机构 * University of the Bundeswehr Munich(慕尼黑联邦国防军大学) ; University of Wrocław(弗罗茨瓦夫大学)
专题命中 幻觉与鲁棒性 :vision-language model(title,abstract);分类 cs.AI、cs.LG
AI总结 研究基于Transformer的视觉语言模型对抗脆弱性,提出白盒谱子空间引导攻击(SSGRA),通过将中间表示与特定子空间对齐来攻击,实验显示其比现有基线更有效,还为模型对抗脆弱性提供谱解释,助力提升鲁棒性。