Detect Before You Leap: Mirage Detection in Vision-Language Models
在跳跃前检测:视觉语言模型中的幻象检测
机构 * Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校) ; Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
专题命中 视频理解 :video understanding(abstract);分类 cs.CV
AI总结 针对视觉语言模型在缺乏视觉证据时产生自信但无根据回答的幻象问题,提出文本条件层内对齐方法,通过分析视觉编码器各层补丁令牌与问题嵌入的对齐轨迹,结合像素统计、零样本域路由和结构化自评估,实现高精度预响应幻象检测。