Spectral Query-Key Product Weight Steering for Training-Free VLM Hallucination Mitigation
谱查询-键乘积权重引导用于免训练VLM幻觉缓解
机构 * Indian Institute of Science, Bengaluru(印度科学理工学院,班加罗尔) ; Snap Research(Snap 研究院)
专题命中 幻觉与鲁棒性 :VLM(title,title_cn);vision-language model(abstract);分类 cs.CV
AI总结 提出QK乘积引导,一种无数据、免训练、零推理成本的权重编辑方法,通过抑制中间层主导奇异模式减少对象幻觉,在三个GQA基VLM上平均降低CHAIR$_s$ 4.0%。
Comments Under Review