Vocabulary Hijacking in LVLMs: Unveiling Critical Attention Heads by Excluding Inert Tokens to Mitigate Hallucination
LVLMs中的词汇劫持:通过排除惰性标记来揭示关键注意力头以缓解幻觉
机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)) ; Huawei Technologies Co., Ltd.(华为技术有限公司) ; The Hong Kong Polytechnic University(香港理工大学) ; Nanyang Technological University(南洋理工大学)
AI总结 本文通过分析LVLMs的注意力机制,揭示了词汇劫持现象,提出HABI方法定位惰性标记,并引入NHAR指标评估其影响,最终提出HAVAE方法增强关键注意力头以减少幻觉。
Comments Accepted by ACL 2026 Main