Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation
关键位置引导:基于令牌级视觉敏感度引导的LVLMs幻觉缓解
机构 * University of Science and Technology of China(中国科学技术大学)
AI总结 提出令牌级视觉敏感度引导(TLVS)方法,通过提取令牌级引导向量并自适应调整引导强度,仅在关键解码步骤抑制幻觉,在多个基准上优于现有方法。