Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination
因果证据:模态冲突幻觉中的注意力头不平衡
机构 * National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室) ; School of Artificial Intelligence(人工智能学院)
专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.AI
AI总结 本文研究了多模态大语言模型在模态冲突中产生幻觉的原因,通过分析注意力头的因果作用,发现驱动幻觉的头部分布更广且权重更大,而抑制幻觉的头部集中在少量重要头部,提出MACI方法在减少幻觉的同时保持准确性。