Technion - Israel Institute of Technology（以色列理工学院）

Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

视觉-语言模型中提示诱导幻觉的机制

William Rudman, Michal Golovanevsky, Dana Arad, Yonatan Belinkov, Ritambhara Singh, Carsten Eickhoff, Kyle Mahowald

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Brown University（布朗大学） ； Technion（技术学院） ； University of Tübingen（图宾根大学） ； Harvard University（哈佛大学） 纠错

AI总结 研究揭示了视觉-语言模型在提示诱导幻觉中的机制，通过分析三种模型发现特定注意力头可显著减少幻觉现象，揭示了模型对提示的响应差异。

Comments ACL 2026 Main

Why Fine-Tuning Encourages Hallucinations and How to Fix It

为何微调会鼓励幻觉以及如何解决

Guy Kaplan, Zorik Gekhman, Zhen Zhu, Lotem Rozner, Yuval Reif, Swabha Swayamdipta, Derek Hoiem, Roy Schwartz

机构 * Hebrew University of Jerusalem（海法大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Technion – Israel Institute of Technology（技术学院 – 以色列理工学院） ； University of Southern California（南加州大学） 纠错

AI总结 本文探讨微调导致幻觉的原因，提出基于自蒸馏的微调方法以减少幻觉，通过抑制输出分布漂移提升事实学习效果。

Follow the Flow: On Information Flow Across Textual Tokens in Text-to-Image Models

跟随流动：文本到图像模型中文本令牌间信息流动的研究

Guy Kaplan, Michael Toker, Yuval Reif, Yonatan Belinkov, Roy Schwartz

机构 * Hebrew University of Jerusalem（海法大学） ； Technion – Israel Institute of Technology（技术学院 – 以色列理工学院） ； Kempner Institute, Harvard University（哈佛大学凯普纳研究所） 纠错

AI总结 本文研究文本到图像模型中令牌表示间的信息分布，发现信息常集中于少数几个令牌，且令牌间存在孤立与交互影响，改进编码可提升生成质量。

Comments Accepted to ACL 2026