AMD

Mind the Heads: Topological Representation Alignment for Multimodal LLMs

注意头：多模态大语言模型的拓扑表示对齐

Davide Caffagni, Alberto Compagnoni, Federico Melis, Sara Sarto, Pier Luigi Dovesi, Mark Granroth-Wilding, Marcella Cornia, Lorenzo Baraldi

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） ； University of Pisa（比萨大学） ； AMD Silo AI 纠错

AI总结 提出头级表示对齐（HeRA）方法，在注意力头级别强制跨模态对齐，通过对比目标匹配局部拓扑结构，选择对齐最差的头进行训练，有效提升视觉任务性能并减少幻觉。