Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
动态图变换器中的注意力分散:诊断与可迁移的修复
机构 * Beijing Institute of Technology(北京理工大学) ; University of Toronto(多伦多大学) ; Hong Kong Baptist University(香港 Baptist 大学)
专题命中 诊断辅助 :diagnosis(title,abstract);分类 cs.LG
AI总结 本文识别动态图变换器在时间分布偏移下的注意力分散问题,并提出可迁移的差分注意力机制以提升性能,尤其在高偏移数据集上表现显著。