Attention Sinks in Diffusion Transformers: A Causal Analysis
扩散变换器中的注意力 sinks:一种因果分析
机构 * Department of Computer Science, Tulane University, New Orleans, LA, USA(路易斯安那州新奥尔良大学计算机科学系)
专题命中 偏好对齐 :alignment(abstract,abstract_cn)
AI总结 研究探讨了扩散变换器中注意力 sinks 的作用,通过动态识别并抑制注意力接收者,发现其对文本-图像对齐和偏好代理影响有限,但强干预下出现特定边界。