Geometry of Lightning Self-Attention: Identifiability and Dimension
闪电自注意力的几何:可识别性与维度
发表机构 * University of Toronto(多伦多大学) ; Royal Institute of Technology (KTH)(皇家理工学院(KTH))
AI总结 本文利用代数几何工具,分析了无归一化自注意力网络的函数空间几何,给出了深层注意力的可识别性描述并计算了函数空间维度,同时刻画了单层模型的奇异点和边界点,并推测了归一化情形的结果。
Comments Accepted at ICLR 2025