Attention as Frustrated Synchronization
注意力作为受挫同步
发表机构 * Cognitive Science Program(认知科学项目) ; Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院) ; Indiana University Bloomington(印第安纳大学布卢明顿分校)
专题命中 其他科学智能 :受挫同步网络,与物理同步理论相关
AI总结 提出受挫同步网络(FSN),通过复值耦合核和延迟项实现基于同步的注意力机制,在百万参数级字符级文本和代码任务上优于调优的RoPE-SwiGLU Transformer。
Comments 25 pages, 4 figures. Preliminary report at the 1-10M parameter scale