Functional Attention: From Pairwise Affinities to Functional Correspondences
函数注意力:从成对亲和性到函数对应
机构 * Technical University of Munich, Germany(慕尼黑技术大学,德国) ; Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心(MCML),德国) ; PIXL, Department of Computer Science, University of Oxford, United Kingdom(牛津大学计算机科学系PIXL,英国) ; ECE, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校电子与计算机工程系,美国)
AI总结 提出函数注意力机制,将注意力重新解释为自适应基之间的函数对应,通过结构化线性算子替代softmax亲和性,实现紧凑、可泛化、分辨率不变的全局依赖表示,在PDE求解、3D分割和回归等算子学习任务中达到最先进性能。
Comments 26 pages, 12 figures. Accepted at the 43rd International Conference on Machine Learning (ICML 2026)