LaplacianFormer:Rethinking Linear Attention with Laplacian Kernel
LaplacianFormer:重新思考线性注意力与拉普拉斯核
机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学) ; China Electronics Data Corporation(中国电子数据公司) ; Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院) ; The Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology(计算能力网络与信息安全重点实验室,教育部,山东计算机科学中心,齐鲁大学) ; Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science(山东省计算能力互联网与服务计算重点实验室,山东省计算机科学基础研究中心) ; Spatialtemporal AI(时空人工智能)
AI总结 LaplacianFormer通过引入拉普拉斯核替代softmax,解决高分辨率视觉任务中注意力机制的二次复杂度问题,提升表达能力并优化计算效率。