Together AI

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

CODA：将Transformer块重写为GEMM-epilogue程序

Han Guo, Jack Zhang, Arjun Menon, Driss Guessous, Vijay Thakkar, Yoon Kim, Tri Dao

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Princeton University（普林斯顿大学） ； Together AI ； Meta 纠错

AI总结 本文提出CODA，一种将Transformer中的非注意力计算重写为GEMM-epilogue程序的GPU内核抽象，以提高训练效率和硬件利用效率。