MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
MPK:一种用于将张量程序转化为巨型内核的编译器和运行时系统
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Tsinghua University(清华大学) ; NVIDIA ; University of Michigan(密歇根大学) ; Independent Researcher(独立研究者) ; Peking University(北京大学)
AI总结 提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。
Comments 14 pages