Above the Inner Loop: Exceeding Accelerate at LLM Prefill GEMM on the M1 AMX
在内循环之上:在M1 AMX上超越Accelerate的LLM预填充GEMM
专题命中 端到端驾驶 :occupancy(abstract)
AI总结 通过微基准测试发现M1 AMX的内循环受限于加载-发射,手写内核通过细粒度多线程面板和预打包权重两个部署级杠杆超越Accelerate,在12种LLM预填充GEMM形状上实现1.17倍到2.0倍的加速,且位精确。
Comments 11 pages, 2 figures, 6 tables. Code: https://github.com/dbhan08/inferc