P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats
P3-LLM:一种用于边缘LLM推理的NPU-PIM集成加速器,采用混合数值格式
机构 * Department of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程系) ; EAST-MICAS, KU Leuven(KU莱顿大学EAST-MICAS) ; Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
AI总结 本文提出P3-LLM,通过混合精度量化和PIM架构设计,提升边缘LLM推理效率,实现4.9倍以上的加速效果。
Comments Accepted to the 53rd IEEE/ACM International Symposium on Computer Architecture (ISCA), 2026