OPPO

POP: Prefill-Only Pruning for Efficient Large Model Inference

POP：仅预填充剪枝用于高效大模型推理

Junhui He, Zhihui Fu, Jun Wang, Qingan Li

机构 * Wuhan University（武汉大学） ； OPPO Research Institute（OPPO研究院） 纠错

AI总结 本文提出POP剪枝方法，通过区分预填充和解码阶段，仅剪枝深度层以提升预填充效率，保留完整模型用于解码，实现1.37倍的预填充延迟提升且性能损失小。