University of Southern California（南加州大学）

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

基于混合分析-机器学习预测器的大语言模型推理延迟与能耗的多级建模

Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

机构 * University of Southern California（南加州大学） 纠错

AI总结 本研究提出混合三级框架HYMELL，结合分析建模与机器学习，在NVIDIA H100 GPU上对LLaMA 3 8B的预填充、解码阶段误差均低于5%，可实现LLM推理延迟与能耗的精准估计及能效优化。