Nanjing University（南京大学）

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

用于消费级设备上混合CPU - GPU大语言模型推理的自动张量调度

Yangyijian Liu, Hongyi Ye, Mingyang Li, Wu-jun Li

机构 * School of Computer Science, Nanjing University（南京大学计算机科学学院） 纠错

AI总结 研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题，提出ATSInfer系统，通过结合静态张量放置与负载感知动态传输及异步协调，在代表性平台评估，相比现有系统显著提升吞吐量、利用率等，改善本地大语言模型部署体验。