FMplex: Model Virtualization for Serving Extensible Foundation Models
FMplex: 用于服务可扩展基础模型的模型虚拟化
机构 * University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校) ; University of California Los Angeles(加州大学洛杉矶分校)
AI总结 提出FMplex系统,通过将基础模型作为虚拟化层实现多任务共享,结合批感知公平队列调度器,在7个基础模型和92个下游任务上降低延迟达80%,提升任务容量6倍。