Zhejiang University（浙江大学）

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

AugServe：用于增强型大语言模型推理服务的自适应请求调度

Ying Wang, Zhen Jin, Jiexiong Xu, Wenhai Lin, Yiquan Chen, Wenzhi Chen

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

AI总结 研究针对增强型大语言模型推理服务效率问题及现有系统挑战，提出AugServe框架，采用两阶段自适应请求调度策略并动态调整令牌批处理机制，有效提升了有效吞吐量并减少首次令牌时间。