AMD

Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving

双池令牌预算路由：用于高效可靠LLM服务的低成本方案

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

机构 * vLLM Semantic Router Project（vLLM语义路由项目） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） ； Mila（米拉研究所） ； AMD（超威半导体公司） 纠错

AI总结 本文提出双池令牌预算路由机制，通过区分短上下文和长上下文请求，提高LLM服务的效率和可靠性，减少GPU小时和预emption率，提升响应速度。