RequestRouter: Request-Boundary Routing for Efficient Single-GPU LLM Inference
ModeSwitch-LLM：单GPU上跨模式LLM推理的轻量级阶段感知控制器
机构 * New York University Abu Dhabi（纽约大学阿布扎克分校） ； New York University（纽约大学） ； United States（美国）
AI总结 提出一种轻量级请求边界控制器ModeSwitch-LLM，通过基于工作负载特征在FP16、量化、推测解码等推理模式间路由请求，在单GPU上实现平均延迟加速2.10倍、每token能耗降低51.7%，且精度几乎无损。
Comments 5 pages, 2 figures. Accepted at the 2nd International Workshop on Low Carbon Computing (LOCO 2026), Lancaster University, United Kingdom, 10-11 September 2026. Part of the LOCO 2026 proceedings, arXiv:2608.02072 (https://arxiv.org/abs/2608.02072)
