SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters
SAGA:面向GPU集群的AI代理推理工作流原子调度
机构 * The University of Hong Kong(香港大学) ; Brain Investing Limited(脑投有限公司) ; Stellaris AI Limited(Stellaris AI有限公司)
专题命中 工作流自动化 :agent(title,abstract);AI agent(title,abstract);workflow(title,abstract);分类 cs.AI、cs.LG
AI总结 SAGA通过工作流级调度减少任务完成时间1.64倍,提升GPU内存利用率1.22倍,同时在多租户环境下达成99.2%的服务水平目标,但牺牲了30%的峰值吞吐量。
Comments 15 pages, 3 figures, 11 tables. Accepted to HPDC '26 (35th International Symposium on High-Performance Parallel and Distributed Computing), July 13-16, 2026, Cleveland, OH, USA