Intel（英特尔）

MOSAIC: Efficient Mixture-of-Agent Scheduling via Adaptive Aggregation and Inference Concurrency

MOSAIC: 通过自适应聚合和推理并发的高效混合智能体调度

Saptarshi Mitra, Yifan Zhang, Rachid Karami, Phyo Pyae Moe Aung, Nazmul Takbir, Sreetama Sarkar, Souvik Kundu, Sitao Huang

机构 * University of California, Irvine, USA（加州大学 Irvine 分校） ； University of Southern California, Los Angeles, USA（南加州大学洛杉矶分校） ； Intel, USA（英特尔公司） 纠错

AI总结 针对混合智能体系统在有限GPU资源下的负载不均衡问题，提出基于整数线性规划调度器和置信度感知自适应聚合的MOSAIC框架，实现最高2.5倍专家阶段、4.23倍聚合阶段和1.7~2.3倍端到端加速，精度损失在0.1个百分点内。

Comments 13 pages, 8 main pages