Cisco（思科）

Sangam: Efficiently Serving Diffusion LLMs with the AR Stack

Sangam：使用AR堆栈高效服务扩散语言模型

Nitin Kedia, Saurabh Agarwal, Myungjin Lee, Aditya Akella

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Cisco Research（思科研究） 纠错

AI总结 研究扩散语言模型服务问题，提出Sangam系统，用赤字令牌预算调度器实现摊还无停顿调度，采用混合服务策略缓解预填充资源不足，揭示服务设计空间受预填充-解码干扰等因素影响。