FlowCompile: An Optimizing Compiler for Structured LLM Workflows
FlowCompile: 一种用于结构化大语言模型工作流的优化编译器
机构 * UMass Amherst(马萨诸塞大学阿姆赫斯特分校) ; MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
AI总结 本文提出FlowCompile,一种优化结构化大语言模型工作流的编译器,通过编译时设计空间探索生成高质量可重用配置集,实现准确率与延迟的平衡,实验表明其在多种工作流和基准测试中表现优异,速度提升达6.4倍。