Pythia: Exploiting Workflow Predictability for Efficient Agent-Native LLM Serving
Pythia:利用工作流可预测性实现高效的智能体原生LLM服务
专题命中 工作流自动化 :agent(title,abstract);workflow(title,abstract);agentic(abstract);multi-agent(abstract)
AI总结 本文提出Pythia系统,通过在服务层简单接口捕获工作流语义,解决智能体服务中的缓存命中率低、资源竞争和队列延迟问题,提升吞吐量和任务完成时间。