IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents
IdleSpec: 通过投机规划利用空闲时间用于LLM代理
机构 * KAIST(韩国科学技术院) ; Amazon AGI(亚马逊人工智慧实验室) ; Together AI
专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 本文提出IdleSpec,一种利用空闲时间提升LLM代理性能的方法,通过在空闲期间生成计划候选并减少延迟开销,从而在多种代理场景中显著提高性能。