MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference
MemBoost:一种面向成本感知的LLM推理的内存增强框架
机构 * University of Cambridge(剑桥大学) ; ETH Zurich(苏黎世联邦理工学院)
AI总结 提出MemBoost框架,通过轻量模型重用历史答案和检索支持信息,并选择性将困难查询路由到强模型,以降低LLM推理成本,同时保持回答质量。
Comments ICML MemFM 2026 Workshop