Compact LLM Deployment and World Model Assisted Offloading in Mobile Edge Computing
紧凑型大语言模型部署与世界模型辅助的卸载在移动边缘计算中
专题命中 通用世界模型 :world model(title,abstract);world model(title,abstract);world-model(abstract);world-model(abstract)
AI总结 本文研究了移动边缘计算网络中紧凑型大语言模型(LLM)部署和世界模型辅助的推断卸载问题,提出了一种边缘紧凑型LLM部署(ECLD)框架,结合结构化剪枝、低比特量化和知识蒸馏来构建可部署于边缘的LLM变种,并通过四个互补指标评估这些模型。基于这些紧凑模型,提出了一个MEC卸载优化问题,旨在最小化长期平均推断延迟,同时满足设备能耗预算和LLM特定的服务质量约束。为了解决未知且时间变化的网络动态问题,开发了一种世界模型-近端策略优化(PPO)算法,该算法在原策略优化算法中加入了学习的递归世界模型,以提供改进的价值目标和短时间想象回放。
Comments 16 pages, 10 figures