Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling
Dense2MoE：通过统一剪枝和升级推动设备端LLM的帕累托前沿
机构 * Li Auto ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
AI总结 提出Dense2MoE框架，通过层融合升级（LF-UC）统一剪枝和升级，将密集LLM高效转换为设备端MoE模型，在推理延迟与准确性之间取得更优帕累托前沿。
Comments 19 pages
