EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation
EdgeRazor: 一种通过混合精度量化感知蒸馏实现大语言模型轻量化的框架
机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Microsoft AI（微软AI）
AI总结 本文提出EdgeRazor框架，通过混合精度量化感知蒸馏方法，在资源受限设备上部署大语言模型，实现了更高的压缩比和更高效的性能。
