UniComp: A Unified Evaluation of Large Language Model Compression via Pruning, Quantization and Distillation
UniComp: 通过剪枝、量化和蒸馏对大型语言模型压缩的统一评估
机构 * University College London(伦敦大学学院) ; University of Tübingen(图宾根大学) ; Tübingen AI Center(图宾根人工智能中心)
专题命中 安全评测 :safety(abstract);分类 cs.LG
AI总结 提出UniComp框架,统一评估剪枝、量化和知识蒸馏三种压缩方法,从性能、可靠性和效率三个维度在40个数据集上分析,发现知识偏差、性能与可靠性解耦以及任务特定校准可提升推理性能。
Comments 18 pages, 5 figures, 18 tables