MOONSHOT : A Framework for Multi-Objective Pruning of Vision and Large Language Models
MOONSHOT:一种用于视觉和大语言模型多目标剪枝的框架
机构 * Google(谷歌) ; OpenAI ; Massachusetts Institute of Technology(麻省理工学院)
专题命中 效率与部署 :large language model(title);language model(title);post-training(abstract);分类 cs.LG
AI总结 MOONSHOT通过联合优化层重建误差和训练损失的二阶泰勒近似,提升视觉和大语言模型在无重新训练下的压缩效果,显著提升模型性能。