SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference
SALAAD: 基于ADMM的稀疏低秩适配用于大语言模型推理
机构 * ETH Zurich(苏黎世联邦理工学院) ; Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ; École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
AI总结 提出SALAAD框架,通过增广拉格朗日方法在训练中诱导稀疏低秩结构,实现模型容量灵活控制,降低部署内存且无需重训。