AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments
AdaMeZO:一种用于LLM微调的Adam风格零阶优化器,无需维护动量
机构 * Shenzhen Research Institute of Big Data(深圳大数据研究院) ; The Chinese University of Hong Kong-Shenzhen(香港中文大学(深圳)) ; Shenzhen Loop Area Institute(深圳河套学院)
AI总结 本文提出AdaMeZO,一种基于Adam风格的零阶优化器,通过估计一阶和二阶动量而不存储在内存中,有效减少GPU内存需求,同时在微调LLM时表现出色,比MeZO快70%。