ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models
ConMeZO:适应性下降方向采样用于大语言模型的梯度自由微调
机构 * Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系) ; Amazon AGI Labs(亚马逊人工智能实验室)
AI总结 ConMeZO通过适应性方向采样加速大语言模型微调的收敛速度,保留低内存足迹,比MeZO快2倍。