Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
Octopus:无历史梯度正交化用于多模态大语言模型中的持续学习
机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(人工智能大模型关键实验室,人工智能研究院,上海交通大学) ; vivo Mobile Communication Co., Ltd.(vivo移动通信有限公司)
AI总结 Octopus提出一种基于无历史梯度正交化的方法,通过两阶段微调策略平衡持续学习中的可塑性与稳定性,实验表明其在UCIT数据集上性能优于现有最佳方法。