AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention
AWARe:基于激活加权的自适应保留缓解灾难性遗忘
机构 * School of Software Technology, Zhejiang University(浙江大学软件学院) ; College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院) ; School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院) ; Graduate School of Information Science, Hokkaido University(北海道大学信息科学研究院)
AI总结 针对多模态大语言模型微调时的灾难性遗忘问题,提出无需修改架构的AWARe方法,通过激活加权控制参数更新,在保留上游能力的同时提升下游性能。