语言大模型 / LLM

Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning

Mamba-CL：在零空间中优化选择性状态空间模型用于持续学习

De Cheng, Yue Lu, Lingfeng He, Shizhou Zhang, Xi Yang, Nannan Wang, Xinbo Gao

机构 * Xidian University（西安电子科技大学） ； Northwestern Polytechnical University（西北工业大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 其他LLM ：foundation model(abstract)

AI总结 研究针对持续学习中灾难性遗忘问题，提出Mamba-CL框架，通过更新与先前任务特征子空间正交的参数微调曼巴模型核心，推导一致性约束并应用零空间投影，经实验验证该方法在抗遗忘方面优于现有技术。