CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning
CRAM:面向多模态持续指令调优的质心路由与自适应MoE
发表机构 * School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院) ; State Key Laboratory of Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室)
AI总结 提出CRAM方法,通过将任务特定模式隔离到独立模块、自适应秩实例化动态分配参数、质心路由激活现有专家以及正交惩罚约束更新方向,解决了多模态持续指令调优中任务竞争导致遗忘和参数效率低下的问题。