Correct When Paired, Wrong When Split: Decoupling and Editing Modality-Specific Neurons in MLLMs
配对时正确,分离时错误:多模态大语言模型中模态特定神经元的解耦与编辑
机构 * School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院) ; School of Software, Yunnan University(云南大学软件学院) ; National University of Singapore(新加坡国立大学) ; School of Engineering, Yunnan University(云南大学工程学院)
专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 针对多模态大语言模型知识编辑中存在的解耦失败问题,提出DECODE方法,通过显式解耦和定位模态特定神经元组,实现跨模态触发下的有效知识更新。
Comments 18 pages, 11 figures