MeMo: Memory as a Model
MeMo:记忆作为模型
机构 * Institute of Data Science, National University of Singapore(数据科学研究院,新加坡国立大学) ; Integrative Sciences and Engineering Programme, NUSGS(整合科学与工程计划,NUSGS) ; Agency for Science, Technology, Research (A*STAR)(科技研究局(A*STAR)) ; Department of Computer Science, National University of Singapore(计算机科学系,新加坡国立大学) ; University of Tokyo(东京大学) ; Liquid AI ; CSAIL, Massachusetts Institute of Technology(CSAIL,麻省理工学院) ; AI Singapore ; Singapore-MIT Alliance for Research and Technology Centre, Singapore(新加坡-麻省理工学院研究与技术中心,新加坡)
AI总结 本文提出MeMo框架,通过在不改变LLM参数的情况下将新知识编码到专用记忆模型中,解决了大型语言模型在需要及时领域特定信息的应用中的问题,同时具备处理复杂跨文档关系、抗检索噪声、避免灾难性遗忘、无需访问LLM权重或输出logits以及检索成本与语料库大小无关等优势。
Comments MeMo augments any LLM with up-to-date or domain-specific knowledge via a trained memory model, avoiding costly retraining, mitigating catastrophic forgetting, and remaining robust to retrieval noise