Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods
为冻结的编码器-解码器语言模型训练持久内存:六种架构方法
机构 * Inha University in Tashkent, Uzbekistan(乌兹别克斯坦塔什克ENT的Inha大学)
专题命中 长上下文与记忆 :LLM(abstract);language model(abstract);分类 cs.AI、cs.LG
AI总结 本文探讨了在冻结编码器-解码器语言模型中通过持久内存实现连续潜在空间的可行性,提出六种架构方法,通过训练适配器实现对话学习,验证了容量作为关键设计参数的重要性。