语言大模型 / LLM

LPC-SM: Local Predictive Coding and Sparse Memory for Long-Context Language Modeling

LPC-SM：局部预测编码与稀疏记忆用于长上下文语言建模

Keqin Xie

机构 * Independent Researcher, Suzhou, China（独立研究者，苏州，中国） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LPC-SM架构，通过分离局部注意力、持久记忆、预测修正和运行时控制，改进长上下文语言模型的性能，实验显示其在不同任务中均取得显著提升。