PaceLLM: Brain-Inspired Large Language Models for Long-Context Understanding
PaceLLM:用于长上下文理解的脑启发式大语言模型
机构 * School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) ; The Chinese University of Hong Kong(香港中文大学)
专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL
AI总结 PaceLLM通过引入持久活动机制和皮层专家聚类,解决大语言模型在长上下文中的信息衰减和语义碎片化问题,提升多文档问答和无限基准任务性能,扩展上下文长度至200K tokens。
Comments Accepted by NeurIPS 2025