AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
MemGym: 一种长时间跨度的记忆环境用于LLM智能体
机构 * Rutgers University（罗杰斯大学） ； Capital One ； Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院）
专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本文提出MemGym，一种用于评估LLM智能体记忆能力的基准测试环境，通过统一现有智能体 gym 和内部记忆基础管道，提供一个记忆推理接口。MemGym 包含五个评估赛道，涵盖四个智能体领域，能够独立评估记忆性能，排除推理、检索和工具使用能力的干扰。
MeMo：记忆作为模型
机构 * Institute of Data Science, National University of Singapore（数据科学研究院，新加坡国立大学） ； Integrative Sciences and Engineering Programme, NUSGS（整合科学与工程计划，NUSGS） ； Agency for Science, Technology, Research (A*STAR)（科技研究局（A*STAR）） ； Department of Computer Science, National University of Singapore（计算机科学系，新加坡国立大学） ； University of Tokyo（东京大学） ； Liquid AI ； CSAIL, Massachusetts Institute of Technology（CSAIL，麻省理工学院） ； AI Singapore ； Singapore-MIT Alliance for Research and Technology Centre, Singapore（新加坡-麻省理工学院研究与技术中心，新加坡）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 本文提出MeMo框架，通过在不改变LLM参数的情况下将新知识编码到专用记忆模型中，解决了大型语言模型在需要及时领域特定信息的应用中的问题，同时具备处理复杂跨文档关系、抗检索噪声、避免灾难性遗忘、无需访问LLM权重或输出logits以及检索成本与语料库大小无关等优势。
Comments MeMo augments any LLM with up-to-date or domain-specific knowledge via a trained memory model, avoiding costly retraining, mitigating catastrophic forgetting, and remaining robust to retrieval noise
APEX：自主策略探索用于自演化大语言模型代理
机构 * National University of Singapore（新加坡国立大学） ； Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出APEX，一种用于自演化大语言模型代理的自主策略探索方法，通过构建和维护显式的策略空间来解决探索崩溃问题，并在多个基准测试中表现出色。
Mem-$π$: 通过学习何时以及生成什么来实现自适应记忆
机构 * ServiceNow AI Research（ServiceNow AI研究院） ； Mila -- Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； CIFAR AI Chair（CIFAR人工智能主席）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 Mem-$π$ 通过学习在何时以及生成什么来实现自适应记忆，利用专门的语言或视觉-语言模型生成上下文特定的指导，从而在多种代理任务中优于基于检索和先前RL优化的记忆基线。
Comments Work in progress
Stage-Audit: 用于跨维基表的可审计源前沿发现
机构 * Megagon Labs（梅加贡实验室）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL
AI总结 本文研究了LLM整理的表格可能存在的源不一致问题，提出Stage-Audit方法通过分离curator和auditor的写权限、行级源引用门禁以及12项审计分类学，提高了源前沿的精度和F1值，同时保持了每行的源可追溯性。
Comments 9 pages, 2 figures, 3 tables. Accepted at the ACM CAIS 2026 Workshop on AI Agents for Discovery in the Wild
CALMem : 会话AI的应用层双记忆
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 针对大型语言模型固定上下文窗口限制会话连续性的问题，CALMem提出了一种应用层双记忆架构，通过结合事件记忆层和语义记忆层，实现无限制的有效上下文容量，无需修改底层模型。
Memory Grafting: 通过离线条件记忆实现语言模型预训练的扩展
机构 * Tsinghua University（清华大学）
专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL
AI总结 本文提出Memory Grafting方法，通过利用冻结的隐藏状态作为条件n-gram记忆，实现语言模型预训练的扩展，通过离线处理和高效检索机制提升模型容量，实验表明其在不同规模下均优于MoE和Vanilla Engram基线。
Comments 25 pages, 12 figures, 5 tables
Auto-Dreamer：学习离线记忆巩固用于语言智能体
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California San Diego（加州大学圣地亚哥分校）
专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL
AI总结 本文提出Auto-Dreamer，一种学习离线记忆巩固方法，用于语言智能体，通过分离快速会话记忆获取与慢速跨会话巩固过程，提升智能体在多个任务流中的记忆整合与知识复用能力。
Comments Preprint
回顾性稀疏注意力用于高效长上下文生成
机构 * Seoul National University（首尔国立大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。
模态解耦的在线递归编辑
机构 * Harbin Institute of Technology, Shenzhen, China.（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, China.（鹏城实验室） ； Huazhong University of Science and Technology, China（华中科技大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出M-ORE，一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器，通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销，从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时，减少长周期干扰，提升可靠性、通用性和局部性。
CODA：将Transformer块重写为GEMM-epilogue程序
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Princeton University（普林斯顿大学） ； Together AI ； Meta
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.LG
AI总结 本文提出CODA，一种将Transformer中的非注意力计算重写为GEMM-epilogue程序的GPU内核抽象，以提高训练效率和硬件利用效率。
ChatGPT与DeepSeek在解决编程任务中的对决
机构 * Centre for the Science of Learning & Technology (SLATE)（学习科学中心及技术（SLATE）） ； University of Bergen（卑尔根大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文评估了ChatGPT和DeepSeek在解决编程任务中的性能，发现ChatGPT在中等难度任务中表现更优，而两者在困难任务上均面临挑战。
EpiCache: 为资源受限环境下的长对话提供 episodic KV 缓存管理
机构 * Apple（苹果公司）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出 EpiCache，一种无需训练的 KV 缓存管理框架，用于在固定内存预算下实现长对话问答（LongConvQA）。该方法通过块级预填充限制缓存增长，并通过 episodic KV 压缩保留主题相关上下文，从而在多个 LongConvQA 评估基准上提升了准确性并减少了延迟和峰值内存使用。
Comments ICML 2026
OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； National University of Singapore（新加坡国立大学） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)
AI总结 本文提出一种基于多模态大语言模型（MLLM）的重排序框架，用于解决Ego4D事件记忆挑战2026中的自然语言查询和目标步 tracks，通过结合现有定位模型OSGNet的候选片段和MLLM的视频-语言推理能力，提升时间片段的定位精度。
Comments Champion solution for the Natural Language Queries and GoalStep tracks of the Ego4D Challenge at the CVPR EgoVis Workshop 2026
基于检索的长上下文翻译用于文化图像描述：佛罗里达大学Gators参加2026年美洲自然语言处理共享任务的提交
机构 * University of Florida（佛罗里达大学）
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出了一种基于检索的长上下文翻译方法，用于文化图像描述，通过两阶段流程生成西班牙语中间描述，再利用检索增强的多示例提示生成目标语言描述，显著提升了Bribri、Guaraní和Orizaba Nahuatl语言的描述生成性能，并在共享任务中获得冠军。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈