语言大模型 / LLM

Memory in the Loop: In-Process Retrieval as Extended Working Memory for Language Agents

循环中的记忆：进程内检索作为语言智能体的扩展工作记忆

Yusuf Khan, Carlo Lipizzi

机构 * Stevens（史蒂文斯理工学院） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究语言智能体中记忆进入循环的情况，通过对比网络存储和进程内存储的延迟，利用扩展思维理论提出进程内检索可作扩展工作记忆，经实验验证能提升召回率，还重新定位了操作瓶颈。

Sparse Layers are Critical to Scaling Looped Language Models

稀疏层对扩展循环语言模型至关重要

Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

机构 * USC Information Sciences Institute（美国南加州大学信息科学研究所） ； Netflix（netflix公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究比较了带循环和不带循环的MoE和标准Transformer，发现循环MoE模型在扩展性上优于标准模型，且循环模型在计算质量权衡中具有更好的早退性能。

TS-Memory: Plug-and-Play Memory for Time Series Foundation Models

TS-Memory: 时间序列基础模型的即插即用记忆模块

Sisuo Lyu, Siru Zhong, Tiegang Chen, Weilin Ruan, Qingxiang Liu, Taiqiang Lv, Qingsong Wen, Raymond Chi-Wing Wong, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Tencent（腾讯） ； Squirrel Ai Learning ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出参数化记忆蒸馏方法TS-Memory，通过轻量级记忆适配器增强冻结的时间序列基础模型，在分布偏移下实现无检索的高效零样本预测，显著提升点预测和概率预测性能。

Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression

自回归语言模型中的多项式上下文截断敏感性：KV缓存压缩的序列Wyner-Ziv界

Munsik Kim

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究自回归语言模型中在线KV缓存压缩的率失真极限，将其建模为序列Wyner-Ziv信源编码，发现下一词分布对上下文截断的敏感性呈多项式衰减，并推导了仅后缀缓存策略的每词内存需求。

Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

类人短暂记忆提升语言学习但损害变压器语言模型的阅读时间预测

Abishek Thamma, Micha Heilbron

机构 * University of Amsterdam, Amsterdam Brain and Cognition（阿姆斯特丹大学，阿姆斯特丹脑与认知中心） ； Vrije Universiteit Amsterdam, Department of Informatics（阿姆斯特丹自由大学，信息学院） ； Max Planck Institute for Psycholinguistics（马克斯·普朗克心理学语言学研究所） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL；LLM(comments)

AI总结 研究探讨了短暂记忆对语言学习和阅读时间预测的影响，发现短暂记忆提升语言学习但损害阅读时间预测，挑战了传统认知科学观点。

Comments v2: Revised after peer review. Accepted for publication in Transactions of the Association for Computational Linguistics v3: Added link to code repository. Code: https://github.com/drhanjones/fmt-llm

Journal ref Transactions of the Association for Computational Linguistics 14 (2026) 877-892

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

Nous：一种用于长期智能体记忆的预测世界模型

Pranav Singh

机构 * Indian Institute of Technology Ropar（印度理工学院罗巴尔分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Nous记忆架构，基于知识即预测而非存储的原则，通过贝叶斯更新维护概率分布，以信息论惊喜度评分并记录信念变化，在LoCoMo基准上取得优于对比方法的F1分数。

Comments Preprint. 10 pages, 1 figure, 6 tables

OOPS: Automated generation of REST API specification via LLMs

OOPS: 通过大语言模型自动生成REST API规范

Hao Chen, Yunchun Li, Chen Chen, Fengxu Lin, Wei Li

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出OOPS方法，利用LLM对服务器代码进行静态分析，通过端点方法提取和OAS生成两步工作流，自动生成高质量OpenAPI规范，无需技术特定规则或人工干预。

Journal ref Journal of Systems and Software 239 (2026) 112914

Rethinking Genomic Modeling Through Optical Character Recognition

通过光学字符识别重新思考基因组建模

Hongxin Xiang, Pengsen Ma, Yunkang Cao, Di Yu, Haowen Chen, Xinyu Yang, Xiangxiang Zeng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OpticalDNA框架，将DNA渲染为视觉布局，利用视觉语言模型进行OCR式基因组理解，实现高保真压缩和长序列高效处理，在450k碱基序列上以近20倍更少有效token超越基线模型。

Comments Accepted by ICML 2026

Patch-based Memory Gate Model in Time Series Foundation Model

MOMEMTO：基于补丁的记忆门模型在时间序列基础模型中的应用

Samuel Yoon, Jongwon Kim, Juyoung Ha, Young Myoung Ko

机构 * Pohang University of Science and Technology（浦项科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

AI总结 MOMEMTO通过基于补丁的记忆模块改进时间序列基础模型，有效缓解过度泛化问题，提升异常检测性能，尤其在少样本学习中表现突出。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

TEPA: Revoking Stale Memories for Conflict-Robust Language Agents

TEPA：撤销过时记忆以构建冲突鲁棒的语言智能体

Yan Zhou, Yue Ouyang, Kaiyang Zheng, Suncheng Xiang

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 该研究针对语言智能体的记忆污染问题，提出TEPA可撤销证据记忆机制，经多场景实验证实其能有效避免过时记忆干扰，性能优于仅追加、最后写入获胜等机制。

Comments 14 pages, 9 figures; includes supplementary material. Preprint

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction

CTR-Sink：用于点击率预测的语言模型中的注意力汇聚点

Zixuan Li, Binzong Geng, Jing Xiong, Yong He, Yuxuan Hu, Jian Chen, Dingwei Chen, Xiyu Chang, Ngai Wong, Liang Zhang, Linjian Mo, Chengming Li, Chuan Yuan, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（神经信息处理教育部重点实验室，自动化研究所，中国科学院） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（香港城市大学） ； Sun Yat-sen University（中山大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 针对用户行为序列与语言模型预训练文本之间的结构差异导致的语义碎片化问题，提出CTR-Sink框架，通过引入行为级注意力汇聚点并动态调节注意力聚合，提升点击率预测性能。

Comments Accepted by the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). The source code of this paper has been made publicly available at https://github.com/UGUESS-lzx/CTR-SINK

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；pretraining(abstract)；分类 cs.LG

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

Boosting Knowledge Graph Foundation Models via Enhanced Negative Sampling

通过增强负采样提升知识图谱基础模型

Yinan Liu, Wenjin Xu, Zhiyuan Zha, Xiaochun Yang, Bin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出自适应负采样方法KMAS，通过动态调整困难负三元组比例，增强知识图谱基础模型在零样本补全任务中的性能。

CoBit: Language Modeling with Bitstream Diffusion

CoBit: 基于比特流扩散的语言建模

Georgios Batzolis, Mark Girolami, Luca Ambrogioni

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出CoBit模型，将文本建模为固定宽度二进制比特流上的连续扩散过程，采用匹配滤波残差参数化和基于熵率门控的朗之万校正采样器，在LM1B和OpenWebText上达到接近自回归模型的生成困惑度，并消除词汇表缩放瓶颈。

Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions

长上下文与检索增强语言模型中证据利用的四条件诊断协议

Haizhou Xia

机构 * University of Western Ontario（西方大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出四条件证据可用性协议，通过ONCU估计器分离无证据、全上下文、检索证据和Oracle证据四种条件下的模型表现，诊断长上下文与检索增强语言模型的证据利用瓶颈。

Comments 46 pages, 37 tables, 1 figure

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

信息丰度悖论：长上下文训练会破坏参数化知识

Arda Uzunoglu, Benjamin Van Durme, Daniel Khashabi

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出信息丰度悖论，发现长上下文训练会使模型减少参数化知识编码、增加对上下文的依赖，预训练和微调中均存在性能先升后降或鲁棒性降低的现象，表明近无穷大上下文缩放并非仅靠更多数据。

WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance

WebCoach：具有跨会话记忆引导的自我进化网络代理

Genglin Liu, Shijie Geng, Sha Li, Hejie Cui, Sarah Zhang, Xin Liu, Tianyi Liu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对网页代理跨会话学习不足问题，提出WebCoach框架，通过三个关键组件赋予代理跨会话记忆，可长期规划与自我进化，在WebVoyager基准测试中提升了不同LLM backbone的代理性能。

Comments 18 pages

Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs

评估检索增强生成与长上下文输入用于电子健康记录临床推理的效果

Skatje Myers, Dmitriy Dligach, Timothy A. Miller, Samantha Barr, James Landefeld, Yanjun Gao, Matthew Churpek, Anoop Mayampurath, Majid Afshar

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Loyola University Chicago（芝加哥洛约拉大学） ； Boston Children’s Hospital Harvard Medical School（波士顿儿童医院哈佛医学院） ； University of Colorado-Anschutz（科罗拉多大学安舒茨分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估检索增强生成（RAG）用于电子健康记录临床推理的效果，定义三个基于EHR的任务，用真实住院临床记录评估三种大语言模型，发现RAG在成像程序和抗生素时间线任务中令牌效率高，诊断生成任务较具挑战性，RAG是临床任务的有效方法。

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

个性化陷阱：用户记忆如何改变大语言模型的情感推理

Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究用户记忆如何导致大语言模型在情感推理中产生系统性偏差，发现高绩效模型对优势背景用户的情感解读更准确，个性化机制可能嵌入社会等级。

Comments 19 pages 5 figures

Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference

KV缓存的自适应过滤：诊断和纠正大语言模型推理中的结构角色偏差

Soumil Mandal

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型推理中KV缓存问题，通过反事实实验确定抑制KEY令牌是最佳过滤方法，采用无重新训练、基于角色的条件分配缩小与H2O方法差距，15MB线性角色探测器提供标签且推理成本可忽略。

Comments 6 pages, 2 figures, 5 tables

Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

基于视觉基础模型的对抗鲁棒小样本异常检测

Akib Mohammed Khan, Bartosz Krawczyk

机构 * Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)

AI总结 该研究针对视觉基础模型的小样本异常检测场景，提出无需训练骨干网络的对抗鲁棒方法，经实验在多数据集上提升了对抗检测性能，且保持较高干净准确率。

Comments Accepted to BMVC 2026

MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

MemAgent：基于多轮对话强化学习的记忆智能体重构长上下文大语言模型

Hongli Yu, Tinghong Chen, Jiangtao Feng, Jiangjie Chen, Weinan Dai, Qiying Yu, Ya-Qin Zhang, Wei-Ying Ma, Jingjing Liu, Mingxuan Wang, Hao Zhou

机构 * ByteDance Seed（字节跳动种子期） ； Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出MemAgent智能体工作流，结合扩展的DAPO算法优化长文本任务，实现从8K到3.5M上下文的高效外推，在RULER测试中表现优异。

Comments Accepted to ICLR 2026 as an Oral presentation. OpenReview: https://openreview.net/forum?id=k5nIOvYGCL Project page: https://memagent-sialab.github.io/

Journal ref International Conference on Learning Representations (ICLR), 2026

Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics

连续知识更新在大语言模型系统中：通过多时间尺度记忆动态学习

Andreas Pattichis, Constantine Dovrolis

机构 * The Cyprus Institute, Nicosia, Cyprus（塞浦路斯研究所，尼科西亚，塞浦路斯） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于多时间尺度动态的记忆机制，通过耦合内部变量实现知识的持续更新与学习，重构外部记忆作为学习的基础 substrates。

Comments Accepted as a poster at the ICML 2026 Workshop "Continual Adaptation at Scale: Towards Sustainable AI" (CATS@ICML 2026). 9 pages, 2 figures

AttriMem: Attribution-Guided Process Feedback for Agent Memory Construction

AttriMem：用于智能体记忆学习的归因引导过程反馈

Qinfeng Li, Yuntai Bao, Xinyan Yu, Hongze Chen, Yanming Liu, Huifeng Zhu, Yier Jin, Jintao Chen, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究针对LLM智能体有效构建记忆难的问题，提出AttriMem框架，通过用token级对最终答案贡献的局部奖励增强全局结果奖励，以学习记忆构建策略，实验表明该框架性能优于多种基线，具有泛化性且稳定了RL优化。

Experience Memory Graph: One-Shot Error Correction for Agents

经验记忆图：智能体的一次性错误纠正

Wenjun Wang, Yuchen Fang, Fengrui Liu, Zibo Liang, Kai Zheng

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体在复杂任务中易出错且难恢复的问题，提出经验记忆图框架，将失败恢复转化为图匹配问题，训练时提取相关子图和路径存储，测试时指导智能体，实验证明其性能优于现有基线且无需测试时反复试验。

Comments 11 pages, 6 figures

SocietyBench: Forecasting Counterfactual Social-World Evolution

SocietyBench：反事实社会世界演化预测

Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文推出SocietyBench基准，通过构建反事实社会世界，测试LLMs预测社会事件的概率校准与时间准确性，发现前沿LLMs表现远逊于基准，智能体框架未提升性能，强调多事件评估的必要性。

Comments Project page: https://co-minder.github.io/Societybench

NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents

NEMO: 通过自主编码代理实现执行感知的优化建模

Yang Song, Anoushka Vyas, Zirui Wei, Sina Khoshfetrat Pakazad, Henrik Ohlsson, Graham Neubig

机构 * Language Technologies Institute, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，计算机科学学院，卡内基梅隆大学，匹兹堡，PA，美国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出NEMO系统，利用自主编码代理将决策问题的自然语言描述转化为可执行的数学优化实现，通过执行感知的架构和协调模式实现最先进的性能。

Comments Accepted at ICML 2026

EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge

EntSQL：一个将Text-to-SQL置于长上下文企业知识中的基准

Chengxi Liao, Tao Xu, Zulong Chen, Chuanfei Xu, Yiyan Wang, Xinyun Wang, Yanlong Zhang, Xiaojun Chen, Zhibo Yang, Zeyi Wen

机构 * HKUST (GZ)（香港科技大学（广州）） ； Alibaba Group（阿里巴巴集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出EntSQL基准，通过包含1066个跨五个业务领域的中英文对齐示例，评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力，最佳系统仅达15.9%准确率。

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

面向低资源语言机器翻译的多示例上下文学习的实证研究

Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Athabasca University（阿特拉斯大学） ； Peking University（北京大学） ； Howard University（霍华德大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究实证分析多示例上下文学习在低资源语言机器翻译中的效果，发现BM25检索可大幅提升数据效率，且ICL能在微调基础上带来额外增益。

Comments 24 pages, 3 figures, 20 tables