语言大模型 / LLM

TEPA: Revoking Stale Memories for Conflict-Robust Language Agents

TEPA：撤销过时记忆以构建冲突鲁棒的语言智能体

Yan Zhou, Yue Ouyang, Kaiyang Zheng, Suncheng Xiang

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 该研究针对语言智能体的记忆污染问题，提出TEPA可撤销证据记忆机制，经多场景实验证实其能有效避免过时记忆干扰，性能优于仅追加、最后写入获胜等机制。

Comments 14 pages, 9 figures; includes supplementary material. Preprint

Memory Reward Inflation in Self-Improving LLM Agents

自改进大语言模型智能体中的记忆奖励膨胀

Mohammad Asadolahi, Amir Amini, Samira Talebi, Amirfarhad Farhadi, Azadeh Zamanifar

机构 * University Of North Texas（北得克萨斯大学） ； Edge Hill University（边山大学） ； University of Cincinnati（辛辛那提大学） ； Iran University of Science and Technology（伊朗科技大学） ； Islamic Azad University（伊斯兰阿扎德大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究发现自改进大语言模型智能体存在记忆奖励膨胀的“回声差距”问题，提出误差独立性假设（EIA），并通过LUCID算法在BIRD文本到SQL基准上提升了执行准确率。

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction

CTR-Sink：用于点击率预测的语言模型中的注意力汇聚点

Zixuan Li, Binzong Geng, Jing Xiong, Yong He, Yuxuan Hu, Jian Chen, Dingwei Chen, Xiyu Chang, Ngai Wong, Liang Zhang, Linjian Mo, Chengming Li, Chuan Yuan, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（神经信息处理教育部重点实验室，自动化研究所，中国科学院） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（香港城市大学） ； Sun Yat-sen University（中山大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 针对用户行为序列与语言模型预训练文本之间的结构差异导致的语义碎片化问题，提出CTR-Sink框架，通过引入行为级注意力汇聚点并动态调节注意力聚合，提升点击率预测性能。

Comments Accepted by the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). The source code of this paper has been made publicly available at https://github.com/UGUESS-lzx/CTR-SINK

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；pretraining(abstract)；分类 cs.LG

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents

MemChain：为内存增强型大语言模型智能体学习可解释的内存痕迹

Yiwen Ma, Songjun Tu, Qichao Zhang, Dong Li, Linjing Li, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Memorax AI（Memorax人工智能公司） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对内存增强型大语言模型智能体检索内存回答查询存在的问题，提出MemChain可训练检索后内存策略，经两阶段学习框架训练，能生成有效证据上下文，实验证明其在多种模型上性能领先且减少内存上下文。

SF-AMS: Strategic Forgetting for Structured Memory in LLM Agent

SF-AMS：大语言模型智能体中结构化记忆的策略性遗忘

Ning Yang, Siqi Li, Miaoxin Shen, Yuan Zhou, Meng Zhang, Tong Li, Haijun Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体长上下文依赖瓶颈问题，提出SF-AMS框架，通过效用驱动机制和复合评分整合信号维护记忆，实验表明该方法在多跳推理等任务中相比基线有显著提升，证明建模记忆重要性对长上下文推理关键。

Auditing Provenance Sensitivity in LLM Agent Action Selection

审计大语言模型智能体动作选择中的溯源敏感性

Junchi Liao

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体动作选择中的溯源敏感性，引入针对特定目标的授权审计，通过改变命题源权威等测试行为，发现可信和不可信变体在部分案例中产生不同动作，模型对线索有反应但不可信证据仍影响行动。

Profile-Graph Memory for LLM Agents: Implicit Cross-Entity Traversal through Narrative Profiles

用于大语言模型智能体的概要图内存：通过叙事概要进行隐式跨实体遍历

Shengtong Zhu

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中多跳关联未被充分测量的问题，提出了MemHop基准和ProGraph两层内存架构，通过概要扩展与压缩残差实现跨实体遍历，提升了多跳推理及精确召回能力，在多个基准测试中表现优异并开源相关实现。

Comments 11 pages, 2 figures, 7 tables. Code and MemHop benchmark: https://github.com/ShengtongZhu/ProGraph

AgentBrew: Lifelong Knowledge Brewing from Strong Teachers to Weak LLM Agents

AgentBrew：从强大教师到弱小语言模型智能体的终身知识酿造

Yangqin Jiang, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究语言模型智能体知识酿造问题，提出AgentBrew方法，含失败触发教师和学生感知合成两个组件，无需训练，能将教师交互经验提炼到学生外部记忆，经实验验证可产生强大且可部署的智能体。

From Memory to Skills: Evidence-Grounded Co-Evolution Governance for Long-Horizon LLM Agents

从记忆到技能：基于证据的长期大语言模型智能体协同进化治理

Bo Tang, Yang Zhang, Guomian Zhuang, Wenqiang Wei, Gaoyang Zheng, Lindong Xie, Yanchao Tan, Feiyu Xiong, Qingyu Yang, Edward Chung, Zhiyu li

机构 * University of Science and Technology of China（中国科学技术大学） ； Hong Kong Polytechnic University（香港理工大学） ； Fuzhou University（福州大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 针对长期大语言模型智能体记忆系统问题，提出无需训练的MSCE框架，将经验组织为多种形式，把证据支持的策略转化为可调用技能，引入反射加权值回填，实验证明其性能优于基线，有跨域转移性和终身进化能力。

Comments Submitted into EMNLP'2026

Isolation as a First-Class Principle for LLM-Agent System Safety: Concepts, Taxonomy, Challenges and Future Directions

隔离作为大语言模型智能体系统安全的头等原则：概念、分类法、挑战及未来方向

Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Sirui Zhang, Hanyu Yang, Changxuan Fan, Zhongwei Xie, Hongyu Luo, Wun Yu Chan, Wei Fan, Haoran Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； NYU（纽约大学） ； SWUPL（西南政法大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 探讨大语言模型智能体系统安全问题，将隔离作为头等原则，用边界中心分类法组织文献，助于识别隔离丧失位置、妥协传播方式及相关防御，还总结了故障路径，讨论挑战并勾勒研究议程。

PM-Bench: Evaluating Prospective Memory in LLM Agents

PM-Bench：评估大语言模型智能体中的前瞻记忆

Genglin Liu, Saadia Gabriel

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对智能体人工智能中的前瞻记忆挑战，引入PM-Bench基准，受认知科学启发评估大语言模型智能体相关能力。在模拟一周内比较八个先进模型，发现各模型在此基准测试中均具挑战性，且无单一改善策略占优，还发布该基准用于诊断与干预。

Comments Published as a conference paper at COLM 2026

Shared Selective Persistent Memory for Agentic LLM Systems

用于智能语言模型系统的共享选择性持久内存

Sanjana Pedada, Aditya Dhavala, Neelraj Patil

机构 * Apple Inc.（苹果公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 智能语言模型系统面临上下文问题，本文提出共享选择性持久内存架构，识别保留四类可重用上下文，丢弃特定会话推理痕迹，实现共享协作重用。在企业场景和公共数据集实验中验证其有效性，提高任务完成率，降低成本，优于全历史持久化等极端方式。

Comments 11 pages, 2 figures, 4 tables

FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference

FreqDepthKV：用于长上下文语言模型推理中稳健的键值缓存压缩的频率引导深度共享

Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera

机构 * Instituto de Investigación en Visión Artificial（人工视觉研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对长上下文语言模型推理中键值缓存成本问题，提出FreqDepthKV方法，将相邻层键值状态分解，通过在线探测器分配缓存模式，在多基准测试中保持任务准确性，提升解码吞吐量并降低内存，实现高效压缩。

Comments 11 pages, 2 figures

Brand-as-Memory: Vision-Language Models Encode Causal, Mechanistically Localizable Credibility Priors for News Sources

品牌即记忆：视觉语言模型为新闻来源编码因果性、可机制定位的可信度先验

Chih-Ting Liao, Xin Cao

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型中基于媒体身份的来源可信度先验，通过交叉模型基准测试和机制分析，揭示其特性及影响，如模型和规模依赖性、因果形成机制等。

The Past Is Prologue: A Plug-in Controller for Selective Updates in Sequentially Evolving LLM Memory

过去即序幕：面向顺序演化的大语言模型记忆的选择性更新插件控制器

Zihan Chen, Songwei Dong, Chengshuai Shi, Peng Wang, Song Wang, Cong Shen, Jundong Li

机构 * University of Virginia（弗吉尼亚大学） ； Princeton University（普林斯顿大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 提出Janus插件控制器，通过记忆动量触发器检测异常并基于紧凑混合评估集决定是否接受记忆更新，避免有害覆盖，在六个数据集上提升准确率2.7-4.6点。

ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models

ComMem：视觉语言模型测试时自适应的互补记忆系统

Guanglong Sun, Shuang Cui, Bo Lei, Liyuan Wang, Zihan Zhai, Hongwei Yan, Hang Su, Jun Zhu, Yi Zhong

机构 * School of Life Sciences, IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing, China（生命科学学院，IDG/麦克戈文脑科学研究院，清华大学，北京，中国） ； Institute of Software Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所，北京，中国） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国） ； Department of Psychological and Cognitive Sciences, Tsinghua University, Beijing, China（心理学与认知科学系，清华大学，北京，中国） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学-博世联合机器学习中心，THBI实验室，BNRist中心，清华大学，北京，中国） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 提出受生物互补记忆系统启发的ComMem方法，通过快速适应细节记忆和慢速整合抽象记忆协同工作，实现视觉语言模型在测试时的跨模态一致自适应，在15个基准数据集上显著优于现有方法。

Comments A brain-inspired complementary memory framework leveraging fast visual caching and slow textual refinement for VLM test-time adaptation

AI Tokenomics: The Economics of Tokens, Computation, and Pricing in Foundation Models

AI Tokenomics：基础模型中的代币、计算与定价经济学

Quanyan Zhu

机构 * New York University Tandon School of Engineering（纽约大学坦登工程学院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出AI代币经济学框架，研究代币在AI系统中的生成、消耗、定价、分配与优化，揭示代币支出与经济价值的区别，并指出开放研究方向。

Learning What to Remember: Observability-Safe Memory Retention via Constrained Optimization for Long-Horizon Language Agents

学习记住什么：通过约束优化实现长时域语言代理的观测安全记忆保留

Qingcan Kang, Liu Mingyang, Shixiong Kai, Kaichao Liang, Tao Zhong, Mingxuan Yuan

机构 * Huawei Noah's Ark Lab（华为诺亚方舟实验室） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 针对长时域语言代理的有限上下文窗口，提出OSL-MR框架，将记忆保留建模为约束随机优化问题，通过在线可观测特征与离线监督的严格分离学习查询条件化的证据价值，实验表明在严格预算下优于现有方法。

Boosting Knowledge Graph Foundation Models via Enhanced Negative Sampling

通过增强负采样提升知识图谱基础模型

Yinan Liu, Wenjin Xu, Zhiyuan Zha, Xiaochun Yang, Bin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出自适应负采样方法KMAS，通过动态调整困难负三元组比例，增强知识图谱基础模型在零样本补全任务中的性能。

CoBit: Language Modeling with Bitstream Diffusion

CoBit: 基于比特流扩散的语言建模

Georgios Batzolis, Mark Girolami, Luca Ambrogioni

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出CoBit模型，将文本建模为固定宽度二进制比特流上的连续扩散过程，采用匹配滤波残差参数化和基于熵率门控的朗之万校正采样器，在LM1B和OpenWebText上达到接近自回归模型的生成困惑度，并消除词汇表缩放瓶颈。

Express Language Modeling

Express 语言建模

Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey

机构 * Cornell Tech（康奈尔科技） ； University of Cambridge（剑桥大学） ； Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.LG

AI总结 提出 Express 工具，将非因果注意力近似转换为因果近似，结合 Thinformer 实现最优因果注意力保证，并加速语言建模中的四个资源瓶颈。

Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions

长上下文与检索增强语言模型中证据利用的四条件诊断协议

Haizhou Xia

机构 * University of Western Ontario（西方大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出四条件证据可用性协议，通过ONCU估计器分离无证据、全上下文、检索证据和Oracle证据四种条件下的模型表现，诊断长上下文与检索增强语言模型的证据利用瓶颈。

Comments 46 pages, 37 tables, 1 figure

AdaMEM: Test-Time Adaptive Memory for Language Agents

AdaMEM：语言代理的测试时自适应记忆

Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

机构 * Yunxiang Zhang（张 Yunxiang） ； Yiheng Li（李 Yiheng） ； Ali Payani（Payani Ali） ； Lu Wang（王 Lu） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 提出AdaMEM框架，通过混合记忆架构（长期轨迹记忆+动态短期策略记忆）实现测试时自适应，无需在线更新参数，在ALFWorld、WebShop等任务上显著优于静态记忆基线。

Comments ICML 2026

Hyperbolic and Evidence-Prioritized Experts for Large Vision-Language Models

超几何与证据优先专家用于大型视觉-语言模型

Zijie Zhou, Dandan Zhu, Hangxiangpan Wang, Heng Zhang, Huishen Jiao, Yi Zhao

机构 * China University of Petroleum (Beijing)（中国石油大学（北京）） ； Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院） ； South China Normal University（华南师范大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型视觉-语言模型中视觉与语言模态的不对称性，提出AsyMoE架构，通过超几何跨模态专家和证据优先语言专家分别建模层级关系与保持上下文基础，在减少参数的同时提升性能。

ChronoVAE-HOPE: Beyond Attention -- A Next-Generation VAE Foundation Model for Specialized Time Series Classification

ChronoVAE-HOPE：超越注意力——面向专业时间序列分类的下一代VAE基础模型

José Alberto Rodríguez, Luis Balderas, Miguel Lastra, Antonio Arauzo-Azofra, José M. Benítez

机构 * Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系） ； DiCITS ； iMUDS ； DaSCI ； University of Granada（格拉纳达大学） ； Advanced Medical Imaging Group（先进医学成像组） ； Instituto de Investigación Biosanitaria de Granada（格拉纳达生物医学研究 institute） ； Department of Software Engineering（软件工程系） ； Department of Rural Engineering（农村工程系） ； University of Córdoba（科尔多瓦大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出ChronoVAE-HOPE，一种基于VAE和HOPE块（含Titans模块和连续记忆系统）的下一代时间序列基础模型，通过解耦潜在空间分离趋势与季节成分，在UCR基准分类任务上表现优异。

ArborKV: Structure-Aware KV Cache Management for Scaling Tree-based LLM Reasoning

ArborKV: 一种面向树状推理的KV缓存管理方法

Yeqiu Chen, Ziyan Liu, Zhenxin Huang, Runquan Gui, Hong Wang, Lei Liu

机构 * University of Science（科学大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出ArborKV，一种结构感知的KV缓存管理方法，通过轻量级值估计器和树状分配策略，实现纯token提取式淘汰与惰性再水合，从而在保持高精度的同时减少KV内存使用，使在固定硬件预算下能支持更大规模的树状推理搜索。

Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory

Memory Grafting: 通过离线条件记忆实现语言模型预训练的扩展

Runxi Cheng, Yuchen Guan, Yongxian Wei, Qianpu Sun, Qixiu Li, Sinan Du, Feng Xiong, Chun Yuan, Yan Lu, Yeyun Gong

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出Memory Grafting方法，通过利用冻结的隐藏状态作为条件n-gram记忆，实现语言模型预训练的扩展，通过离线处理和高效检索机制提升模型容量，实验表明其在不同规模下均优于MoE和Vanilla Engram基线。

Comments 25 pages, 12 figures, 5 tables

Auto-Dreamer: Learning Offline Memory Consolidation for Language Agents

Auto-Dreamer：学习离线记忆巩固用于语言智能体

Chongrui Ye, Yuxiang Liu, Yu Wang, Haofei Yu, Yining Zhao, Ge Liu, Julian McAuley, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL

AI总结 本文提出Auto-Dreamer，一种学习离线记忆巩固方法，用于语言智能体，通过分离快速会话记忆获取与慢速跨会话巩固过程，提升智能体在多个任务流中的记忆整合与知识复用能力。

Comments Preprint

Skill-Conditioned Visual Geolocation for Vision-Language Models

基于技能的视觉地理定位用于视觉-语言模型

Chenjie Yang, Yutian Jiang, Yutong Deng, Chenyu Wu

机构 * Southwest Jiaotong University（西南交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出GeoSkill框架，通过技能图进化提升视觉语言模型的地理定位能力与自我进化能力，实验显示其在GeoRC任务中表现优异，且在外部数据集上具有良好的泛化能力。