语言大模型 / LLM

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

从未来回溯：基于反事实惊奇的键值缓存管理

Stephen Gould, Anton van den Hengel

机构 * Metacognition AI（元认知人工智能） ； Australian National University（澳大利亚国立大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM的KV缓存内存占用问题，提出基于反事实惊奇的KV驱逐方案及快速单层近似方法，在基准测试中性能优于或可与现有最优方法竞争。

Comments 17 pages, 5 figures

MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models

MedLoCoMo：用于大语言模型的长上下文多会话医学对话基准

Zeyu Zhang, Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型在多入院医学对话临床推理方面的不足，构建MedLoCoMo基准，通过特定方法生成问答项目，含100个患者时间线，发现跨入院推理比局部证据使用难，提供代码和基准供使用与复现。

Toward Robust Open-set Adaptation: Synapse Consolidation Inspired by Rac1/MAPK Pathways

在开放测试流中学习并适应未知

Xiao Zhang, Tianyu Hu, Juntao Lyu, Qianchuan Zhao, Huimin Ma

机构 * University of Science and Technology Beijing（北京科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出SyCo方法，通过Rac1和MAPK路径实现参数高效适应，解决LLM在动态任务中的适应问题，实验表明其在18个NLP数据集上表现优异。

RAVEN: Agentic RAG for Automated Vulnerability Repair

RAVEN：用于自动化漏洞修复的智能体检索增强生成框架

Varun Gadey, Zijie Liu, Alexandra Dmitrienko

机构 * University of Duisburg-Essen（杜伊斯堡- Essen大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出RAVEN框架，集成智能体RAG管道与可控迭代修复，利用开源LLM实现跨类型、跨语言的自动化漏洞修复，在160个真实CVE上达到83.13%修复成功率。

Comments 17 Pages, 4 figures. Under review

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

立场：海马体显式记忆是通用人工智能的基石

Sangjun Park

机构 * Sangjun Park 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文主张，将显式记忆整合到大语言模型中是迈向通用人工智能的关键，因为LLM的学习机制类似人类内隐记忆，而高阶认知功能依赖海马体显式记忆。

Comments Accepted to ICML 2026 (Position Paper Track)

MASS: Deep Research for Social Sciences with Memory-Augmented Social Simulation

MASS：基于记忆增强社会模拟的深度社会科学研究

Yongrui Liu, Deyi Xiong

机构 * The International Joint Institute of Tianjin University, Fuzhou, Tianjin University, China（天津大学福州国际联合学院） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院TJUNLP实验室） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MASS范式，通过动态目标路径规划、多学科行为数据集和艾宾浩斯遗忘机制增强社会模拟真实性，提升LLM生成研究的洞察力与创新性，整体质量提升6.81%，洞察力提升17.19%。

Customer-Agent: Overcoming Context Limitations in Ultra-Long Shopping Trajectories via Tool-Augmented Agents and RLVR

客户代理：通过工具增强代理和RLVR克服超长购物轨迹中的上下文限制

Hongye Liu, Rongmei Lin, Anurag Kashyap, Hejie Cui, Ricardo Henao, Besnik Fetahu, Bing Yin

机构 * Amazon（亚马逊） ； Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ShopTrajQA基准和客户代理框架，利用RLVR训练代理通过代码解释器自主检索解析外部轨迹文件，突破LLM上下文窗口限制，在超长购物轨迹推理中取得强性能。

PersistBench: When Should Long-Term Memories Be Forgotten by LLMs?

PersistBench: 大型语言模型何时应忘记长期记忆？

Sidharth Pulipaka, Oliver Chen, Manas Sharma, Taaha S Bajwa, Vyas Raina, Ivaxi Sheth

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 PersistBench 基准，评估 LLM 长期记忆带来的跨域泄露和记忆诱导的谄媚安全风险，发现主流模型失败率高达 53% 和 97%。

Comments 76 pages, 34 figures, ICML (2026)

MemTrain: Self-Supervised Context Memory Training

MemTrain：自监督上下文记忆训练

Ziheng Li, Xingrun Xing, Haoqing Wang, Zhi-Hong Deng, Yehui Tang

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Samsung Research, Beijing, China（三星研究院，北京，中国） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出自监督框架MemTrain，通过两个耦合代理任务（端到端掩码重建和中间记忆召回）利用无标签维基百科语料增强LLM代理的上下文记忆能力，显著提升下游长文本推理性能。

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs

GRKV: 长上下文LLM中免训练的KV缓存压缩的全局回归

Junjie Peng, You Wu, Haoyi Wu, Jialong Han, Xiaohua Xie, Kewei Tu, Jianhuang Lai

机构 * Sun Yat-sen University（中山大学） ； ShanghaiTech University（上海科技大学） ； Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GRKV方法，通过岭回归合并步骤最小化压缩缓存与完整缓存注意力输出的差异，解决基于跨度保留的合并模式不平衡导致的过度合并和信息损失问题。

Comments 21 pages, 7 figures

PRISM: Prompt Reliability via Iterative Simulation and Monitoring for Enterprise Conversational AI

PRISM：通过迭代模拟和监控实现提示的可靠性用于企业对话式AI

Keshava Chaitanya, Jahnavi Gundakaram

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；language agent(abstract)

AI总结 PRISM通过持续模拟和监控，将提示工程视为可靠性工程问题，提升企业对话式AI的可靠性，减少提示开发时间并修复生产中的回归问题。

Comments 12 pages, 1 figure, 5 tables. arXiv preprint

Accelerating Suffix Jailbreak attacks with Prefix-Shared KV-cache

通过前缀共享KV缓存加速后缀劫持攻击

Xinhai Wang, Shaopeng Fu, Shu Yang, Liangyu Wang, Tianhang Zheng, Di Wang

机构 * King Abdullah University of Science and Technology（卡塔尔国王阿卜杜勒阿齐兹大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PSKV技术，通过共享前缀KV缓存减少后缀劫持攻击的计算开销，实验表明在五种广泛部署的LLM上，PSKV将推理时间减少40%，峰值内存使用减少50%。

Comments 27 pages, 7 figures, preprint

CSR: Infinite-Horizon Real-Time Policies with Massive Cached State Representations

CSR：具有大规模缓存状态表示的无限时间 horizon 实时策略

Robin Karlsson, Go Suzui

机构 * GODOT Inc（GODOT公司） ； Graduate School of Informatics, Nagoya University（名古屋大学信息研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CSR框架，通过优化KV缓存重用和异步状态协调算法，实现大规模LLM在机器人中的实时应用，显著降低延迟并提升性能。

Comments Extended Technical Report for Paper Accepted to IEEE RA-L

Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams

大语言模型能否跟上？连续知识流的在线适应基准测试

Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Google（谷歌公司） ； KRAFTON（KRAFTON公司） ； Adobe Research（Adobe研究院） ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 本文提出OAKS基准测试，用于评估大语言模型在动态连续知识流中的在线适应能力，发现现有模型在持续更新知识时存在显著局限性。

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

Zihan Qiu, Zekun Wang, Bo Zheng, Zeyu Huang, Kaiyue Wen, Songlin Yang, Rui Men, Le Yu, Fei Huang, Suozhi Huang, Dayiheng Liu, Jingren Zhou, Junyang Lin

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Contextually Structured Token Dependency Encoding for Large Language Models

James Blades, Frederick Somerfield, William Langley, Susan Everingham, Maurice Witherington

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Structured Token Retention and Computational Memory Paths in Large Language Models

Jonathan Delena, Augustin Moreau, Dominic Ravensdale, Frederick Chatterton

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Source-primed Multi-turn Conversation Helps Large Language Models Translate Documents

Hanxu Hu, Jannis Vamvas, Rico Sennrich

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Comments 9 pages, 2 figures

DetectBench: Can Large Language Model Detect and Piece Together Implicit Evidence?

Zhouhong Gu, Lin Zhang, Xiaoxuan Zhu, Jiangjie Chen, Wenhao Huang, Yikai Zhang, Shusen Wang, Zheyu Ye, Yan Gao, Hongwei Feng, Yanghua Xiao

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Comments EMNLP Findings 2024

SinkLoRA: Enhanced Efficiency and Chat Capabilities for Long-Context Large Language Models

Hengyu Zhang

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Comments A rethinking of Short Shifted Attention

In-Memory Learning: A Declarative Learning Framework for Large Language Models

Bo Wang, Tianxiang Sun, Hang Yan, Siyin Wang, Qingyuan Cheng, Xipeng Qiu

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

智能体记忆蒸馏：用分层教师记忆赋能小型大语言模型智能体

Taeil Kim, Kangsan Kim, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出无需训练的Agent Memory Distillation框架，通过从大型教师智能体构建三类分层记忆迁移知识，提升小型大语言模型智能体的工具使用性能，在三个基准上实现显著准确率提升且优于现有基线。

Comments Under review

DREAM: LLM-based Dynamic Role-playing via Event-Aware Memory Graph

DREAM：基于大语言模型的事件感知记忆图动态角色扮演

Zhihao Xiao, Mengting Li, Xintao Wang, Linfeng Li, Limin Shui, Mengqi Ji, Borui Cai

机构 * Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DREAM是一种受ABC认知模型启发的结构化记忆框架，通过EMG提升角色扮演智能体的时间与因果连贯性，在CoSER、LIFECHOICE和TCM上取得最优性能。

Comments Accepted at KDD 2026. Camera-ready version to appear. 16 pages, 5 figures

MemSIF: From Structured Interactions to Dual-Track Fact Memory for LLM Agents

MemSIF：从结构化交互到面向大语言模型智能体的双轨事实记忆

YuFei Luo, Xiucheng Xu, Zhen Yang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型智能体的长期记忆问题，提出MemSIF框架，通过结构化交互记忆与双轨事实记忆缓解两种错位模式，在两个数据集上的五种主干模型中均取得最高总准确率。

Comments Submitted to AAAI 2027. 19 pages, 10 figures, 18 tables

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models

ForgetBench：语言模型中长期参数记忆的遗忘动态基准测试

Ruxi Gu, Zhenliang Zhang, Wei Wang

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ForgetBench基准测试，通过两种评估范式与统一分析框架，揭示现有LLMs在长期知识保留与泛化间难以平衡的问题，为未来模型记忆机制优化提供方向。

Comments 9 pages, 4 figures

How Affect Propagates among LLM Agents: Emergent Emotional Contagion in Crowd Simulation

情感如何在大语言模型智能体之间传播：人群模拟中的涌现情感传染

Funda Durupinar

机构 * University of Massachusetts（马萨诸塞大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多智能体人群模拟中情感传播，通过感知 - 评估 - 表达循环及借鉴相关模型构建架构，在多场景评估，揭示情感传染动态，包括警报扩散、个性影响等，还发现评估步骤动态依赖后端。

Comments 31 pages, 14 figures

HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding

HiKV：用于大语言模型解码的具有硬件加速的分层重要性感知键值缓存

Chao Fang, Jun Yin, Man Shi, Marian Verhelst

机构 * ESAT-MICAS, KU Leuven（KU莱顿大学ESAT-MICAS） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大语言模型解码时键值缓存的内存瓶颈，HiKV提出算法-硬件协同设计，通过分层重要性感知在两粒度压缩缓存，开发专用加速器统一两阶段加速，在大语言模型上评估实现加速、降能及减少内存访问，优于现有方法。

Comments To appear in the IEEE Transactions on Circuits and Systems I: Regular Papers (TCAS-I)

Extending LLM Context via Associative Recurrent Memory

通过关联循环记忆扩展大语言模型上下文

Gleb Kuzmin, Ivan Rodkin, Aydar Bulatov, Yuri Kuratov, Lyudmila Rvanova, Mikhail Katkov, Ilia Sochenkov, Misha Tsodyks, Timothy Baldwin, Mikhail Burtsev, Artem Shelmanov

机构 * FusionBrain Lab（融合大脑实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Cognitive AI Systems Lab（认知人工智能系统实验室） ； RUDN（俄罗斯人民友谊大学） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） ； MIRAI（未来人工智能研究机构） ； Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学） ； Laboratory for Analysis and Controllable Text Generation Technologies RAS（俄罗斯科学院分析与可控文本生成技术实验室） ； School of Natural Sciences, Institute for Advanced Study, Princeton（普林斯顿高等研究院自然科学学院） ； Department of Brain Sciences, Weizmann Institute of Science（魏茨曼科学研究所脑科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何通过关联循环记忆扩展大语言模型上下文长度。提出ARMT方法，构建特定数据集，给出综合训练方法。实验表明该方法能让模型处理超长输入，更好泛化，且降低计算量。

From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning

从权重到特征：SAE引导的激活正则化用于大语言模型持续学习

Evan Ning, Wei Xue, Dong Lou, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型持续学习中的灾难性遗忘问题，提出利用预训练稀疏自编码器（SAE）在激活空间进行正则化，通过特征掩码平衡稳定性和可塑性，无需旧任务数据，内存效率高，在TRACE和MedCL基准上超越EWC等方法。

Comments 21 pages, 4 figures, 6 tables