语言大模型 / LLM

AMEL: Accumulated Message Effects on LLM Judgments

AMEL: 累积消息对LLM判断的影响

Sid-Ali Temkit

机构 * chut.app 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究LLM在对话中因历史消息极性而偏离基准判断的累积消息效应（AMEL），发现模型偏向历史主流极性，且负向历史偏见更强，但偏见不随上下文长度增长，简单修复是为每个项目使用新上下文。

Comments 24 pages, 14 figures, 8 tables. Single author. Code, data (84,088 deduplicated API responses), and analysis pipeline at https://github.com/chutapp/amel

RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference

RKSC：面向多步LLM推理的感知推理的KV缓存共享与自信提前退出

Anirudh Sekar

机构 * Anirudh Sekar（安尼鲁德·塞卡） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RKSC框架，通过注意力相似性KV共享、置信门控提前退出和推理选择性块缓存管理，消除多分支LLM推理中的结构冗余，实现平均3.008倍加速，错误率仅0.37%。

Comments Accepted to the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems

ActiveMem: Distributed Active Memory for Long-Horizon LLM Reasoning

ActiveMem: 用于长程LLM推理的分布式主动记忆

Yunhan Jiang, Wenbin Duan, Shasha Guo, Liang Pang, Xiaoqian Sun, Huawei Shen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ActiveMem框架，将记忆从核心推理中解耦，通过分布式主动记忆系统积累语义要点，在长程推理任务中实现高精度和低开销。

Constructing coherent spatial memory in LLM agents through graph rectification

通过图修正构建LLM智能体中的连贯空间记忆

Puzhen Zhang, Xuyang Chen, Yu Feng, Yuhan Jiang, Liqiu Meng

机构 * Chair of Cartography and Visual Analytics（制图学与视觉分析教授会） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出LLM-MapRepair框架，通过版本控制和边影响评分检测并修正增量构建的导航图中的结构不一致性，在多个基准上显著提升节点和边召回率。

Learning Evidence Highlighting for Frozen LLMs

学习为冻结的LLM突出证据

Shaoang Li, Yanhang Shi, Yufei Li, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Frank Shyu, Luke Simon, Sandeep Pandey, Xi Liu, Jian Li

机构 * Stony Brook University（石桥大学） ； Meta AI 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出HiLight框架，通过强化学习训练轻量级Actor在长上下文中插入高亮标签，使冻结的LLM更关注关键证据，无需证据标签或修改求解器，在序列推荐和长上下文问答中提升性能。

Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History

更少上下文，更高准确率：一种用于LLM Agent的双时间记忆引擎，其中精简检索上下文优于完整历史

Liuyin Wang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种双时间记忆引擎Engram，通过混合读取路径从约9.6k token的检索片段中回答，在LongMemEval_S上达到83.6%准确率，比完整历史（79k token）高10.4个百分点，且无错误。

Comments 14 pages, 4 figures, 3 tables. Code, reproducible harness, and raw per-question logs: https://github.com/ly-wang19/engram

REAL: A Reasoning-Enhanced Graph Framework for Long-Term Memory Management of LLMs

REAL: 一种增强推理的图框架用于LLM的长期记忆管理

Keer Lu, Liwei Chen, Guoqing Jiang, Zhiheng Qin, Yunhuai Liu, Wentao Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Kuaishou Technology（快手科技） ； Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院数据科学中心） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出REAL框架，通过构建时序和置信度感知的有向属性图，采用非破坏性更新和混合束搜索检索，解决LLM长期记忆中的关系缺失、事实覆盖和查询被动问题，平均性能提升22.72%。

Infini Memory: Maintainable Topic Documents for Long-Term LLM Agent Memory

Infini Memory：用于长期LLM智能体记忆的可维护主题文档

Suozhao Ji, Baodong Wu, Zehao Wang, Lei Xia, Qingping Li, Ruisong Wang, Wenbo Ding, Zhenhua Zhu, Boxun Li, Guohao Dai, Yu Wang

机构 * Infinigence AI（InfiniGen AI） ； Tsinghua University（清华大学） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出Infini Memory架构，将智能体记忆组织为主题文档，通过缓冲合并和迭代检索实现可维护的长期记忆，在MemoryAgentBench上达到64.7%的总体得分。

Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs

持续LLM升级：一种用于稠密到稀疏LLM的预测器门控银行级稀疏训练方案

Ruixuan Huang, Jinyuan Shi, Hantao Huang, Yifan Huang, Ziyi Guan, Hao Zeng, Ian En-Hsu Yen, Minghui Yu

机构 * Nanyang Technological University（南洋理工大学） ； Salesforce AI ； Huawei Noah's Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种从稠密检查点构建通道稀疏大语言模型的持续训练方法，通过预测器门控稀疏SwiGLU FFN和银行级top-k规则实现4倍稀疏性，并修复长上下文失败模式。

Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling

并行因果关联域：用于长上下文语言建模的门控稀疏记忆

Muhammad Ahmed

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 提出并行因果关联域（PCAF），通过哈希桶存储局部记录、检索候选集形成稀疏缓存，并与参数化语言模型门控混合，实现稀疏长上下文访问，避免固定状态瓶颈。

Comments 17 pages, 5 figures, and 6 tables. Experiments on WikiText-103, PG-19, and WikiText-2 using TPU v4-32 and NVIDIA RTX 3060 hardware. Code: https://github.com/ahmed123hds/PCAF

Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models

Prefilling-dLLM: 扩散语言模型中长上下文推理的预测性预填充

Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； LMSYS Org（LMSYS组织） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 针对扩散语言模型在长上下文中因重复编码前缀导致计算量二次增长的问题，提出Prefilling-dLLM框架，通过分块缓存KV表示并基于稀疏性选择相关块，实现高效解码，在LongBench等基准上达到最先进加速效果。

Comments Technical Report

MemCast: Memory-Driven Time Series Forecasting with Experience-Conditioned Reasoning

MemCast：基于经验条件推理的记忆驱动时间序列预测

Xiaoyu Tao, Mingyue Cheng, Ze Guo, Shuo Yu, Yaguo Liu, Qi Liu, Shijin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MemCast框架，将时间序列预测转化为经验条件推理任务，通过层次化记忆学习历史模式、推理智慧和一般规律，并采用动态置信度适应策略实现持续进化，在多个数据集上优于现有方法。

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

每个多模态证据一个令牌：面向资源受限问答的潜在记忆

Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出潜在记忆范式，将每个证据压缩为单个高维潜在令牌，通过统一训练实现高效检索与生成，在资源受限场景下以3-10倍令牌节省达到竞争性问答性能。

Express Language Modeling

Express 语言建模

Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey

机构 * Cornell Tech（康奈尔科技） ； University of Cambridge（剑桥大学） ； Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.LG

AI总结 提出 Express 工具，将非因果注意力近似转换为因果近似，结合 Thinformer 实现最优因果注意力保证，并加速语言建模中的四个资源瓶颈。

Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions

长上下文与检索增强语言模型中证据利用的四条件诊断协议

Haizhou Xia

机构 * University of Western Ontario（西方大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出四条件证据可用性协议，通过ONCU估计器分离无证据、全上下文、检索证据和Oracle证据四种条件下的模型表现，诊断长上下文与检索增强语言模型的证据利用瓶颈。

Comments 46 pages, 37 tables, 1 figure

From Volume to Value: Preference-Aligned Memory Construction for On-Device RAG

从体积到价值：面向设备端RAG的偏好对齐记忆构建

Changmin Lee, Jaemin Kim, Taesik Gong

机构 * Department of Computer Science and Engineering, Ulsan National Institute of Science and Technology (UNIST), Ulsan, Republic of Korea（计算机科学与工程系，全州国立科学与技术研究所（UNIST），全州，韩国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EPIC方法，通过将用户偏好作为紧凑且稳定的个人上下文形式，整合到RAG流程中，以在有限内存下提高检索与用户偏好的对齐度，从而减少内存使用并提升准确性。

Comments Accepted to ICML 2026. Code and data are available at https://github.com/UbiquitousAILab/EPIC

Dynamic Linear Attention

动态线性注意力

Xin Wang, Hui Shen, Boyuan Zheng, Xueshen Liu, Minkyoung Cho, Zhongwei Wan, Zesen Zhao, Zhuoqing Mao, Shen Yan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Michigan（密歇根大学） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DLA框架，通过信息感知动态状态合并和容量受限内存建模，解决多状态线性注意力中固定合并策略导致的错误累积问题，在16个数据集上超越现有方法。

Comments Accepted by ICML 2026

Decentralized Multi-Agent Systems with Shared Context

具有共享上下文的去中心化多智能体系统

Yuzhen Mao, Azalia Mirhoseini

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DeLM框架，通过并行智能体、共享上下文和任务队列去中心化协调，解决集中式MAS的瓶颈，在软件工程和长上下文推理中提升性能并降低成本。

Blurry Window Attention

模糊窗口注意力

Axel Laborieux, Christos Sourmpis, Juan Gabriel Kostelec, Qinghai Guo

机构 * Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世）） ； Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables