语言大模型 / LLM

Staying In Character: Perspective-Bounded Memory For Book-Based Role-Playing Agents

保持角色：基于书籍的角色扮演智能体的视角受限记忆

Xushuo Tang, Junhe Zhang, Zihan Yang, Yifu Tang, Sichao Li, Longbin Lai, Zhengyi Yang

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； University of Sydney（悉尼大学） ； Chang’an University（长安大学） ； RAIDS Lab（RAIDS实验室） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出REVERIEMEM三层记忆架构（情节层、语义层、个性层），解决长叙事角色扮演中的事实越界和风格单调问题，在KBF-QA基准上知识边界保真度提升34.6个百分点，在BOOKWORLD中胜率约79%。

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

学习不忘：从几KB学习的长时程智能体记忆

Nusrat Jahan Lia, Aritra Mazumder

机构 * University of Utah（犹他大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出LRE（学习相关性驱逐）方法，通过轻量级评分器保留历史中的关键信息，在匹配预算下精度优于无驱逐基线，减少峰值上下文大小52%，并解决循环任务。

RIZZ: Routing Interactions to Near Zero-Interference Zones for Continual Adaptation of Black-Box Agents

RIZZ: 将交互路由到近零干扰区域以实现黑盒智能体的持续适应

Sonali Goel, Pranav Vaidhyanathan, Lucas Schorling, Natalia Ares, Maike Osborne

机构 * University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RIZZ框架，通过验证器门控记忆、路由和提示编译，实现黑盒语言模型系统在非平稳流数据上的持续适应，有效控制干扰并提升性能。

Comments 20 pages, 2 figures

Multi-Agent Transactive Memory

多智能体交互记忆

To Eun Kim, Xuhong He, Dishank Jain, Ambuj Agrawal, Negar Arabzadeh, Fernando Diaz

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MATM框架，通过共享存储和检索智能体轨迹，实现异构智能体群体间的知识复用，提升下游任务性能并减少交互步骤。

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication

LoRDO: 分布式低秩优化与低频通信

Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Institute of Science and Technology Austria（奥地利科学与技术研究院） ； Lancaster University（兰卡斯特大学） ； Flower Labs（Flower实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LoRDO框架，统一低秩优化与低频同步，通过全秩准双曲更新恢复子空间探索，在125M-720M模型规模下实现与低秩DDP近似的性能，通信量减少约10倍。

Comments Accepted at ICML 2026

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AnchorKV，一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法，在保持实用性的同时显著提升安全性。

T-Mem: Memory That Anticipates, Not Archives

T-Mem：预测而非归档的记忆

Weidong Guo, Dakai Wang, Zixuan Wang, Hui Liu, Yu Xu

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出T-Mem架构，通过写时触发机制覆盖描述性和关联性回忆，解决长对话中语义关联检索问题，在LoCoMo和LoCoMo-Plus上达到SOTA。

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

PolyKV: 异构保留与分配用于KV缓存压缩

Chao Fei, Panos Kalnis

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大模型推理中KV缓存压缩问题，提出PolyKV框架，通过层级别信号为每层选择合适压缩策略并分配非均匀缓存预算，实验表明在固定预算下显著恢复性能差距。

Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents

与你合作得更好：将用户修正编译为编码代理的运行时强制

Yujun Zhou, Kehan Guo, Haomin Zhuang, Xiangqi Wang, Yue Huang, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Nuno Moniz, Nitesh V. Chawla, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出TRACE方法，通过将用户修正编译为原子规则并在运行时强制执行，显著减少编码代理在后续任务中的偏好违反，优于纯记忆方法。

Dynamic Linear Attention

动态线性注意力

Xin Wang, Hui Shen, Boyuan Zheng, Xueshen Liu, Minkyoung Cho, Zhongwei Wan, Zesen Zhao, Zhuoqing Mao, Shen Yan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Michigan（密歇根大学） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DLA框架，通过信息感知动态状态合并和容量受限内存建模，解决多状态线性注意力中固定合并策略导致的错误累积问题，在16个数据集上超越现有方法。

Comments Accepted by ICML 2026

Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition

Titans-as-a-Layer：对话语音情感识别的测试时记忆

Daniel Chen, Qicong Hu, Yang Xiao, Ting Dang, Hong Jia

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Memory-as-a-Layer (MAL)适配器，利用测试时神经记忆为对话语音情感识别提供上下文，在不修改大型音频语言模型的前提下提升性能。

Comments ICML 2026 Workshop on Machine Learning for Audio

Telling stories, making Hanzi: AI-assisted co-creation with elderly migrants in urban China

讲述故事，创造汉字：人工智能辅助中国城市老年移民的协同创作

Yunfei Chen, Wen Zhan, Peiyue Lin, Ziqun Hua, Ying Hu

机构 * School of Design, Hunan University（湖南大学设计学院） ； Royal College of Art（皇家艺术学院） ； University of the Arts London, Central Saint Martins（伦敦艺术大学，中央圣马丁学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过协同创作工作坊，结合口述故事、AI辅助和手工制作，让老年移民创造新汉字以记录被忽视的生活故事，揭示参与者的异质性和适应能力，并展示AI作为降低表达门槛的创意启动器。

Comments A version of this manuscript has been submitted to the [IASDR 2025 Conference](https://iasdr2025.org/) and is currently under review

LongSpace: Exploring Long-Horizon Spatial Memory from Perception to Recall in Video

LongSpace: 从感知到回忆的视频长程空间记忆探索

Shiqiang Lang, Jing Liu, Haoyang He, Peiwen Sun, Yuanteng Chen, Tao Liu, Lan Yang, Longteng Guo, Honggang Zhang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhongguancun Academy（中关村学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The Chinese University of Hong Kong（香港中文大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对长视频中空间记忆的挑战，提出LongSpace框架，通过分块建模、3D结构线索注入和层级感知记忆实现长程空间推理，并在LongSpace-Bench等基准上验证其有效性。

EpiEvolve: Self-Evolving Agents for Streaming Pandemic Forecasting under Regime Shifts

EpiEvolve：用于制度转变下流式疫情预测的自演化智能体

Yiming Lu, Sihang Zeng, Zhengxu Tang, Max Lau, Fei Liu, Wei Jin

机构 * Emory University（埃默里大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对流式疫情预测中标签延迟和制度转变问题，提出自演化智能体EpiEvolve，通过层次化情景记忆、延迟标签反思和制度感知检索，在COVID-19住院趋势预测中达到0.629准确率，并将制度转变后的恢复滞后从5周缩短至2周。

Cartridges at Scale: Training Modular KV Caches over Large Document Collections

大规模弹匣：训练模块化KV缓存以处理大型文档集合

Momchil Hardalov, Gonzalo Iglesias, Adrià de Gispert

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Cartridges at Scale (CAS)框架，通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练，在减少预填充开销的同时保持准确性，性能优于单块弹匣10-31点，接近全上下文学习。

Comments 21 pages, 5 figures, 17 tables

Temporal Order Matters for Agentic Memory: Segment Trees for Long-Horizon Agents

时间顺序对智能体记忆至关重要：面向长程智能体的线段树

Yifan Simon Liu, Liam Gallagher, Faeze Moradi Kalarde, Jiazhou Liang, Armin Toroghi, Scott Sanner

机构 * University of Toronto（多伦多大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出线段树记忆架构SegTreeMem，通过在线右边缘更新规则保持对话历史的时间顺序，结合层次化时间上下文进行检索，在长程记忆基准上优于现有方法。

MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning

MemoryDocDataSet: 联合对话记忆与长文档推理的基准测试

Qiyang Xie, Jialun Wu, Xinjie He, Su Liu, Shuai Xiao, Zhiyuan Lin, Weikai Zhou

机构 * Northeastern University（东北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemoryDocDataSet合成基准，包含50个微世界和1000个QA对，评估系统同时处理多轮对话历史和长文档阅读理解的能力，其中75.1%的问题需要混合推理（先导航对话历史再提取文档答案），实验显示联合检索存在明显差距。

Comments 17 pages, 2 figures, 8 tables. Submitted for peer review

Traj-Evolve: A Self-Evolving Multi-Agent System for Patient Trajectory Modeling in Lung Cancer Early Detection

Traj-Evolve：用于肺癌早期检测中患者轨迹建模的自进化多智能体系统

Sihang Zeng, Matthew Thompson, Ruth Etzioni, Meliha Yetisgen

机构 * University of Washington（华盛顿大学） ； Fred Hutch Cancer Center（Fred Hutch癌症中心） ； Google（谷歌） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Traj-Evolve，一种结合经验池和多智能体强化学习的自进化多智能体系统，通过检索相似患者和参数优化，在肺癌早期检测中优于9个强基线模型。

Soft-NBCE: Entropy-Weighted Chunk Fusion for Long-Context

Soft-NBCE: 基于熵加权分块融合的长上下文处理

Shihao Ji, Mingyu Li, Zihui Song

机构 * Beijing Normal University（北京师范大学） ； Chunjiang Intelligence（春江智能） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文推理中硬选择策略导致语义碎片化的问题，提出Soft-NBCE，通过熵加权软融合和一致性蒸馏，在保持检索精度的同时提升多跳推理性能。

Comments 7 pages, 3 figures, 2 tables. Preprint

WaveFilter: Enhancing the Long-Context Capability of Diffusion LLMs via Wavelet-Guided KV Cache Filtering

WaveFilter: 通过小波引导的KV缓存过滤增强扩散型大语言模型的长上下文能力

Jinnan Yang, Yan Wang, Zhen Bi, Kehao Wu, Xiaojie Li, Jungang Lou, Zechao Li, Jing Liu

机构 * Nanjing University of Science and Technology（南京理工大学） ； Alibaba Group（阿里巴巴集团） ； Huzhou Normal University（湖州师范学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散型大语言模型在长上下文任务中计算开销大和推理延迟高的问题，提出一种无需训练的通用缓存框架WaveFilter，利用小波变换分解长序列以精确识别关键token，构建稀疏KV缓存，从而提升现有KV缓存方法在复杂长上下文任务中的性能。

Comments 8 pages,3 figures

ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution

ForesightKV: 通过学习长期贡献优化推理模型的KV缓存驱逐

Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ForesightKV框架，通过监督学习和强化学习预测KV对在长文本生成中的重要性，在仅用一半缓存预算下优于现有方法。

Comments ICML 2026

GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent

GradMem: 通过测试时梯度下降将上下文写入记忆

Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev

机构 * AXXX, Cognitive AI Systems Lab, Moscow, Russia（AXXX认知人工智能系统实验室，莫斯科，俄罗斯） ； London Institute for Mathematical Sciences, London, UK（伦敦数学科学研究所，伦敦，英国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GradMem方法，利用测试时梯度下降将上下文写入紧凑记忆状态，通过自监督重构损失优化记忆令牌，在键值检索和自然语言任务上优于前向式记忆写入方法。

Comments International Conference on Machine Learning (ICML) 2026

Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

Loong: 一种类人长文档翻译代理，具有观察与行动的适应性上下文选择

Yutong Wang, Xuebo Liu, Derek F. Wong, Zhilin Li, Rongqing Jiang, Min Zhang, Shimin Tao, Daimeng Wei, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） ； NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学学院自然语言处理与CT实验室） ； Huawei Translation Services Center（华为翻译服务中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Loong代理，通过3E记忆模块和强化学习优化上下文策略，解决长文档翻译中上下文窗口限制和冗余信息问题，在英⇄中、德、法翻译中平均提升13.0分。

Periodic RoPE for Infinite Context LLMs

周期性RoPE：面向无限上下文的大型语言模型

Simin Huo

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出周期性RoPE（P-RoPE）位置编码机制，结合滑动窗口注意力和无位置编码的全局注意力，避免位置耗尽，理论上支持无限上下文窗口。

Comments 5 pages

Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse

注意力汇聚在注意力层中锻造原生MoE：针对头部坍塌的汇聚感知训练

Zizhuo Fu, Wenxuan Zeng, Runsheng Wang, Meng Li

机构 * Institute for Artificial Intelligence, Peking University, Beijing（人工智能研究院，北京大学，北京） ； School of Integrated Circuits, Peking University, Beijing（集成电路学院，北京大学，北京） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制，并提出汇聚感知训练算法以缓解头部坍塌问题，提升模型性能。

Comments 2026 International Conference on Machine Learning (ICML)

Krause Synchronization Transformers

Krause同步变换器

Jingkun Liu, Yisong Yue, Max Welling, Yue Song

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； California Institute of Technology（加州理工学院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于有界置信共识动力学的Krause注意力机制，通过局部化稀疏交互替代全局softmax归一化，缓解表示坍缩和注意力汇聚现象，实现线性复杂度并提升性能。

Comments ICML 2026, Project page: https://jingkun-liu.github.io/krause-sync-transformers/

CacheClip: Accelerating RAG with Effective KV Cache Reuse

CacheClip: 通过有效的KV缓存重用加速RAG

Bin Yang, Qiuyu Leng, Jun Zeng, Zhenhua Wu

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出CacheClip框架，通过有效利用KV缓存重用，解决了RAG系统中TTFT瓶颈问题，同时保持高质量生成。

Modality-Decoupled Online Recursive Editing

模态解耦的在线递归编辑

Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China.（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, China.（鹏城实验室） ； Huazhong University of Science and Technology, China（华中科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出M-ORE，一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器，通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销，从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时，减少长周期干扰，提升可靠性、通用性和局部性。

MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training

MTraining: 分布式动态稀疏注意力用于高效超长上下文训练

Wenxuan Li, Chengruidong Zhang, Huiqiang Jiang, Yucheng Li, Yuqing Yang, Lili Qiu

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出MTraining方法，通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题，实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K，并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。

MOCHA: Multi-Objective Chebyshev Annealing for Agent Skill Optimization

MOCHA：多目标切比雪夫退火用于智能体技能优化

Md Mehrab Tanjim, Jayakumar Subramanian, Xiang Chen, Branislav Kveton, Subhojyoti Mukherjee, Anlan Zhang, Sungchul Kim, Somdeb Sarkhel, Sunav Choudhury

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出MOCHA方法，通过切比雪夫标量化和指数退火解决智能体技能优化中的多目标问题，实现更优的帕累托前沿发现和性能提升。

Comments Preprint. 25 pages, 14 figures, 5 tables