语言大模型 / LLM

Information-Aware KV Cache Compression for Long Reasoning

面向长推理的信息感知KV缓存压缩

Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出InfoKV框架，通过结合预测不确定性与注意力分数进行KV缓存压缩，在长上下文推理中优于现有方法。

Staying In Character: Perspective-Bounded Memory For Book-Based Role-Playing Agents

保持角色：基于书籍的角色扮演智能体的视角受限记忆

Xushuo Tang, Junhe Zhang, Zihan Yang, Yifu Tang, Sichao Li, Longbin Lai, Zhengyi Yang

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； University of Sydney（悉尼大学） ； Chang’an University（长安大学） ； RAIDS Lab（RAIDS实验室） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出REVERIEMEM三层记忆架构（情节层、语义层、个性层），解决长叙事角色扮演中的事实越界和风格单调问题，在KBF-QA基准上知识边界保真度提升34.6个百分点，在BOOKWORLD中胜率约79%。

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

学习不忘：从几KB学习的长时程智能体记忆

Nusrat Jahan Lia, Aritra Mazumder

机构 * University of Utah（犹他大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出LRE（学习相关性驱逐）方法，通过轻量级评分器保留历史中的关键信息，在匹配预算下精度优于无驱逐基线，减少峰值上下文大小52%，并解决循环任务。

RIZZ: Routing Interactions to Near Zero-Interference Zones for Continual Adaptation of Black-Box Agents

RIZZ: 将交互路由到近零干扰区域以实现黑盒智能体的持续适应

Sonali Goel, Pranav Vaidhyanathan, Lucas Schorling, Natalia Ares, Maike Osborne

机构 * University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RIZZ框架，通过验证器门控记忆、路由和提示编译，实现黑盒语言模型系统在非平稳流数据上的持续适应，有效控制干扰并提升性能。

Comments 20 pages, 2 figures

Multi-Agent Transactive Memory

多智能体交互记忆

To Eun Kim, Xuhong He, Dishank Jain, Ambuj Agrawal, Negar Arabzadeh, Fernando Diaz

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MATM框架，通过共享存储和检索智能体轨迹，实现异构智能体群体间的知识复用，提升下游任务性能并减少交互步骤。

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AnchorKV，一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法，在保持实用性的同时显著提升安全性。

T-Mem: Memory That Anticipates, Not Archives

T-Mem：预测而非归档的记忆

Weidong Guo, Dakai Wang, Zixuan Wang, Hui Liu, Yu Xu

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出T-Mem架构，通过写时触发机制覆盖描述性和关联性回忆，解决长对话中语义关联检索问题，在LoCoMo和LoCoMo-Plus上达到SOTA。

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

PolyKV: 异构保留与分配用于KV缓存压缩

Chao Fei, Panos Kalnis

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大模型推理中KV缓存压缩问题，提出PolyKV框架，通过层级别信号为每层选择合适压缩策略并分配非均匀缓存预算，实验表明在固定预算下显著恢复性能差距。

Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents

与你合作得更好：将用户修正编译为编码代理的运行时强制

Yujun Zhou, Kehan Guo, Haomin Zhuang, Xiangqi Wang, Yue Huang, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Nuno Moniz, Nitesh V. Chawla, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出TRACE方法，通过将用户修正编译为原子规则并在运行时强制执行，显著减少编码代理在后续任务中的偏好违反，优于纯记忆方法。

Dynamic Linear Attention

动态线性注意力

Xin Wang, Hui Shen, Boyuan Zheng, Xueshen Liu, Minkyoung Cho, Zhongwei Wan, Zesen Zhao, Zhuoqing Mao, Shen Yan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Michigan（密歇根大学） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DLA框架，通过信息感知动态状态合并和容量受限内存建模，解决多状态线性注意力中固定合并策略导致的错误累积问题，在16个数据集上超越现有方法。

Comments Accepted by ICML 2026

Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition

Titans-as-a-Layer：对话语音情感识别的测试时记忆

Daniel Chen, Qicong Hu, Yang Xiao, Ting Dang, Hong Jia

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Memory-as-a-Layer (MAL)适配器，利用测试时神经记忆为对话语音情感识别提供上下文，在不修改大型音频语言模型的前提下提升性能。

Comments ICML 2026 Workshop on Machine Learning for Audio

HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience

HERMES：用于从地球科学超长文档中提取结构化知识的多智能体框架

Ziqi Song, Zongyuan Xiang, James G. Ogg, Bruce S. Lieberman, Gabi Ogg, Natalia López Carranza, Wen Du, Yufei Ye, Shuan Li, Zhong Peng, Shaoqi Yu, Juye Wei, Ying Zhou, Jieping Ye, Jiang Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出HERMES多智能体框架，可从地球科学超长文档中提取结构化知识，在《无脊椎古生物学论著》上的实验显示其性能稳定、效率高且跨领域迁移性好，为历史文献结构化提供了可行途径。

Comments 31-page main manuscript with 6 figures and 3 tables; supplementary information included

Handover of In-Context Learning State Across Session Boundaries

跨会话边界的上下文学习状态移交

Masahiro Kato, Taka Kato

机构 * Mizuho-DL Financial Technology（瑞穗数字金融科技） ； the University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所人工智能项目） ； Osaka Metropolitan University（大阪公立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对大语言模型应用的会话移交问题，提出三部分记录方法，结合高斯线性与非参数回归，为移交的信息保留及记忆需求提供理论与方法。

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

vToken: Token-Level Virtualization for Reclaimable KV Caches

vToken：用于可回收KV缓存的令牌级虚拟化技术

Yuanhang Gao, Xiangrui Yang, Yuanfeng Chen, Hongjia Chen, Qianru Lv, Wenfei Wu, Dongsheng Li

机构 * National University of Defense Technology（国防科技大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 vToken是一种轻量级令牌级虚拟化层，可解耦逻辑令牌活性与物理块放置，在保留PagedAttention兼容性的同时，提升KV缓存回收效率与服务吞吐量，降低策略集成代码量。

When Your Agent Opens the Chat App: Agent-Controlled Search over Raw Chat Logs Rivals Structured Memory

当你的智能体打开聊天应用时：智能体控制的原始聊天日志搜索可与结构化记忆相媲美

Ruizhe Li, Licheng Zhang, Benfeng Xu, Mingxuan Du, Zheren Fu, Weidong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； MetaStone Technology（MetaStone科技公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无语义结构的智能体控制搜索界面ReFind，在MemoryAgentBench等任务上，其检索准确率优于HippoRAG 2等结构化记忆系统，证明可控词汇检索可替代复杂记忆结构实现高效会话记忆任务。

Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation

双流式Transformer：将主预填路径与额外解码计算解耦

Liming Liu, Mingze Wang, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出双流式Transformer，将主预填路径与额外解码计算解耦，通过共享权重与缓存降低推理成本，在多架构与数据配置下实现更低验证损失，且可灵活分配MoE专家预算。

Comments 18 pages

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents

从错误记忆到修正行动：记忆增强智能体的依赖引导回滚修复

Caili Yu, Yiqi Wang, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Zhangkai Wu, Kaize Shi, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对记忆增强智能体的错误记忆问题，提出依赖引导回滚修复方法，在150案例受控基准和50案例改编测试中，均优于对比方法，实现了更优的记忆恢复效果与成本权衡。

TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling

TideRL：通过就绪感知调度提升智能体强化学习的有效吞吐量

Yanyu Ren, Xizheng Wang, Xiao Liu, Bowen Lv, Hanchen Zhang, Shudan Zhang, Hanyu Lai, Shuai Wang, Li Chen, Dan Li, Jie Tang

机构 * Tsinghua University（清华大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TideRL是一种就绪感知弹性RL系统，通过CTB、RA²P和ERS技术，在多轮智能体工作负载上大幅提升RL训练有效吞吐量，同时优化KV缓存命中率、训练时间和等待时间。

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Transformer中的位置编码：从绝对与相对方法到旋转位置嵌入及长上下文扩展

Jiguo Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。

Comments 14 pages, a cookbook for students and junior researchers

Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

标记化溢价的衡量：服务不足语言社区的成本审计

Avijit Roy, Proma Roy, Hrishitva Patel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过构建标记化公平审计（TEA）基准，测量了孟加拉语、印地语等5种语言的标记化溢价，发现标记化会给服务不足语言社区带来经济和功能障碍，凸显需重视标记化的公平性。

Comments Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)

VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference

VoxZip：面向长上下文音频推理的语义锚定时序KV缓存压缩

Wenxu Jia, Dongjie Fu, Xize Cheng, Fangming Feng, Linjun Li, Wenshi Chen, Yingming Li, Zhou Zhao, Tao Jin

机构 * Zhejiang University（浙江大学） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对语音大语言模型长上下文推理的KV缓存内存瓶颈，提出无训练两阶段语义锚定框架VoxZip，在多音频基准上实现高效压缩，维持高性能并提升推理效率。

Explore, Map, Remember, Decide: Are Embodied VLMs Ready for Safety-Critical Scenarios?

探索、建图、记忆、决策：具身视觉语言模型是否已准备好应对安全关键场景？

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

专题命中 长上下文与记忆 ：language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文扩展ToS框架为EMRD流程，评估VLMs在安全关键场景下的空间理解与决策能力，发现其决策依赖文本先验、空间推理受低光照影响，且记忆与人类认知存在根本差异，存在对齐风险。

SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

SPECTRA：通过谱变换编码将KV缓存推向2比特极限之外

Jiamu Zhang, Liang Wu, Kelly Wan, Hanjie Chen, Liangjie Hong

机构 * Nokia（诺基亚） ； Rice University（莱斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SPECTRA是一种无需训练的KV缓存压缩编解码器，通过谱变换编码将比特预算集中于关键通道，在Llama-3.1-8B等模型上实现最高12倍压缩，突破2比特极限，提升长上下文处理能力

Comments 28 pages

MemWM: Memory-Augmented Text-Based World Model

MemWM：记忆增强的基于文本的世界模型

Yujun Wang, Tao Zhang, Jinhe Bi, Aniri, Wenxuan Ye, Boliang Liu, Sikuan Yan, Shuning Wang, Xuebing Zhou, Sören Pirk, Hinrich Schütze, Yunpu Ma

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Huawei Heisenberg Research Center（华为海森堡研究中心） ； Zhejiang University（浙江大学） ； Technical University of Munich (TUM)（慕尼黑工业大学） ； TU Berlin（柏林工业大学） ； Kiel University（基尔大学） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出记忆增强的基于文本的世界模型MemWM，通过引入世界记忆解决世界模型的系统性预测错误，在ALFWorld等基准上提升智能体规划成功率与效率。

Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

活动帧：面向智能体记忆与回放的确定性屏幕活动编译

Nossa Iyamu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出确定性零模型流水线将屏幕活动编译为智能体记忆，可缩小上下文体积、提升问答准确率，还能获取智能体成本模型所需的例程开销比率与重复率等参数，相关资源开源。

Comments 14 pages, 5 figures, 4 tables

Attention, Anomalies! Handling Attention Layers in Unsupervised Federated Outlier Detection

注意力，异常点！处理无监督联邦离群点检测中的注意力层

Mihailo Ilić, Miloš Savić, Vladimir Kurbalija, Mirjana Ivanović, Giancarlo Fortino, Dušan Jakovetić

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究针对联邦学习中记忆增强自编码器缺乏专用聚合技术的问题，提出新颖的引导式聚合方案，在非IID数据集上验证其对无监督异常检测的鲁棒性，可提升浅层自编码器性能并适配资源受限环境。

Comments Submitted to the 4th IEEE International Conference on Federated Learning Technologies and Applications (FLTA 2026)

Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems

面向未来的缓存：用于智能体记忆系统的灌丛鸦情景记忆原理

Kartikey Singh Bhandari, Aarya Wadhwani, Dhruv Kumar, Pratik Narang

机构 * Birla Institute of Technology and Science, Pilani（比拉理工学院皮拉尼分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究借鉴灌丛鸦情景记忆原理，提出ScrubJay-MEM智能体记忆系统，通过类型条件时间衰减优化记忆管理，在TGT和MemoryAgentBench任务上取得优于现有方法的效果。

When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents

当记忆“说谎”：VLM智能体中空间记忆过时的实证研究

Yushi Sun, Yanjie Zhang

机构 * Tencent LIGHTSPEED（腾讯光速工作室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究通过动态FrozenLake测试平台，探究了VLM智能体的空间记忆过时问题，发现文本可解性不代表视觉接地、信任过时记忆存在安全隐患、审核无法完全消除差距，明确了相关核心挑战。