语言大模型 / LLM

KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction

KVReviver: 基于草图算法的可逆KV缓存压缩

Aomufei Yuan, Zhiming Wang, Ruijie Miao, Dayu Wang, Yuxuan Tian, Zihan Wang, Yebo Peng, Yuhan Wu, Bairen Yi, Xin Liu, Tong Yang

机构 * ByteDance Inc.（字节跳动公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 KVReviver通过基于草图算法的可逆方法，在有限内存下实现高效KV缓存压缩，保持推理准确性。

Comments 12 pages, 6 figures

Memoria: A Scalable Agentic Memory Framework for Personalized Conversational AI

Memoria: 一种可扩展的代理记忆框架用于个性化对话式AI

Samarth Sarin, Lovepreet Singh, Bhaskarjit Sarmah, Dhagash Mehta

机构 * BlackRock, Inc.（黑石公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Memoria通过结合动态摘要和加权知识图，为LLM提供持久记忆，实现对话连贯性和个性化，适用于需要适应性用户体验的行业应用。

Comments Paper accepted at 5th International Conference of AIML Systems 2025, Bangalore, India

Compactor: Calibrated Query-Agnostic KV Cache Compression with Approximate Leverage Scores

Compactor: 基于近似杠杆分数的校准查询无关KV缓存压缩

Vivek Chari, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Compactor通过近似杠杆分数实现查询无关的KV缓存压缩，减少内存占用并提升性能，适用于多种语言模型部署场景。

A Preliminary Study on the Promises and Challenges of Native Top-$k$ Sparse Attention

关于原生Top-k稀疏注意力的潜力与挑战的初步研究

Di Xiu, Hongyin Tang, Bolin Rong, Lizhi Yan, Jingang Wang, Yifan Lu, Xunliang Cai

机构 * Meituan, Beijing, China（美团，北京，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本研究探讨了原生Top-k稀疏注意力机制在解码和训练中的有效性，通过实验验证其在提升模型性能方面的潜力，并从熵的角度解释了其在下游任务中的优势。

G-KV: Decoding-Time KV Cache Eviction with Global Attention

G-KV：基于全局注意力的解码时间KV缓存淘汰

Mengqi Liao, Lu Wang, Chaoyun Zhang, Zekai Shen, Xiaowei Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Huaiyu Wan

机构 * School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学） ； MicroSoft（微软） ； Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通数据挖掘与具身智能重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 G-KV通过结合局部和历史注意力分数的全局评分机制，改进KV缓存淘汰，提升大语言模型的推理效率。

ParaDySe: A Parallel-Strategy Switching Framework for Dynamic Sequence Lengths in Transformer

Zhixin Ou, Peng Liang, Jianchen Han, Baihui Liu, Linbo Qiao

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI-Driven Day-to-Day Route Choice

Leizhen Wang, Peibo Duan, Zhengbing He, Cheng Lyu, Xin Chen, Nan Zheng, Li Yao, Zhenliang Ma

机构 * Department of Data Science and Artificial Intelligence, Monash University（数据科学与人工智能系，莫纳什大学） ； Laboratory for Information & Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院） ； Chair of Transportation Systems Engineering, Technical University of Munich（交通系统工程教授职位，慕尼黑技术大学） ； School of Civil Engineering, The University of Queensland（土木工程学院，昆士兰大学） ； Department of Civil Engineering, Monash University（土木工程系，莫纳什大学） ； School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

MindSearch: Mimicking Human Minds Elicits Deep AI Searcher

Zehui Chen, Kuikun Liu, Qiuchen Wang, Jiangning Liu, Wenwei Zhang, Kai Chen, Feng Zhao

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, USTC（脑启发智能感知与认知国家重点实验室，中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ICLR2025. Project Page: https://mindsearch.netlify.app Code: https://github.com/InternLM/MindSearch

Model-Document Protocol for AI Search

Hongjin Qian, Zheng Liu

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages

AttentionPredictor: Temporal Patterns Matter for KV Cache Compression

Qingyue Yang, Jie Wang, Xing Li, Zhihai Wang, Chen Chen, Lei Chen, Xianzhi Yu, Wulong Liu, Jianye Hao, Mingxuan Yuan, Bin Li

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知联合实验室，中国科学技术大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

Tao Bu, Qiangang Wang, Bowen Zeng, Hanwen Sun, Yunpeng Huang, Chun Cao, Jingwei Xu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； Zhejiang University, China（浙江大学） ； Peking University, China（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 56 pages

Continual Learning via Sparse Memory Finetuning

Jessy Lin, Luke Zettlemoyer, Gargi Ghosh, Wen-Tau Yih, Aram Markosyan, Vincent-Pierre Berges, Barlas Oğuz

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Haystack Engineering: Context Engineering for Heterogeneous and Agentic Long-Context Evaluation

Mufei Li, Dongqi Fu, Limei Wang, Si Zhang, Hanqing Zeng, Kaan Sancak, Ruizhong Qiu, Haoyu Wang, Xiaoxin He, Xavier Bresson, Yinglong Xia, Chonglin Sun, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Meta AI ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Code available at https://github.com/Graph-COM/HaystackCraft

Understanding and Improving Information Preservation in Prompt Compression for LLMs

Weronika Łajewska, Momchil Hardalov, Laura Aina, Neha Anna John, Hang Su, Lluís Màrquez

机构 * University of Stavanger（斯塔万格大学） ； AWS AI Labs（AWS AI实验室） ； Technical University of Catalonia (UPC)（加泰罗尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Comments Accepted to EMNLP 2025 (Findings), 22 pages, 6 figures, 24 tables

Learning on the Job: An Experience-Driven Self-Evolving Agent for Long-Horizon Tasks

Cheng Yang, Xuemeng Yang, Licheng Wen, Daocheng Fu, Jianbiao Mei, Rong Wu, Pinlong Cai, Yufan Shen, Nianchen Deng, Botian Shi, Yu Qiao, Haifeng Li

机构 * Central South University（中南大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CAOTE: KV Cache Selection for LLMs via Attention Output Error-Based Token Eviction

Raghavv Goel, Junyoung Park, Mukul Gagrani, Dalton Jones, Matthew Morse, Harper Langston, Mingu Lee, Chris Lott

机构 * Qualcomm Technologies, Inc.（高通技术公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

Comments 15 pages, 3 figures, 13 tables

RAG over Tables: Hierarchical Memory Index, Multi-Stage Retrieval, and Benchmarking

Jiaru Zou, Dongqi Fu, Sirui Chen, Xinrui He, Zihao Li, Yada Zhu, Jiawei Han, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta AI ； IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Comments Project Link: https://github.com/jiaruzouu/T-RAG

Efficient Context Selection for Long-Context QA: No Tuning, No Iteration, Just Adaptive-$k$

Chihiro Taguchi, Seiji Maekawa, Nikita Bhutani

机构 * University of Notre Dame（内布拉斯加大学达灵顿分校） ； Megagon Labs（梅加贡实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments 26 pages, 16 tables, 5 figures. Accepted at EMNLP 2025 (Main)

ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration

Xianglong Yan, Zhiteng Li, Tianao Zhang, Haotong Qin, Linghe Kong, Yulun Zhang, Xiaokang Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

You Can't Steal Nothing: Mitigating Prompt Leakages in LLMs via System Vectors

Bochuan Cao, Changjiang Li, Yuanpu Cao, Yameng Ge, Ting Wang, Jinghui Chen

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Stony Brook University（石溪大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 29 pages, 10 tables, 6figures, accepted by CCS 25

Context Is What You Need: The Maximum Effective Context Window for Real World Limits of LLMs

Norman Paulsen

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 20 pages, 4 charts

MemOrb: A Plug-and-Play Verbal-Reinforcement Memory Layer for E-Commerce Customer Service

Yizhe Huang, Yang Liu, Ruiyu Zhao, Xiaolong Zhong, Xingming Yue, Ling Jiang

机构 * Xiaoduo AI（小多AI） ； Fudan University（复旦大学） ； East China University of Science and Technology（东华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

MindRef: Mimicking Human Memory for Hierarchical Reference Retrieval with Fine-Grained Location Awareness

Ye Wang, Xinrun Xu, Zhiming Ding

机构 * Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025

Cognitive Workspace: Active Memory Management for LLMs -- An Empirical Study of Functional Infinite Context

Tao An

机构 * Hawaii Pacific University（夏威夷太平洋大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 1 figure, code available at https://github.com/tao-hpu/cognitive-workspace

ParallelSearch: Train your LLMs to Decompose Query and Search Sub-queries in Parallel with Reinforcement Learning

Shu Zhao, Tan Yu, Anbang Xu, Japinder Singh, Aaditya Shukla, Rama Akkiraju

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Designing Memory-Augmented AR Agents for Spatiotemporal Reasoning in Personalized Task Assistance

Dongwook Choi, Taeyoon Kwon, Dongil Yang, Hyojun Kim, Jinyoung Yeo

机构 * Language & AGI Lab（语言与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

Comments 7 pages, 2 figures

MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents

Zijian Zhou, Ao Qu, Zhaoxuan Wu, Sunghwan Kim, Alok Prakash, Daniela Rus, Jinhua Zhao, Bryan Kian Hsiang Low, Paul Pu Liang

机构 * Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联合研究技术中心） ； National University of Singapore（国立新加坡大学） ； MIT（麻省理工学院） ； Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；prompting(abstract)；language agent(abstract)；分类 cs.CL、cs.AI

Advancing Retrieval-Augmented Generation for Structured Enterprise and Internal Data

Chandana Cheerla

机构 * IIT Roorkee（罗尔基大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Rethinking Associative Memory Mechanism in Induction Head

Shuo Wang, Issei Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments COLM 2025

State and Memory is All You Need for Robust and Reliable AI Agents

Matthew Muhoberac, Atharva Parikh, Nirvi Vakharia, Saniya Virani, Aco Radujevic, Savannah Wood, Meghav Verma, Dimitri Metaxotos, Jeyaraman Soundararajan, Thierry Masquelin, Alexander G. Godfrey, Sean Gardner, Dobrila Rudnicki, Sam Michael, Gaurav Chopra

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 5 Main Figures, 10 Extended Data Figures (37 Pages) for Manuscript ; 9 Supplementary Tables, 40 Supplementary Figures (180 Pages) for Supporting Information