语言大模型 / LLM

TokenMizer: Graph-Structured Session Memory for Long-Horizon LLM Context Management

TokenMizer: 面向长程LLM上下文管理的图结构会话记忆

Shweta Mishra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出TokenMizer，一种将LLM会话历史建模为类型化知识图的开源代理系统，通过混合提取、三级检查点和8层压缩流水线，在显著减少token开销的同时保留结构化决策信息。

Comments 9 pages, 6 figures. Code and benchmark: https://github.com/Shweta-Mishra-ai/tokenmizer

psytechlab at CLPsych 2026: Utilising Natural Language Processing methods and Large Language Models for Social Media Text Analysis

CLPsych 2026 中的心理技术实验室：利用自然语言处理方法和大语言模型进行社交媒体文本分析

Igor Buyanov, Nafisa Valieva, Ekaterina Mazurina

机构 * psytechlab（心理技术实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 在 CLPsych 2026 共享任务中，利用自然语言处理方法和大语言模型对社交媒体文本进行自我状态和幸福感分析与总结，为改进心理健康支持系统做贡献。

Comments Accepted by CLPsych2026. CLPsych 2026 will be held at ACL in San Diego July 4th, 2026

IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference

IndexMem: 基于潜在记忆的学习型KV缓存驱逐策略用于长上下文LLM推理

Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Yike Guo, Sirui Han

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种可学习的索引器预测KV重要性，并结合轻量级潜在记忆模块压缩被驱逐的令牌，以在有限KV预算下实现准确的长上下文推理。

Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

在基于代理的城市交通模拟中评估用于决策的大语言模型

Bruno Cascaes Alves, Míriam Blank Born, Ulisses Gilioli Francescatto Júnior, Felipe Moura Goulart, Letícia Brandão Caldas, Marilton Sanchotene de Aguiar

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究在多智能体模拟中集成大语言模型作为决策组件，提出混合架构，通过API连接GAMA平台与外部基于大语言模型的模块，能指导智能体重规划行为，比较不同场景下效果，显示其可丰富行为表示。

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models

QSLM：一种性能和内存感知的量化框架，具有分层搜索策略用于脉冲驱动语言模型

Rachmad Vidya Wicaksana Putra, Pasindu Wickramasinghe, Muhammad Shafique

机构 * eBRAIN Lab, New York University (NYU) Abu Dhabi（eBRAIN实验室，纽约大学阿布扎比分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出QSLM框架，通过分层搜索策略和多目标性能-内存权衡函数，实现对预训练脉冲驱动语言模型的自动量化压缩，减少内存占用并降低能耗，同时保持高性能。

Comments Accepted at the Design, Automation and Test in Europe Conference (DATE) 2025 on April 20th-22nd, 2026 in Verona, Italy

MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation

MUSE-Autoskill: 通过技能创建、记忆、管理和评估实现自我进化智能体

Huawei Lin, Peng Li, Jie Song, Fuxin Jiang, Tieying Zhang

机构 * ByteDance Inc.（字节跳动公司） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MUSE-Autoskill框架，通过统一的技能生命周期（创建、记忆、管理、评估和优化）使LLM智能体持续提升任务解决能力，实验表明生命周期管理的技能可提高任务成功率、效率、复用性和跨智能体迁移。

Comments 30 pages, 9 figures, 15 tables, Under Review

Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses

你的智能体记忆并非其自身所有：针对大语言模型智能体记忆的伪造推理攻击及防御

Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体记忆伪造推理的攻击，提出FARMA攻击方法，通过规避语言伪造推理痕迹并强化，还引入SENTINEL防御管道，实验表明该防御能有效降低攻击成功率。

Comments Preprint. 10 pages, 2 figures, 4 tables

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

使用部分双向性训练混合块扩散语言模型

Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型高吞吐量长上下文生成挑战，提出BDLM Mamba-attention混合模型，通过限制反向Mamba扫描到活动去噪块解决缓存问题，在长上下文推理中吞吐量有显著提升。

Comments 16 pages, 3 figures

Dissociative Identity: Language Model Agents Lack Grounding for Reputation Mechanisms

分离性身份：语言模型代理缺乏声誉机制的基础

Botao Amber Hu, Helena Rong, Max Van Kleek

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文指出语言模型代理因本体上的分离性（模块可替换、身份流动）而无法满足声誉机制所需的身份持续性、行为可预测性和制裁敏感性，从而提出转向基于可观察性、事前、构成性、协议的行为约束。

Comments Accepted by FaccT 2026

Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models

检索头能看见图像吗？长上下文视觉语言模型中的多模态检索头

Aaron Branson Cigres Li, Zhaowei Wang, Yu Zhao, Yiming Du, Haobo Li, Xiyu Ren, Ginny Wong, Simon See, Lishu Luo, Haodong Duan, Pasquale Minervini, Yangqiu Song

机构 * HKUST（香港科技大学） ； University of Edinburgh（爱丁堡大学） ； CUHK（香港中文大学） ； NVAITC, NVIDIA, Santa Clara, USA（NVIDIA Santa Clara 分公司） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出一种多模态检索头检测方法，发现视觉语言模型中仅有4.4-10.2%的注意力头贡献了50%的正检索分数，这些头对长上下文推理至关重要，且可直接用于文档检索提升性能。

Comments Work in Progress

Organizational Memory for Agentic Business Process Execution

用于智能业务流程执行的组织记忆

Lukas Kirchdorfer, Adrian Rebmann, Christian Warmuth, Timotheus Kampik, Theiss Heilker, Gregor Berg

机构 * SAP Signavio（思爱普西格诺威） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究LLM智能体执行商业流程面临的问题，提出需组织记忆，推导其要求，给出构建与使用架构，并在采购场景中验证其有效性。

From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving

从张量缓冲区到分布式内存层次结构：大语言模型服务中键值缓存管理综述

Jie Li, Tongyang Wang, Yong Chen

机构 * Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。

TileLens: Efficiently Using Large-Granularity Memory Systems with Transparent Two-Dimensional Memory Layout

TileLens：通过透明二维内存布局高效使用大粒度内存系统

Jae Hyung Ju, Euijun Chung, Hritvik Taneja, Anish Saxena, Shinnung Jeong, Hyesoon Kim, Moinuddin K. Qureshi

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型推理受GPU高带宽内存限制问题，指出大粒度内存系统致 tiled 矩阵乘法性能降。提出用 tile-major 布局缓解读放大，介绍TileLens软硬件扩展，评估显示其能在特定条件下接近HBM性能。

Brand-as-Memory: Vision-Language Models Encode Causal, Mechanistically Localizable Credibility Priors for News Sources

品牌即记忆：视觉语言模型为新闻来源编码因果性、可机制定位的可信度先验

Chih-Ting Liao, Xin Cao

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型中基于媒体身份的来源可信度先验，通过交叉模型基准测试和机制分析，揭示其特性及影响，如模型和规模依赖性、因果形成机制等。

Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling

正确实现分层稀疏注意力：迈向无限上下文建模

Xiang Hu, Xinyu Wei, Hao Gu, Minshen Zhang, Tian Liang, Huayang Li, Lei Zhu, Yan Wang, Sirui Han, Yushi Bai, Kewei Tu, Haitao Mi, Leo Liang

机构 * Tencent HY Team（腾讯混元团队） ； ShanghaiTech University（上海科技大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何解决现代大语言模型扩展到长上下文时的计算成本和注意力长度外推问题。提出分层地标稀疏注意力机制，通过语言模型损失端到端学习块选择，实现高效长上下文建模。

Comments preprint

Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning

荷马：通过分层记忆和智能推理理解长视频

Yixin Ji, Fanghua Ye, Juntao Li, Bo Zhao, Zexuan Qiu, Zhaopeng Tu, Liefeng Bo, Min Zhang

机构 * Soochow University（苏州大学） ； Tencent Hunyuan Multimodal Department（腾讯混元多模态部） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究长视频理解问题，提出荷马分层在线记忆探索与推理框架，其记忆反映视频多尺度结构，智能推理器按人类方式探索记忆，通过多轮检索组合答案，性能优于此前最佳方法。

Comments under review

Human Thinking under Plural LLM Assistance: Mathematical Problem Solving and Open-Ended Writing

超越AI导师：基于LLM代理的社会学习

Harsh Kumar, Jace Mu, Jonathan Vincentius, Ashton Anderson

专题命中 长上下文与记忆 ：LLM(title,abstract)

AI总结 本文通过两个实验探讨多代理LLM配置是否能提升学习效果，发现与单代理相比，多代理能增强学习成果并避免单一模型的同质化问题。

Comments Working draft

Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

修复放大器，而非症状：面向智能体轨迹的稳定世界模型修正

Xinyuan Song, Zekun Cai

机构 * Emory University（埃默里大学） ； The University of Tokyo（东京大学） ； LocationMind 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 针对长流程规划中的图级错误，提出WM-SAR方法，通过子图放大反向定位因果子图进行修复，在有限token预算下优于传统扫描修复方法。

Comments Under Review

Graph-Aware Fuzzing for Graph Database Management Systems

用于图数据库管理系统的图感知模糊测试

Yu Li, Qiang Hu, Yao Zhang, Junjie Wang, Hao Liu, Rui Wang, Yongqiang Lyu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对图数据库管理系统现有测试方法不足，提出GRAF框架。通过基于级联依赖解析的图上下文感知查询生成有效多样查询，用执行状态反馈引导变异操作，提升测试效果，发现众多未知漏洞。

Kwai Summary Attention Technical Report

快手总结注意力技术报告

Chenglong Chu, Guorui Zhou, Guowang Zhang, Han Li, Hao Peng, Hongtao Cheng, Hui Wang, Jian Liang, Jiangxia Cao, Kun Gai, Lingzhi Zhou, Lu Ren, Qi Zhang, Ruiming Tang, Ruitao Wang, Xinchen Luo, Yi Su, Zhiyuan Liang, Ziqi Wang, Boyang Ding, Chengru Song, Dunju Zang, Jiao Ou, Jiaxin Deng, Jijun Shi, Jinghao Zhang, Junmin Chen, Lejian Ren, Minxuan Lv, Qianqian Wang, Qigen Hu, Shiyao Wang, Siyang Mao, Tao Wang, Xingmei Wang, Zhixin Ling, Ziming Li, Zixing Zhang

机构 * Kuaishou（快手） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究长上下文能力这一重要迭代方向，针对标准softmax注意力在长序列下时间复杂度高的问题，提出新路径，通过将历史上下文压缩为可学习总结令牌降低序列建模成本，即提出快手总结注意力机制。

Comments update related works

Context Tuning for In-Context Optimization

上下文调整用于上下文优化

Jack Lu, Ryan Teehan, Zhenbang Yang, Mengye Ren

机构 * Agentic Learning AI Lab（智能代理学习AI实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 介绍上下文调整方法，利用模型固有上下文学习能力从示例初始化可训练记忆表示并优化，提升少样本适应能力，在多基准测试中表现优于其他方法。

Comments Published at ICML 2026

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

PraMem：用于长时行为预测的实践衍生经验记忆

Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Fudan University（复旦大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究长时行为预测问题，针对大语言模型在该任务中的不足，提出PraMem范式，通过对历史序列预实践构建经验记忆辅助长时行为预测，实验证明其性能优于现有方法。

AOI: Context-Aware Multi-Agent Operations via Dynamic Scheduling and Hierarchical Memory Compression

AOI：通过动态调度和分层内存压缩实现的上下文感知多智能体操作

Zishan Bai, Hanxuan Chen, Jiayi Gu, Wenqian Weng, Enze Ge, Jiacheng Shi, Yichao Zhang, Zhimo Han, Riyang Bao, Xinyuan Song, Jacqueline Pang, Junfeng Hao

机构 * Columbia University（哥伦比亚大学） ； Hunan University（湖南大学） ； Central University of Finance and Economics（中央财经大学） ； Chongqing University（重庆大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； AI Agent Lab, Vokram Group（Vokram集团人工智能代理实验室） ； College of William and Mary（威廉与玛丽学院） ； University of Texas（得克萨斯大学） ； Zhengzhou University of Light Industry（郑州轻工业大学） ； Emory University（埃默里大学） ； Department of Nephrology, Affiliated Hospital of Guangdong Medical University（广东医科大学附属医院肾病科） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出AOI框架，通过动态任务调度和分层内存压缩，提升复杂IT基础设施的自主运维能力，实现72.4%的上下文压缩和94.2%的任务成功率。

Comments new revision

CompLLM: Compression for Long Context Q&A

CompLLM：长上下文问答的压缩方法

Gabriele Berton, Jayakrishnan Unnikrishnan, Son Tran, Mubarak Shah

机构 * Amazon（亚马逊） ； Center For Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大语言模型处理长上下文的计算挑战，提出CompLLM软压缩技术。核心方法是将上下文分段独立压缩，具有效率、可扩展性和可重用性。贡献是提升处理速度、减小缓存大小且性能可比甚至超越未压缩情况。

CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents

CompactionRL：面向长视界智能体的带上下文压缩强化学习

Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 针对长视界大语言模型智能体受上下文窗口限制的问题，提出结合上下文压缩的强化学习方法，联合优化任务执行与摘要生成，在智能体编码任务上取得显著性能提升。

Memory-Orchestrated Semantic System (MOSS): An Auditable Agentic Memory Architecture

内存编排语义系统（MOSS）：一种可审计的智能记忆架构

Serge Lacasse, Jérémie Hatier, Alex Baker

机构 * Faculté de musique, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学音乐学院） ； Faculté des sciences et de génie, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 研究针对AI智能体长期记忆的弱点，提出MOSS架构，通过在结构化关系数据库上驱动检索，具有模型、存储、API无关性，检索可审计且从语料库派生概念词汇，报告了在个人学者工作语料库上的长期部署。

Comments 22 pages, 2 figures

AGL-1: The Enterprise AI Governance Layer as a Control Plane for Trusted Enterprise Intelligence

AGL-1：作为可信企业智能控制平面的企业人工智能治理层

Roopam W. Sure

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 研究企业人工智能从实验走向运营面临的治理挑战，介绍AGL-1企业人工智能治理层这一参考模型，基于相关原则将治理问题从检索控制扩展到全执行路径治理，定义七个治理领域。

Comments 16 pages, 1 figure; independent technical report

ArchEval: Measuring AI Agents as Computer Architects

ArchEval：将人工智能代理作为计算机架构师进行评估

Chenyu Wang, Zishen Wan, Jeffrey Ma, Shvetank Prakash, Zhenting Qi, Haebin Do, Andy Cheng, Arya Tschand, Jiahe Shi, Yilun Du, Vijay Janapa Reddi

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 介绍用于评估大语言模型代理在计算机架构设计与优化方面的ArchEval基准和平台，含20个挑战及8个模拟器，通过不同设置运行，报告性能并记录轨迹，揭示当前代理的优缺点及后续所需能力。

When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

何时不写入内存：管理来自相关代理痕迹的错误推广

Yijiashun Qi, Xiang Xu, Yuxuan Li

专题命中 长上下文与记忆 ：language agent(abstract)

AI总结 研究语言代理从执行痕迹写入可复用内存时何时应拒绝写入的问题，引入GovMem策略，通过估计依赖感知支持等进行决策，在测试中能减少错误推广。

Comments accepted by mlise 2026