语言大模型 / LLM

RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention

RIS-Kernel：一种通过稀疏注意力实现长上下文语言模型推理的模型无关架构

Anderson R. Santos

机构 * Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型全自注意力复杂度高限制长上下文分析的问题，提出RIS-Kernel模型无关架构，通过稀疏随机几何降低复杂度，经实验验证其在不同设置下的有效性及在普通CPU服务器上实现长上下文推理的可行性。

Comments 20 pages, 9 figures, 5 tables

BatchDAG: LLM-Planned Execution Graphs for Scalable Ad-Hoc Analysis Over Enterprise Data

BatchDAG：用于企业数据上可扩展即席分析的大语言模型规划执行图

Anupreet Walia

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对企业数据跨实体分析问题，提出BatchDAG系统，大语言模型生成操作DAG，经确定性引擎评估。通过实体感知批处理优化，减少大语言模型调用。实验显示其质量高、溯源性好，能高效处理查询，是通用编排层替代手工工作流程。

Comments 9 pages, 2 figures, 9 tables

Mitigating Over-Personalization in LLMs via Structured Memory

通过结构化内存缓解大型语言模型（LLM）中的过度个性化问题

Hakeem Hannoon, Andrew Zhao, Mihir Narayan, Sharvin Goyal, Ivaxi Sheth

机构 * University of Saskatchewan（萨斯喀彻温大学） ； University of California–Irvine（加州大学欧文分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Obra D. Tompkins High School（奥布拉·D.汤普金斯高中） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对内存增强LLM的跨域泄漏和内存诱导谄媚问题，提出推理时按领域划分内存的结构化呈现方法，在PersistBench七个模型上平均降低8.8%跨域泄漏且保持实用性。

Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement

通过迭代优化从隐式交互流中学习动态用户画像

Haifeng Wu

机构 * PayPal（贝宝） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有个性化LLM依赖显式偏好监督的局限，提出IRIS框架，通过隐式交互流迭代优化用户画像，在Reddit AITA数据上的100位作者测试中，其决策预测准确率达61.0%，优于多种基线方法。

Comments 23 pages, 1 figure, 3 tables

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

大语言模型中的现实监测：随对话记忆而转变的自我认知

Saurabh Ranjan, Konstantina Sokratous, Brian Odegaard

机构 * University of Florida（佛罗里达大学） ； University of Missouri（密苏里大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中现实监测能力，通过两个实验和六个模型发现来源归因依赖对话记忆结构，反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题，表明评估模型知识时追踪来源很重要。

Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models

大规模提示设计：格式、指令数量和上下文长度如何影响大语言模型中的指令遵循和幻觉

Netanel Eliav

机构 * Machine Human Intelligence Lab (MHIL)（机器人类智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型提示设计中格式、指令数量和上下文长度对指令遵循及幻觉的影响，通过在合成语料库上的两个控制实验评估五个模型，揭示了不同因素下的表现及规律，还发布了相关工具和结果。

Comments 21 pages, 6 figures. Code and data: https://github.com/iNetanel/veyrabench

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology（万隆理工学院） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

G-Long：面向高效长期对话代理的图增强记忆管理

Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 长上下文与记忆 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出G-Long框架，利用微调小语言模型进行结构化三元组提取和关联检索，并引入注意力感知重要性评分机制，在降低计算开销的同时，在响应生成和记忆检索上达到最优性能。

Comments 22 pages, 8 figures, 14 tables

Heterogeneous LLM Serving with General-Purpose Processing-Near-Memory for Retrieval-Based Sparse Attention

面向基于检索的稀疏注意力的通用近内存处理异构大语言模型服务

Hyungkyu Ham, Junhyeong Bae, Seungheon Lee, Myeongjae Jeon, Gwangsun Kim

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 本文针对前沿LLM的基于检索的稀疏注意力需求，提出异构解码服务系统KARAT，结合PNM与OFMS、CMR优化，大幅提升吞吐量与每TDP性能。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis

利用已解决的事件历史进行大语言模型辅助的软件错误诊断

Boyuan Guan, Hailu Xu, Jamie Rogers

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究利用已解决事件历史进行软件错误诊断，提出OM-RAG方法，将问题索引为三元组并单跳嵌入检索先例，为大语言模型管理员提供支持，实验表明该方法在诊断准确率和修复正确性上优于其他方法。

Comments 6 pages, 3 figures, accepted at IEEE SMC 2026

Co-LMLM: Continuous-Query Limited Memory Language Models

Co-LMLM：连续查询有限记忆语言模型

Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi

机构 * Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出连续查询有限记忆语言模型CO-LMLM，通过将知识库的键与文本知识值配对，以低成本生成灵活向量查询，整合检索知识。经多数据集预训练和多模型规模测试，在困惑度和事实精度上优于同类模型。

Comments preprint

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

使用部分双向性训练混合块扩散语言模型

Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型高吞吐量长上下文生成挑战，提出BDLM Mamba-attention混合模型，通过限制反向Mamba扫描到活动去噪块解决缓存问题，在长上下文推理中吞吐量有显著提升。

Comments 16 pages, 3 figures

Steganalysis of Adaptive Covert Collusion in Tool-Using Agent Populations: A Black-Box, Cross-Principal Approach

使用工具的智能体群体中自适应隐式合谋的隐写分析：一种黑盒跨主体方法

Mohamed Chahine Ghanem

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对使用工具的LLM智能体群体的自适应隐式合谋，构建结合多类方法的黑盒隐写分析检测器，开展红蓝对抗实验，绘制检测容量边界并发现新的规避手段。

Comments 10 pages

Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory

理解在早期完成：大语言模型的深度分工及其在无界上下文记忆中的应用

Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Rayying, Key, Alex Lamb, Mingyu Gao

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 该研究提出CoMem方法，利用大语言模型的深度分工构建无界上下文记忆，在RULER、LoCoMo等基准上性能优于全上下文KV-Direct，内存占用低、预填充速度快，证明长上下文记忆可沿层轴组织。

Comments 19 pages, 4 figures, 27 tables. Submitted to ACL Rolling Review

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

从未来回溯：基于反事实惊奇的键值缓存管理

Stephen Gould, Anton van den Hengel

机构 * Metacognition AI（元认知人工智能） ； Australian National University（澳大利亚国立大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM的KV缓存内存占用问题，提出基于反事实惊奇的KV驱逐方案及快速单层近似方法，在基准测试中性能优于或可与现有最优方法竞争。

Comments 17 pages, 5 figures

MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models

MedLoCoMo：用于大语言模型的长上下文多会话医学对话基准

Zeyu Zhang, Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型在多入院医学对话临床推理方面的不足，构建MedLoCoMo基准，通过特定方法生成问答项目，含100个患者时间线，发现跨入院推理比局部证据使用难，提供代码和基准供使用与复现。

RAVEN: Agentic RAG for Automated Vulnerability Repair

RAVEN：用于自动化漏洞修复的智能体检索增强生成框架

Varun Gadey, Zijie Liu, Alexandra Dmitrienko

机构 * University of Duisburg-Essen（杜伊斯堡- Essen大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出RAVEN框架，集成智能体RAG管道与可控迭代修复，利用开源LLM实现跨类型、跨语言的自动化漏洞修复，在160个真实CVE上达到83.13%修复成功率。

Comments 17 Pages, 4 figures. Under review

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

立场：海马体显式记忆是通用人工智能的基石

Sangjun Park

机构 * Sangjun Park 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文主张，将显式记忆整合到大语言模型中是迈向通用人工智能的关键，因为LLM的学习机制类似人类内隐记忆，而高阶认知功能依赖海马体显式记忆。

Comments Accepted to ICML 2026 (Position Paper Track)

MASS: Deep Research for Social Sciences with Memory-Augmented Social Simulation

MASS：基于记忆增强社会模拟的深度社会科学研究

Yongrui Liu, Deyi Xiong

机构 * The International Joint Institute of Tianjin University, Fuzhou, Tianjin University, China（天津大学福州国际联合学院） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院TJUNLP实验室） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MASS范式，通过动态目标路径规划、多学科行为数据集和艾宾浩斯遗忘机制增强社会模拟真实性，提升LLM生成研究的洞察力与创新性，整体质量提升6.81%，洞察力提升17.19%。

Customer-Agent: Overcoming Context Limitations in Ultra-Long Shopping Trajectories via Tool-Augmented Agents and RLVR

客户代理：通过工具增强代理和RLVR克服超长购物轨迹中的上下文限制

Hongye Liu, Rongmei Lin, Anurag Kashyap, Hejie Cui, Ricardo Henao, Besnik Fetahu, Bing Yin

机构 * Amazon（亚马逊） ； Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ShopTrajQA基准和客户代理框架，利用RLVR训练代理通过代码解释器自主检索解析外部轨迹文件，突破LLM上下文窗口限制，在超长购物轨迹推理中取得强性能。

Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

智能体记忆蒸馏：用分层教师记忆赋能小型大语言模型智能体

Taeil Kim, Kangsan Kim, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出无需训练的Agent Memory Distillation框架，通过从大型教师智能体构建三类分层记忆迁移知识，提升小型大语言模型智能体的工具使用性能，在三个基准上实现显著准确率提升且优于现有基线。

Comments Under review

DREAM: LLM-based Dynamic Role-playing via Event-Aware Memory Graph

DREAM：基于大语言模型的事件感知记忆图动态角色扮演

Zhihao Xiao, Mengting Li, Xintao Wang, Linfeng Li, Limin Shui, Mengqi Ji, Borui Cai

机构 * Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DREAM是一种受ABC认知模型启发的结构化记忆框架，通过EMG提升角色扮演智能体的时间与因果连贯性，在CoSER、LIFECHOICE和TCM上取得最优性能。

Comments Accepted at KDD 2026. Camera-ready version to appear. 16 pages, 5 figures

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models

ForgetBench：语言模型中长期参数记忆的遗忘动态基准测试

Ruxi Gu, Zhenliang Zhang, Wei Wang

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ForgetBench基准测试，通过两种评估范式与统一分析框架，揭示现有LLMs在长期知识保留与泛化间难以平衡的问题，为未来模型记忆机制优化提供方向。

Comments 9 pages, 4 figures

How Affect Propagates among LLM Agents: Emergent Emotional Contagion in Crowd Simulation

情感如何在大语言模型智能体之间传播：人群模拟中的涌现情感传染

Funda Durupinar

机构 * University of Massachusetts（马萨诸塞大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多智能体人群模拟中情感传播，通过感知 - 评估 - 表达循环及借鉴相关模型构建架构，在多场景评估，揭示情感传染动态，包括警报扩散、个性影响等，还发现评估步骤动态依赖后端。

Comments 31 pages, 14 figures

HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding

HiKV：用于大语言模型解码的具有硬件加速的分层重要性感知键值缓存

Chao Fang, Jun Yin, Man Shi, Marian Verhelst

机构 * ESAT-MICAS, KU Leuven（KU莱顿大学ESAT-MICAS） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大语言模型解码时键值缓存的内存瓶颈，HiKV提出算法-硬件协同设计，通过分层重要性感知在两粒度压缩缓存，开发专用加速器统一两阶段加速，在大语言模型上评估实现加速、降能及减少内存访问，优于现有方法。

Comments To appear in the IEEE Transactions on Circuits and Systems I: Regular Papers (TCAS-I)

Extending LLM Context via Associative Recurrent Memory

通过关联循环记忆扩展大语言模型上下文

Gleb Kuzmin, Ivan Rodkin, Aydar Bulatov, Yuri Kuratov, Lyudmila Rvanova, Mikhail Katkov, Ilia Sochenkov, Misha Tsodyks, Timothy Baldwin, Mikhail Burtsev, Artem Shelmanov

机构 * FusionBrain Lab（融合大脑实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Cognitive AI Systems Lab（认知人工智能系统实验室） ； RUDN（俄罗斯人民友谊大学） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） ； MIRAI（未来人工智能研究机构） ； Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学） ； Laboratory for Analysis and Controllable Text Generation Technologies RAS（俄罗斯科学院分析与可控文本生成技术实验室） ； School of Natural Sciences, Institute for Advanced Study, Princeton（普林斯顿高等研究院自然科学学院） ； Department of Brain Sciences, Weizmann Institute of Science（魏茨曼科学研究所脑科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何通过关联循环记忆扩展大语言模型上下文长度。提出ARMT方法，构建特定数据集，给出综合训练方法。实验表明该方法能让模型处理超长输入，更好泛化，且降低计算量。

From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning

从权重到特征：SAE引导的激活正则化用于大语言模型持续学习

Evan Ning, Wei Xue, Dong Lou, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型持续学习中的灾难性遗忘问题，提出利用预训练稀疏自编码器（SAE）在激活空间进行正则化，通过特征掩码平衡稳定性和可塑性，无需旧任务数据，内存效率高，在TRACE和MedCL基准上超越EWC等方法。

Comments 21 pages, 4 figures, 6 tables

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

SMSR：针对持久化LLM代理系统中运行时内存投毒的认证防御

Tarun Sharma

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出SMSR防御框架，通过写入时HMAC签名和查询时随机化内存消融与基于判决的多数投票，首次为多会话内存投毒攻击提供认证鲁棒性保证。