语言大模型 / LLM

MemoryForge: Synthesize Lifelong Memory for Human-Like LLM Agents

MemoryForge：为类人LLM智能体合成终身记忆

Bohan Tang, Yiwen Guo

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MemoryForge是从简短目标画像合成终身记忆的框架，通过记忆条件让冻结LLM动态检索相关记忆，在两类任务实验中使其表现更类人。

Preserving Admission Responsibility in Multi-Tenant Large Language Model Prefix Caches

在多租户大语言模型前缀缓存中保留准入责任

Zhiyu Wang, Rajkumar Buyya

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 针对多租户LLM前缀缓存的准入责任缺口，提出PrefixShield方法，在vLLM中实现后可显著提升受害者缓存命中率，恢复良性行为并优化资源利用。

MemArbiter: Decision-Time Memory Arbitration for Long-Horizon LLM Agents

MemArbiter：面向长 horizon LLM 智能体的决策时内存仲裁

Jiajun Dong, Yutao Hu, Fengrui Fan, Shihan Dou, Yueming Wu, Deqing Zou

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对长 horizon LLM 智能体的内存-行动差距，提出感知功能的内存仲裁框架 MemArbiter，在 ALFWorld 上大幅提升行动成功率，减少失败行动相关问题。

Comments 9 pages, 3 figures, 5 tables

Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models

注意力汇点作为大语言模型幻觉检测的内部信号

Jakub Binkowski, Kamil Adamczewski, Tomasz Kajdanowicz

机构 * Department of Artificial Intelligence, Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学人工智能系） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出SinkProbe方法，通过分析注意力汇点揭示幻觉检测机制，基于理论提出新的检测方法，在多个数据集和LLM上取得最佳性能。

Comments Accepted at ICML 2026

On the Diffusion of Test Smells in LLM-Generated Unit Tests

论LLM生成的单元测试中测试异味的扩散

Wendkûuni C. Ouédraogo, Yinghua Li, Xueqi Dang, Xunzhu Tang, Anil Koyuncu, Jacques Klein, David Lo, Tegawendé F. Bissyandé

专题命中 长上下文与记忆 ：LLM(title,title_cn)；prompting(abstract)

AI总结 本研究通过多基准大规模分析，对比LLM生成、人类编写及EvoSuite生成的单元测试，发现LLM生成测试存在特定测试异味，受提示策略等影响，凸显基于LLM的测试生成的潜力与风险，呼吁开发相关优化方案。

Comments Accepted at Transactions on Software Engineering and Methodology (TOSEM) journal on 31 July 2026

MNC: Scope-Bound Semantic Declassification for Private LLM-Agent Communication

MNC：面向私有大语言模型智能体通信的范围受限语义解密

Jinghan Xu, Longze Fan, Zeyuan Wang, Xinjin Li, Hankai Liu

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对多智能体LLM系统的隐私泄露问题，提出范围受限语义解密协议MNC，通过绑定披露范围实现授权信息传递，阻止未授权操作，为私有LLM智能体系统提供实用通信边界。

Practical Online KV Cache Compaction for LLM Agents: An Empirical Study

面向LLM智能体的实用在线KV缓存压缩：一项实证研究

Yujian Liu, Jiabao Ji, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； LinkedIn（领英公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 该研究针对LLM智能体的KV缓存瓶颈，实证对比了令牌驱逐与注意力匹配两类在线压缩方法，发现延迟压缩可恢复性能，令牌驱逐在代理不完善时更鲁棒，能大幅压缩KV缓存并提升吞吐量。

AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications

AiFlow：面向流式大语言模型应用的带界背压令牌原生反应式编排框架

Qunhui Zhang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有流式LLM工作流编排的背压等管理缺陷，提出AiFlow令牌原生反应式编排模型，经实验验证可降低应用TTFPT并控制队列深度。

Comments 24 pages, 5 figures, 12 tables, 1 algorithm, and 1 code listing. Public implementation: https://github.com/ModelEngine-Group/fit-framework

Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection

边缘语言模型的结构化记忆：通过O(1) SSM状态注入实现持久上下文与语料库检索

Anusha Madan Gopal, Aras Pirbadian, Kristofor D. Carlson, M Anthony Lewis, Jonathan Tapson

机构 * BrainChip Inc.（BrainChip公司） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对边缘语言模型提出PRECOG与SMC机制，将SSM预填充成本压缩至O(1)，在1.2B参数的TENNs-LLM上实现约4500倍预填充加速，达到与RAG相当的答案质量。

A Hamiltonian-Inspired Local-Operator Ansatz for Slimming Large Language Models

一种用于高效大语言模型的通用张量结构压缩方案

Ying Lu, Peng-Fei Zhou, Qi-Xuan Fang, Pan Zhang, Shi-Ju Ran, Gang Su

机构 * School of Physical Sciences, University of Chinese Academy of Sciences（中国科学院大学物理科学学院） ； Kavli Institute for Theoretical Sciences, University of Chinese Academy of Sciences（中国科学院大学理论科学研究院） ； Center for Quantum Physics and Intelligent Sciences, Department of Physics, Capital Normal University（首都师范大学量子物理与智能科学中心） ； Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出张量混合（MixT）方案，通过将密集线性层替换为张量算子混合体，在保持MMLU准确率的同时大幅减少参数、FLOPs和内存。

Comments 10 pages, 4 figures

Reliable Post-Retrieval Assembly for Agent Memory: Separating Evidence Extraction from Policy Execution

不要询问LLM追踪新鲜度：一种确定性的内存冲突解决策略

Vikas Reddy, Sumanth Reddy Challaram

机构 * IIT Kgp（印度理工学院科钦分校） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 针对基于LLM的内存系统中事实冲突解决性能低下的问题，提出用候选提取加Python max(serial)的确定性聚合替代LLM判断，在单跳任务上提升10.8个百分点，并扩展到多跳任务。

Comments 11 pages, 5 tables. Accepted as a poster at the Lifelong Agent Workshop at COLM 2026. Code: https://github.com/cvikasreddy/memory-conflict-resolution

SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks

SoK：面向意图的多轮大语言模型越狱系统化研究

Siyuan Li, Aodu Wulianghai, Zehao Liu, Xi Lin, Qinghua Mao, Haoyu Li, Xiang Chen, Siyuan Liang, Jun Wu, Jianhua Li, Dacheng Tao

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出面向意图的多轮LLM越狱分类法，发现攻击有效性取决于意图组织精细度，推动检测范围升级，表明轮级安全机制不足，需对应层级评估协议。

SeDeM: Selective Decompression of Hidden-State Memories for Long-Context Question Answering

SeDeM：面向长上下文问答的隐藏状态记忆选择性解压

Maryam Haghifam, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对LLM长上下文推理成本高、证据利用不可靠的问题，提出SeDeM选择性解压框架，通过解耦记忆存储与解码器条件，在1B、3B主干的四个长上下文QA基准上，优于压缩基线及全上下文微调方法，还提升了解码效率。

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem：协同演化检索策略与记忆库的大语言模型智能体框架

Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 CoEvo-Mem是协同演化检索策略与记忆库的闭环框架，通过交替更新路由器与记忆库，在七个基准测试中实现了大语言模型智能体的最先进性能。

Learning What to Remember and What to Internalize in LLM Self-Evolution via Adaptive Memory-Parameter Coordination

在大语言模型自进化中通过自适应记忆-参数协调学习该记住什么和该内化什么

Tianyun Ji, Zhenya Huang, Jiayu Liu, Zirui Liu, Yu Su, Hongbin Pei

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Hefei Normal University（合肥师范学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出 COVE 框架，通过任务感知路由等方式协调大语言模型自进化的记忆与参数通道，解决单通道进化的灵活性与性能权衡问题，在多任务上实现更稳健高效的改进。

ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts

ThAME：用于大语言模型专家混合的支持3D内存的异构加速器

Pratyush Dhingra, Pramit Kumar Pal, Janardhan Rao Doppa, Partha Pratim Pande

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对传统硬件上MoE推理的瓶颈，提出ThAME这一3D异构多芯片架构，采用特殊内存芯片及计算映射策略，设计优化的片上网络通信主干，实验显示其在加速和能源效率上比现有技术有显著提升。

Comments Accepted for Publication in IEEE/ACM Embedded Systems Week (ESWEEK-26)

OnePred: Next-Query Prediction via Recursive Intent Memory in Multi-Turn Conversations

OnePred: 多轮对话中基于递归意图记忆的下一个查询预测

Jiangwang Chen, Bowen Zhang, Zixin Song, Jiazheng Kang, Xiao Yang, Da Zhu, Guanjun Jiang

机构 * Tsinghua University（清华大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多轮对话中下一个查询预测任务，提出OnePred模型，通过递归更新的意图记忆代替完整历史，结合两阶段强化学习训练，在NQP-Bench基准上实现高达22倍的每轮token节省且预测质量优于所有基线。

Securing Agentic AI: From Per-Action Checks to Trajectory Assurance

安全智能体AI：从单步行动检查到轨迹保障

Alireza Lotfi, Subangkar Karmaker Shanto, Imtiaz Karim, Elisa Bertino

机构 * Purdue University（普渡大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究围绕自主智能体安全领域，梳理了单智能体、多智能体及宏观层面的各类安全挑战，提出安全需成为智能体架构等的可验证属性，为可信自主智能体部署提供路线图。

Comments 6 pages. Accepted to the ACM AI Leadership Summit 2026 (Visionary Track)

Context Compaction Theory

上下文压缩理论

Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文对上下文压缩开展形式化研究，构建含两个博弈的框架，证明上下文生成博弈与单向通信复杂性等价，还通过案例评估Anthropic的上下文压缩端点性能。

Comments 21 pages, 2 figures, Preliminary version

TrajWiki: Source-Grounded Memory Trajectories for Long-Horizon Dialogue Agents

TrajWiki：面向长程对话智能体的基于来源的记忆轨迹

Jingyu Sun, Yuyang Xue, Mingyang Li, Zhengtao Yao, Jiachen Li, Yang Cui, Wenhao Cai, Haozhe Liu, Fangying Wang, Magdalene Katharina Montgomery, Syed Murtuza Baker, Hongpeng Zhou

机构 * The University of Manchester（曼彻斯特大学） ； The University of Melbourne（墨尔本大学） ； The University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对长程对话智能体的记忆可追溯性与透明性问题，提出TrajWiki框架，通过轨迹式记忆表示与Memory Wiki中间层提升对话性能及可解释性。

ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

ObjectStream：将潜在对象作为记忆锚点用于流视频理解

Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出无需训练的 ObjectStream 框架，以潜在对象为记忆锚点组织流视频证据，使 Video-LLMs 无需改动即可推理对象相关内容，在多基准上实现性能提升且内存与推理效率显著优化。

Comments https://github.com/DMK041218/ObjectStream

DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures

DCC: 面向处理-内存架构的机器学习内核数据驱动编译

Peiming Yang, Sankeerth Durvasula, Ivan Fernandez, Mohammad Sadrosadati, Onur Mutlu, Gennady Pekhimenko, Christina Giannoula

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； ETH Zürich（苏黎世联邦理工学院） ； Nvidia（英伟达） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对PIM系统中数据重排与计算代码优化相互依赖的问题，提出数据驱动的编译器DCC，通过统一调优联合优化数据重排与计算代码，在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。

FedWorld: Scope-Aware Federation of Agent World Models

FedWorld：感知范围的智能体世界模型联邦

Yuchao Hou

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FEDWORLD是一种感知范围的智能体世界模型联邦协议，通过交换结构化抽象转移规则，减少冲突动态下的负迁移，提升智能体任务成功率。

Memory Reward Inflation in Self-Improving LLM Agents

自改进大语言模型智能体中的记忆奖励膨胀

Mohammad Asadolahi, Amir Amini, Samira Talebi, Amirfarhad Farhadi, Azadeh Zamanifar

机构 * University Of North Texas（北得克萨斯大学） ； Edge Hill University（边山大学） ； University of Cincinnati（辛辛那提大学） ； Iran University of Science and Technology（伊朗科技大学） ； Islamic Azad University（伊斯兰阿扎德大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究发现自改进大语言模型智能体存在记忆奖励膨胀的“回声差距”问题，提出误差独立性假设（EIA），并通过LUCID算法在BIRD文本到SQL基准上提升了执行准确率。

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction

CTR-Sink：用于点击率预测的语言模型中的注意力汇聚点

Zixuan Li, Binzong Geng, Jing Xiong, Yong He, Yuxuan Hu, Jian Chen, Dingwei Chen, Xiyu Chang, Ngai Wong, Liang Zhang, Linjian Mo, Chengming Li, Chuan Yuan, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（神经信息处理教育部重点实验室，自动化研究所，中国科学院） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（香港城市大学） ； Sun Yat-sen University（中山大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 针对用户行为序列与语言模型预训练文本之间的结构差异导致的语义碎片化问题，提出CTR-Sink框架，通过引入行为级注意力汇聚点并动态调节注意力聚合，提升点击率预测性能。

Comments Accepted by the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). The source code of this paper has been made publicly available at https://github.com/UGUESS-lzx/CTR-SINK

Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation

通过反事实评估理解长上下文基础模型中的稀疏注意力选择性

Xingyu Ren, Youran Sun, Chugang Yi, Haizhao Yang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.CL、cs.LG

AI总结 该研究通过反事实评估探究长上下文基础模型的稀疏注意力选择性，证实稀疏化会改变内容影响力，提出开放测量框架，相关结果无法通过聚合准确率检测。

V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

V-Mem：面向多模态智能体长期记忆的模态路由检索

Dingyi Kang, Dongming Jiang, Yi Li, Guanpeng Li, Bingzhe Li

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态智能体记忆的模态与相似性-相关性差距，提出V-Mem系统，通过模态路由检索优化，在Mem-Gallery、LoCoMo数据集上显著提升多模态问答性能。

Comments 19 pages, 2 figures, 16 tables. Code: https://github.com/Dingyi-Kang/V-Mem

What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs

大语言模型中注意力汇流的出现：可解释性视角

Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu, Yucheng Lu, Chen Zhao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制，发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流，并揭示其在训练早期的出现及集中趋势。

Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

基于语言模型智能体的长时自主架构研究：一项行为案例研究

Aon Safdar, Mohamed Saadeldin

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究以语言模型智能体为唯一研究者开展长时神经架构设计案例，经三阶段约100次实验改进了视觉Transformer，揭示其生产力阶段结构等四项发现，提出自主研究的未来方向。

Comments This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible