语言大模型 / LLM

ActMem: Bridging the Gap Between Memory Retrieval and Reasoning in LLM Agents

ActMem：弥合LLM代理中记忆检索与推理之间的差距

Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yaqin Jin, Yazhong Zhang, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国） ； National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康数据科学国家研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出ActMem框架，通过将非结构化对话历史转化为结构化因果语义图，结合反事实推理和常识补全，实现主动因果推理，显著提升LLM代理在复杂记忆依赖任务中的表现。

ProPlay: Procedural World Models for Self-Evolving LLM Agents

ProPlay: 用于自我进化LLM智能体的程序化世界模型

Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

机构 * University of Notre Dame（圣母大学） ； University of Connecticut（康涅狄格大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出ProPlay程序化世界模型，通过程序级预演和因果过程图，使LLM智能体在部分可观测环境中自我进化，无需外部监督。

A Survey on Long-Term Memory Security in LLM Agents: Attacks, Defenses, and Governance Across the Memory Lifecycle

LLM智能体中长期记忆安全综述：跨记忆生命周期的攻击、防御与治理

Zehao Lin, Xixuan Hao, Renyu Fu, Shaobo Cui, Kai Chen, Chunyu Li, Zhiyu Li, Feiyu Xiong

机构 * MemTensor ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出记忆生命周期框架，系统分析LLM智能体长期记忆面临的新威胁，并引入可验证记忆治理（VMG）架构原语，强调存储时溯源与版本控制对安全的关键作用。

Comments 63 pages, 7 figures, 10 tables. Survey paper. Preprint; submitted for review

Rosetta Memory: Adaptive Memory for Cross-LLM Agents

Rosetta Memory: 跨LLM智能体的自适应记忆

Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Weixin, Tencent（腾讯微信） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出记忆中心式LLM自适应方法，通过双轮廓条件算子与最小增益采样课程，解决上游记忆激活下游LLM的跨模型适应问题，在多项QA任务中优于基线。

Comments 19 pages, 7 figures

MemoryBench: A Benchmark for Memory and Continual Learning in LLM Systems

MemoryBench：面向LLM系统的记忆与持续学习基准

Qingyao Ai, Yichen Tang, Changyue Wang, Jianming Long, Weihang Su, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出用户反馈模拟框架及跨领域、多语言、多任务类型的综合基准MemoryBench，评估LLM系统从累积用户反馈中持续学习的能力，实验表明现有方法效果与效率均不理想。

SWE-Adept: An LLM-Based Agentic Framework for Deep Codebase Analysis and Structured Issue Resolution

SWE-Adept：基于LLM的深度代码库分析与结构化问题解决代理框架

Kang He, Kaushik Roy

机构 * Electrical and Computer Engineering, Purdue University（电子工程与计算机工程系，普渡大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出SWE-Adept双代理框架，通过代理引导的深度优先搜索进行代码定位，结合自适应规划和结构化问题解决，在SWE-Bench上提升端到端解决率最多4.3%。

Evaluating Memory Structure in LLM Agents

评估LLM智能体中的记忆结构

Alina Shutova, Alexandra Olenina, Ivan Vinogradov, Anton Sinitsin

机构 * HSE University（莫斯科国立高等经济学院） ； Yandex ； YSDA ； New Economic School（新经济学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 提出StructMemEval基准测试，通过结构化记忆任务（如交易账本、待办事项列表、树结构等）评估LLM智能体组织长期记忆的能力，发现简单检索增强LLM难以胜任，而记忆智能体在提示下可解决，但现代LLM在无提示时无法自主识别记忆结构。

Comments Preprint, work in progress

Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost

将代理工作流编译为LLM权重：在成本上减少两个数量级的情况下实现接近前沿质量

Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文研究如何将代理工作流编译为LLM权重以提高效率，通过在旅行预订、Zoom支持和保险索赔等任务中验证，展示了编译方法在减少成本的同时保持高质量性能。

Comments 19 pages

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

记住更多，风险更多：具有记忆能力的LLM代理的纵向安全风险

Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

机构 * Virginia Tech（弗吉尼亚理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究探讨了具有记忆能力的LLM代理在长期任务中因记忆积累导致的安全风险，提出了一种触发-探测协议来评估记忆污染的影响，并发现记忆安全应被视为一个纵向属性而非单一状态属性。

Enhancing Cloud Network Resilience via a Robust LLM-Empowered Multi-Agent Reinforcement Learning Framework

通过一个鲁棒的LLM赋能的多智能体强化学习框架增强云网络韧性

Yixiao Peng, Hao Hu, Feiyang Li, Xinye Cao, Yingchang Jiang, Jipeng Tang, Guoshun Nan, Yuling Liu

机构 * State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） ； Henan Key Laboratory of Information Security（河南省信息安全重点实验室） ； National Engineering Research Center for Mobile Network Technologies（移动网络技术国家工程研究中心） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于大语言模型的多智能体强化学习框架，旨在提升云网络的防御能力和韧性，通过分层架构和人类在回路支持来增强系统的适应性和可解释性。

EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents

EvolveMem：通过AutoResearch实现LLM代理的自进化内存架构

Jiaqi Liu, Xinyu Ye, Peng Xia, Zeyu Zheng, Cihang Xie, Mingyu Ding, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Berkeley（加州大学伯克利分校） ； UCSC（加州大学圣克鲁兹分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出EvolveMem，一种通过AutoResearch实现自进化内存架构的LLM代理系统，通过闭环自进化过程自动优化检索配置，实现存储知识与检索机制的协同进化，实验表明其在多个基准测试中均取得显著性能提升。

Self-Consolidating Language Models: Continual Knowledge Incorporation from Context

自持续语言模型：从上下文持续整合知识

Zekun Wang, Anant Gupta, Zihan Dong, Christopher J. MacLellan

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；post-training(abstract)

AI总结 本文提出自持续语言模型（SCoL），通过在训练后框架中利用上下文生成更新指令，实现持续知识整合，优于多种基线方法。

Comments 9 pages

WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems

WiCER：维基内存编译、评估、细化迭代知识编译用于LLM维基系统

Juan M. Huerta

机构 * Zinnia Tech Solutions（Zinnia科技解决方案） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出WiCER算法，通过迭代编译、评估和细化维基内存，解决LLM维基系统中知识编译的差距问题，显著提升知识检索质量并减少灾难性失败。

More Is Not Always Better: Cross-Component Interference in LLM Agent Scaffolding

更多并不总是更好：LLM代理构建中的跨组件干扰

Ming Liu

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM代理系统中组件交互导致的性能下降，发现最优组件数量依赖任务和模型规模，贪心选择不可靠，需通过交互分析进行任务特定子集选择。

Comments 10 pages, 5 tables; preprint, under review

When Continual Learning Moves to Memory: A Study of Experience Reuse in LLM Agents

当持续学习转向记忆：对LLM智能体经验重用的研究

Qisheng Hu, Quanyu Long, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究揭示了内存增强型LLM智能体在持续学习中经验重用的问题，发现记忆检索时旧经验与新经验的竞争加剧了持续学习的瓶颈，提出了(k,v)框架以解耦外部记忆的设计关键要素。

Comments Working in progress

From Soliloquy to Agora: Memory-Enhanced LLM Agents with Decentralized Debate for Optimization Modeling

从独白到广场：基于去中心化辩论的记忆增强型LLM代理用于优化建模

Jianghao Lin, Zi Ling, Chenyu Zhou, Tianyi Xu, Ruoqing Jiang, Zizhuo Wang, Dongdong Ge

机构 * Antai College of Economics and Management（上海交通大学安泰经济管理学院） ； University of Chicago Booth School of Business（芝加哥大学布斯商学院） ； The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）） ； School of Economics and Management（清华大学经济管理学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Agora-Opt框架，结合去中心化辩论与读写记忆库，实现优化建模的模块化代理系统，通过去中心化辩论协议实现多代理团队的协同优化，提升建模可靠性。

Comments Working Paper

Trust, Lies, and Long Memories: Emergent Social Dynamics and Reputation in Multi-Round Avalon with LLM Agents

信任、谎言与长久记忆：在多轮阿瓦隆中的LLM代理涌现的社会动态与声誉

Suveen Ellawela

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究LLM代理在多轮阿瓦隆游戏中社会动态与声誉的演变，发现记忆保留促进声誉形成及策略性欺骗，高推理努力提升欺骗效果。

PolicyBank: Evolving Policy Understanding for LLM Agents

PolicyBank: 为LLM代理演化政策理解

Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

机构 * Google Cloud（谷歌云） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究通过交互与反馈让LLM代理自主优化政策解读，提出PolicyBank机制以结构化存储政策洞察并迭代完善，有效填补规范缺口。

LLM as Attention-Informed NTM and Topic Modeling as long-input Generation: Interpretability and long-Context Capability

LLM作为具有注意力机制的NTM及话题建模作为长输入生成：可解释性与长上下文能力

Xuan Xu, Zhongliang Yang, Haolun Li, Beilin Chu, Rui Tian, Yu Li, Shaolin Tan, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Value Simplex Technology Co. Ltd（北京价值简单科技有限公司） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文从白盒和黑盒视角研究基于LLM的话题建模，提出注意力引导框架恢复可解释结构，并通过长输入任务和信号补偿方法提升性能，验证LLM与NTM的联系及长上下文LLM在话题建模中的潜力。

SBFA: Single Sneaky Bit Flip Attack to Break Large Language Models

Jingkai Guo, Chaitali Chakrabarti, Deliang Fan

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments 10 pages, 4 figures, 5 tables, 2 equations. Topics: Bit-flip attacks, adversarial attacks, large language models (LLMs)

Personal Intelligence System UniLM: Hybrid On-Device Small Language Model and Server-Based Large Language Model for Malay Nusantara

Azree Nazri, Olalekan Agbolade, Faisal Aziz

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；small language model(title)；分类 cs.CL、cs.AI

Comments 20 pages, 5 tables, 4 figures

TensorCast: The Missing Tensor Management Layer in Large Language Model Infrastructure

TensorCast：大语言模型基础设施中缺失的张量管理层

Yuhan Zhou, Yuchu Luo, Hao Nie, Wangrunze Lv, Yu Zhou, Yibo Zhu, Daxin Jiang, Chenren Xu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)

AI总结 该研究针对LLM基础设施中张量管理策略复用受阻的问题，提出TensorCast分布式张量管理层，将张量状态管理与计算逻辑解耦，在保持性能的同时提升多轮智能体工作负载的TTFT达93.2%。

Softplus Attention with Re-weighting Boosts Length Extrapolation in Large Language Models

Softplus注意力与重加权提升大语言模型的长度外推能力

Bo Gao, Michael W. Spratling, Letizia Gionfrida

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种两阶段注意力机制，用Softplus和l1归一化替代Softmax，并引入基于不变熵的动态缩放因子和重加权机制，以提升数值稳定性、缓解注意力下沉现象，并显著改善长度外推性能。

Comments Accepted by ICML 2026

SinkTrack: Attention Sink based Context Anchoring for Large Language Models

SinkTrack: 基于注意力sink的上下文锚定用于大语言模型

Xu Liu, Guikun Chen, Wenguan Wang

机构 * The State Key Lab of Brain-Machine Intelligence（脑机智能国家重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 SinkTrack通过将<BOS>作为信息锚点，注入关键上下文特征，缓解大语言模型的幻觉和上下文遗忘问题，实验显示在文本和多模态任务中均取得显著提升。

Comments ICLR 2026. Code: https://github.com/67L1/SinkTrack

CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models

CG-MLLM：通过多模态大语言模型实现图像描述与3D内容生成

Junming Huang, Chi Wang, Letian Li, Guangkai Xu, Donglin Huang, Hao Chen, Qiang Dai, Weiwei Xu

机构 * Zhejiang University, China（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出CG-MLLM，一种能实现3D描述和高分辨率3D生成的多模态大语言模型，通过混合Transformer架构分离不同建模需求，结合预训练视觉语言模型与专用3D VAE潜在空间，提升3D生成质量与感知能力。

Comments ICML 2026

Markovian Generation Chains in Large Language Models

大语言模型中的马尔可夫生成链

Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau

机构 * ENS-PSL & CNRS-Lattice（ENS-PSL与CNRS-Lattice） ； MBZUAI & Ecole Polytechnique（MBZUAI与巴黎高等理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了大语言模型中迭代推理过程的演变，通过马尔可夫链建模发现句子多样性受温度参数和初始输入影响，揭示了迭代推理的动力学及其对多智能体系统的影响。

Large Language Models are Good Relational Learners

Fang Wu, Vijay Prakash Dwivedi, Jure Leskovec

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

A Neuro-inspired Interpretation of Unlearning in Large Language Models through Sample-level Unlearning Difficulty

Xiaohua Feng, Yuyuan Li, Chengye Wang, Junlin Liu, Li Zhang, Chaochao Chen

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 16 pages

Echo: A Large Language Model with Temporal Episodic Memory

WenTao Liu, Ruohua Zhang, Aimin Zhou, Feng Gao, JiaLi Liu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Extracting effective solutions hidden in large language models via generated comprehensive specialists: case studies in developing electronic devices

Hikari Tomita, Nobuhiro Nakamura, Shoichi Ishida, Toshio Kamiya, Kei Terayama

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 18 pages, 4 figures