语言大模型 / LLM

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph: 面向LLM智能体的模型无关经验学习与图结构记忆

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 营收人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ExpGraph框架，通过图结构记忆和强化学习实现冻结LLM执行器的外部经验复用，在问答、数学推理、代码生成和多步智能体任务上显著提升性能并减少交互步骤。

LIMCA: LLM for Automating Analog In-Memory Computing Architecture Design Exploration

LIMCA: 用于自动化模拟内存计算架构设计探索的LLM

Deepak Vungarala, Md Hasibul Amin, Pietro Mercati, Arnob Ghosh, Arman Roohi, David Z. Pan, Ramtin Zand, Shaahin Angizi

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种无需微调的大语言模型驱动框架LIMCA，通过无人工干预的自动化流程生成和验证模拟内存计算交叉阵列的电路网表，实现设计空间探索，在MNIST分类任务中达到≥96%准确率和≤3W功耗。

Comments 4 Figures, 6 Tables

Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models

边界引导策略优化：面向扩散大语言模型的内存高效强化学习

Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型中似然函数难以处理导致强化学习内存开销大的问题，提出边界引导策略优化（BGPO），通过构造满足线性和等价性的下界实现内存高效训练，在数学求解、代码生成和规划任务中显著优于现有方法。

ElasticMem: Latent Memory as a Learnable Resource for LLM Agents

ElasticMem: 将潜在记忆作为LLM智能体的可学习资源

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出ElasticMem框架，通过可学习的弹性潜在记忆分配策略，在记忆密集型问答和具身智能体控制任务中显著提升准确率并降低token开销。

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs

GRKV: 长上下文LLM中免训练的KV缓存压缩的全局回归

Junjie Peng, You Wu, Haoyi Wu, Jialong Han, Xiaohua Xie, Kewei Tu, Jianhuang Lai

机构 * Sun Yat-sen University（中山大学） ； ShanghaiTech University（上海科技大学） ； Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GRKV方法，通过岭回归合并步骤最小化压缩缓存与完整缓存注意力输出的差异，解决基于跨度保留的合并模式不平衡导致的过度合并和信息损失问题。

Comments 21 pages, 7 figures

MeMo: Towards Language Models with Associative Memory Mechanisms

MeMo：迈向具有联想记忆机制的语言模型

Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

机构 * Human-centric ART, University of Rome Tor Vergata（人文导向的ART，罗马大学Tor Vergata） ； University of Edinburgh（爱丁堡大学） ； Almawave S.p.A.（Almawave公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MeMo架构，通过分层联想记忆直接记忆文本，实现透明化和模型编辑，实验证明单层和多层配置的记忆能力。

Journal ref Proceedings of Association for Computational Linguistics (Findings), 2025

ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs

ParisKV：面向长上下文LLM的快速且漂移鲁棒的KV缓存检索

Yanlin Qi, Xinhang Chen, Huiqiang Jiang, Qitong Wang, Botao Peng, Themis Palpanas

机构 * Xi'an Jiaotong University, Xi'an, China（西安交通大学） ； Qwen Team, Alibaba Group, China（通义实验室） ； Harvard University, Cambridge, MA, USA（哈佛大学） ； Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出基于碰撞候选选择和量化内积重排序的GPU原生KV缓存检索框架ParisKV，在百万token上下文中实现低延迟、高吞吐且分布漂移鲁棒的检索，性能优于或持平全注意力。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters

HetCCL：实现混合供应商异构集群的集体通信

Yuejie Wang, Tao Chang, Yuanyuan Zhao, Yulong Ao, Zeyu Gu, Zhiyu Li, Yanmin Jia, Yan Zhang, Mingjun Zhang, He Liu, Yongzhe He, Yonghua Lin, Guyue Liu

机构 * Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出HetCCL框架，通过高效P2P传输和边界通信器机制，在异构集群中实现跨供应商的集体通信，消除主机-设备内存拷贝开销，并优化带宽利用率。

Learning Agent-Compatible Context Management for Long-Horizon Tasks

面向长时任务的学习智能体兼容上下文管理

Lu Yi, Runlin Lei, Liuyi Yao, Yuexiang Xie, Yuyang Li, Wenhao Zhang, Zhewei Wei, Yaliang Li, Jian-Yun Nie

机构 * Renmin University of China（中国人民大学） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出AdaCoM方法，通过外部LLM对冻结智能体进行端到端强化学习上下文管理，在长时任务中提升性能并揭示保真度-可靠性权衡。

Eywa: Provenance-Grounded Long-Term Memory for AI Agents

Eywa：基于溯源的人工智能智能体长期记忆

Resham Joshi

机构 * Eywa 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出Eywa架构，通过先存储证据再推导事实、验证记忆并采用确定性多路径读取（零LLM调用）实现可审计的长期记忆，在多个基准测试中取得高准确率。

Comments 29 pages, 3 figures, 16 tables. Benchmark artifacts available at https://eywa.to/research

CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs

CacheProbe: 审计网关API中的提示缓存隔离

Ryan Fahey

机构 * Khoury College of Computer Sciences（计算机科学学院） ； Northeastern University（东北大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过CacheProbe方法审计OpenRouter API网关架构，发现其共享组织凭证的路由机制可能绕过提供商级别的提示缓存隔离，导致全局缓存共享漏洞。

Comments 11 pages, 8 figures, 2 tables Accepted at SAGAI '26 (Workshop on Secure Agents for Generative AI), co-located with IEEE Symposium on Security and Privacy 2026

LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards

LongTraceRL: 基于评分奖励从搜索智能体轨迹中学习长上下文推理

Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LongTraceRL框架，通过知识图谱随机游走生成多跳问题并利用搜索智能体轨迹构建分层干扰物，结合基于实体链的评分奖励进行过程监督，提升大语言模型在长上下文推理中的表现。

GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent

GradMem: 通过测试时梯度下降将上下文写入记忆

Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev

机构 * AXXX, Cognitive AI Systems Lab, Moscow, Russia（AXXX认知人工智能系统实验室，莫斯科，俄罗斯） ； London Institute for Mathematical Sciences, London, UK（伦敦数学科学研究所，伦敦，英国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GradMem方法，利用测试时梯度下降将上下文写入紧凑记忆状态，通过自监督重构损失优化记忆令牌，在键值检索和自然语言任务上优于前向式记忆写入方法。

Comments International Conference on Machine Learning (ICML) 2026

AutoSci: A Memory-Centric Agentic System for the Full Scientific Research Lifecycle

AutoSci: 面向完整科学生命周期的以记忆为中心的智能体系统

Weitong Qian, Beicheng Xu, Zhongao Xie, Bowen Fan, Guozheng Tang, Jiale Chen, Xinzhe Wu, Mingtian Yang, Chenyang Di, Jiajun Li, Lingching Tung, Peichao Lai, Yifei Xia, Ziyi Guo, Yanwei Xu, Yanzhao Qin, Shaoduo Gan, Xupeng Miao, Bin Cui

机构 * Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出AutoSci，一个以记忆为中心、支持完整科学生命周期的智能体系统，通过结构化记忆、多阶段流程、有向无环图增强和演化机制实现自动化科研。

Query-focused and Memory-aware Reranker for Long Context Processing

面向长上下文处理的查询聚焦与记忆感知重排序器

Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Yanyu Chen, Zheng Lin, Wei Zhang, Jie Zhou

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Pattern Recognition Center, WeChat AI, Tencent（腾讯微信人工智能研究院模式识别中心） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于大语言模型中检索头注意力分数的列表式重排序框架，利用候选列表整体信息估计段落-查询相关性，无需Likert监督，在多个领域取得最优性能。

Comments Add new experiments and compare more baselines

SpaMEM: Benchmarking Dynamic Spatial Reasoning via Perception-Memory Integration in Embodied Environments

SpaMEM：具身环境中通过感知-记忆集成进行动态空间推理的基准测试

Chih-Ting Liao, Xi Xiao, Chunlei Meng, Zhangquan Chen, Yitong Qiao, Weilin Zhou, Tianyang Wang, Xu Zheng, Xin Cao

机构 * The University of New South Wales（新南威尔士大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 提出SpaMEM基准，通过动作条件场景变换和多模态数据，分层评估多模态大模型在具身环境中的空间信念演化能力，揭示坐标一致性和视觉记忆瓶颈。

Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

循序渐进：通过增量混合秩-1联想记忆专家实现持续学习

Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG

AI总结 针对持续学习中专家粒度粗糙导致的冗余、干扰和遗忘问题，提出MoRAM方法，将秩-1适配器作为细粒度专家和联想记忆单元，通过自激活机制实现增量扩展，显著提升塑性-稳定性权衡和泛化能力。

Comments Accepted at ICML2026. Project page: https://artificer-ai-lab.github.io/MoRAM/

Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold

不要那么Stief！在Stiefel流形上学习KV缓存低秩近似

Luca Benfenati, Matteo Risso, Andrea Vannozzi, Ahmet Caner Yüzügüler, Lukas Cavigelli, Enrico Macii, Daniele Jahier Pagliari, Alessio Burrello

机构 * Department of Control and Computer Engineering, Politecnico di Torino（控制与计算机工程系，托里诺理工学院） ； Huawei Zurich Research Center（华为苏黎世研究中心） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 提出StiefAttention方法，通过在Stiefel流形上学习正交投影基并最小化解码器层输出重建误差，实现KV缓存压缩，优于现有SVD方法。

$R^3$: 3D Reconstruction via Relative Regression

$R^3$: 通过相对回归进行3D重建

Congrong Xu, Huachen Gao, Xingyu Chen, Yuliang Xiu, Jun Gao, Anpei Chen

机构 * University of Michigan（密歇根大学） ； Westlake University（西雅图大学） ； NVIDIA Research（英伟达研究） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 提出一种基于相对回归的3D重建方法$R^3$，使用轻量级MLP预测置信度加权的相对约束，以支持全上下文离线重建和因果有界内存流式重建。

DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories

DeepImageSearch: 多模态智能体在视觉历史中上下文感知图像检索的基准测试

Chenlong Deng, Mengjie Deng, Junjie Wu, Dun Zeng, Teng Wang, Qingsong Xie, Jiadeng Huang, Shengjie Ma, Changwang Zhang, Zhaoxiang Wang, Jun Wang, Yutao Zhu, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出DeepImageSearch范式，将图像检索重构为自主探索任务，通过构建DISBench基准和模块化智能体框架，验证了在视觉历史中基于隐式上下文线索进行多步推理的必要性。

Comments 18 pages, 6 figures