语言大模型 / LLM

What Should a Skill Remember? Quality--Cost Trade-offs in Cost-Aware Skill Rewriting for Language Model Agents

技能应记住什么？语言模型代理中成本感知技能重写的质量-成本权衡

Qinghua Xing, Yinda Chen, Yaping Jin, Zhenhe Wu, Bohan Lin, Hang Zhou, Xinghao Chen, Hanting Chen, Zhiwei Xiong

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究语言模型代理中技能重写的质量-成本权衡，提出信息保留策略，在SkillsBench上实现成本降低7%-14.7%且保持验证质量。

Dissociative Identity: Language Model Agents Lack Grounding for Reputation Mechanisms

分离性身份：语言模型代理缺乏声誉机制的基础

Botao Amber Hu, Helena Rong, Max Van Kleek

机构 * University of Oxford（牛津大学） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文指出语言模型代理因本体上的分离性（模块可替换、身份流动）而无法满足声誉机制所需的身份持续性、行为可预测性和制裁敏感性，从而提出转向基于可观察性、事前、构成性、协议的行为约束。

Comments Accepted by FaccT 2026

SmartSwap: Swap-Based Memory Optimization for LLM Training under Varying Operator Sequences

SmartSwap：在不同算子序列下基于交换的大语言模型训练内存优化

Zibo Wang, Yuhang Zhou, Zhibin Wang, Shipeng Li, Xinjing Huang, Chendong Cai, Bingxu Mu, Yuqing Sun, Zhiheng Hu, Bin She, Shu You, Guanghuan Fang, Rong Gu, Wanchun Dou, Guihai Chen, Chen Tian

专题命中 长上下文与记忆 ：LLM(title,comments)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型训练内存需求大问题，提出Chameleon方法，通过引入轻量级在线分析器、生成有效交换策略及优化执行模块，能降低分析开销，适应算子序列变化，提升训练模型性能。

Comments Accepted to DAC 2026. Previously titled "Chameleon: Taming Dynamic Operator Sequences for Memory-Intensive LLM Training."

Living-Harness Is an Interactive-Agent Evolver

Living-Harness：一种交互式智能体演化器

Yuetian Du, Yucheng Wang, He Xu, Jiexu Xu, Shanwen Tan, Bing Zhao, Boyu Yang, Zhijie Xu, Ming Kong, Hu Wei, Jie Liu, Qiang Zhu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出自演化智能体harness Living-Harness，基于Evolution-SOP生成两类过程性知识，在8个交互式环境中大幅提升Pass@1，支持跨模型主干复用演化后的harness状态。

RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States

RoMeRL：通过降阶效用状态平衡自进化智能体记忆中的反馈覆盖与记忆-奖励陷阱

Yi Yang, Zhennan Chen, Yihong Zhuang, Tiehan Fan, Yinan Chen, Jian Li, Jian Yang, Ying Tai

机构 * Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 RoMeRL通过降阶效用状态解决自进化LLM智能体记忆的反馈分散与记忆-奖励陷阱问题，在ALFWorld等基准上显著提升任务性能、降低记忆规模与LLM调用

MemFly: On-the-Fly Memory Optimization via Information Bottleneck

MemFly: 通过信息瓶颈实现飞地内存优化

Zhenyuan Zhang, Xianzhang Jia, Zhiqin Yang, Zhenbo Song, Wei Xue, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Nanjing University of Science（南京理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MemFly通过信息瓶颈原理实现LLM的飞地内存优化，采用梯度自由优化器和混合检索机制提升内存效率和多跳查询能力。

Comments Accepted by ICLR 2026 MemAgents Workshop

OnePred: Next-Query Prediction via Recursive Intent Memory in Multi-Turn Conversations

OnePred: 多轮对话中基于递归意图记忆的下一个查询预测

Jiangwang Chen, Bowen Zhang, Zixin Song, Jiazheng Kang, Xiao Yang, Da Zhu, Guanjun Jiang

机构 * Tsinghua University（清华大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多轮对话中下一个查询预测任务，提出OnePred模型，通过递归更新的意图记忆代替完整历史，结合两阶段强化学习训练，在NQP-Bench基准上实现高达22倍的每轮token节省且预测质量优于所有基线。

SwiftMem: Fast Agentic Memory via Query-aware Indexing

SwiftMem: 通过查询感知索引实现快速代理记忆

Anxin Tian, Yiming Li, Xing Li, Hui-Ling Zhen, Lei Chen, Xianzhi Yu, Zhenhua Dong, Mingxuan Yuan

机构 * Huawei, Hong Kong（华为（香港）） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 SwiftMem通过查询感知索引实现快速代理记忆，提升检索效率并降低延迟，适用于实际部署的内存增强LLM代理。

Learning from Execution: Self-Evolving Memory for Private-Library Code Generation

MEMCoder: 多维演化记忆用于面向私有库的代码生成

Mofei Li, Taozhi Chen, Guowei Yang, Jia Li

机构 * College of AI（人工智能学院） ； Tsinghua University（清华大学） ； Fitten Tech Co., Ltd.（Fitten科技有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MEMCoder通过多维演化记忆机制，解决LLM在企业环境中因缺乏内部私有库文档导致的协调问题与参数理解不足，提升代码生成性能。

Learning to Evict from Key-Value Cache

学习从键值缓存中驱逐

Luca Moschella, Laura Manduchi, Ozan Sener

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。

Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict

MemToolAgent: Leveraging Memory for Tool Using Agents Based on Environment and User Feedback

MemToolAgent概述：一个简单的餐厅预订场景，其中代理检索相似记忆，接收关于无效时间格式的反馈，并生成反思以更新其记忆

Suleyman Armagan Er, Danilo Ribeiro, Yogesh Virkar, Surafel Lakew, Adi Kalyanpur, James Gung, Thomas Delteil, Arshit Gupta

机构 * AWS AI ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MemToolAgent框架，通过记忆管理提升大语言模型代理的工具使用能力，包含记忆提取和动态检索模块，在三个基准上分别提升29%、80%和17%。

Comments 8 pages, 5 figures

MemCast: Memory-Driven Time Series Forecasting with Experience-Conditioned Reasoning

MemCast：基于经验条件推理的记忆驱动时间序列预测

Xiaoyu Tao, Mingyue Cheng, Ze Guo, Shuo Yu, Yaguo Liu, Qi Liu, Shijin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MemCast框架，将时间序列预测转化为经验条件推理任务，通过层次化记忆学习历史模式、推理智慧和一般规律，并采用动态置信度适应策略实现持续进化，在多个数据集上优于现有方法。

TQA-Bench: Evaluating LLMs for Multi-Table Question Answering

TQA-Bench：评估大语言模型在多表问答中的表现

Zipeng Qiu, Chenyue Li, You Peng, Guangxin He, Binhang Yuan, Chen Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出TQA-Bench基准，通过长上下文多表问答任务评估LLM，揭示其在复杂数据驱动环境中的挑战与机遇。

Comments Accepted by IEEE Transactions on Big Data

MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models

MetaState: 持久工作记忆增强离散扩散语言模型的推理能力

Kejing Xia, Mingzhe Li, Lixuan Wei, Zhenbang Du, Xiangchi Yuan, Dachuan Shi, Qirui Jin, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。

Can Retrieval Heads See Images? Multimodal Retrieval Heads in Long-Context Vision-Language Models

检索头能看见图像吗？长上下文视觉语言模型中的多模态检索头

Aaron Branson Cigres Li, Zhaowei Wang, Yu Zhao, Yiming Du, Haobo Li, Xiyu Ren, Ginny Wong, Simon See, Lishu Luo, Haodong Duan, Pasquale Minervini, Yangqiu Song

机构 * HKUST（香港科技大学） ； University of Edinburgh（爱丁堡大学） ； CUHK（香港中文大学） ； NVAITC, NVIDIA, Santa Clara, USA（NVIDIA Santa Clara 分公司） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出一种多模态检索头检测方法，发现视觉语言模型中仅有4.4-10.2%的注意力头贡献了50%的正检索分数，这些头对长上下文推理至关重要，且可直接用于文档检索提升性能。

Comments Work in Progress

M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction

M2HRI：一种LLM驱动的多模态多智能体框架，用于个性化人机交互

Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出M2HRI框架，通过个性、长期记忆和情境化协调机制赋予每个机器人独特身份，实验表明该方法能提升交互自然性和协调性。

CoSA: Accelerating Long-Context Inference via Proxy-Kernel Co-Designed Sparse Attention

CoSA：通过代理内核协同设计的稀疏注意力加速长上下文推理

Yufei Xue, Lin Niu, Hong Liu, Siran Liu, Hanyong Shao, Wei Liu, Guanghua Yu, Jianchen Zhu, Jun Zhang

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 研究针对自注意力长上下文推理成本高的问题，提出CoSA方法，通过结合内核感知代理与有序跳过内核，在两阶段实现高效稀疏注意力，在主流LLM和长上下文基准测试中，以低预算获高精度，加速注意力并减少端到端时间。

DASH: Decoupled Adaptive Surrogate - Acquisition Harness for Automated Bayesian Optimization

DASH：用于自动化贝叶斯优化的解耦自适应代理-采集调控器

Changquan Zhao, Yuxiang Sun, Ruihao Zhu, Cheng Hua, Yulian He

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 DASH是用于LLM增强AutoBO的解耦自适应调控器，通过分离代理与采集的适配逻辑，在四项化学优化任务中较最佳AutoBO基线实现了12.51%的轨迹级加速因子提升和5.00%的端点增强因子提升。

DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing

DragonCrawl：一种用于可扩展移动端到端测试的生成式意图框架

Sowjanya Puligadda, Mengdie Zhang, Ali Zamani, Dhruva Dixith Kurra, Eric Chen, Juan Marcano

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DragonCrawl是基于GPT-4o多模态的移动端到端测试框架，通过验证用户流程阻止问题提交，缩短测试入门时间，节省大量维护工作量，实现规模化持续质量保证。

Comments 12 pages, 6 figures, 6 pages

ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

ObjectStream：将潜在对象作为记忆锚点用于流视频理解

Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出无需训练的 ObjectStream 框架，以潜在对象为记忆锚点组织流视频证据，使 Video-LLMs 无需改动即可推理对象相关内容，在多基准上实现性能提升且内存与推理效率显著优化。

Comments https://github.com/DMK041218/ObjectStream

DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures

DCC: 面向处理-内存架构的机器学习内核数据驱动编译

Peiming Yang, Sankeerth Durvasula, Ivan Fernandez, Mohammad Sadrosadati, Onur Mutlu, Gennady Pekhimenko, Christina Giannoula

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； ETH Zürich（苏黎世联邦理工学院） ； Nvidia（英伟达） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对PIM系统中数据重排与计算代码优化相互依赖的问题，提出数据驱动的编译器DCC，通过统一调优联合优化数据重排与计算代码，在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。

MemForest: An Efficient Agent Memory System with Hierarchical Temporal Indexing

MemForest: 一种具有层次化时间索引的高效智能体记忆系统

Han Chen, Zining Zhang, Wenqi Pei, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich, Wei Wu, Hongbao Zhang

机构 * National University of Singapore（新加坡国立大学） ； Zero Gravity Labs（零重力实验室） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对长上下文LLM智能体记忆系统中粗粒度状态管理和顺序更新导致的维护开销问题，提出MemForest框架，通过并行块提取和层次化时间索引树MemTree实现高效写入和局部更新，在LongMemEval-S上达到79.8% pass@1准确率，吞吐量比现有方法高约6倍。

Comments 12 pages. Extended version with appendix as supplemental material. Submitted to VLDB

Forensic Trajectory Signatures for Agent Memory Poisoning Detection

用于智能体记忆中毒检测的法医轨迹签名

Jun Wen Leong

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 发现LLM智能体在持久记忆中毒下的行为不变性，利用轨迹特征实现高精度检测（AUC=0.9904），并能区分记忆通道攻击与提示注入攻击。

Comments 16 pages, 3 figures. v2: adds preregistered deployment boundary study (N=4,360, 13 models). Companion to arXiv:2605.08442

InfoFlow KV: Information-Flow-Aware KV Recomputation for Long Context

InfoFlow KV：面向长上下文的信息流感知KV重计算

Xin Teng, Canyu Zhang, Shaoyi Zheng, Danyang Zhuo, Tianyi Zhou, Shenji Wan

机构 * New York University（纽约大学） ； Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出将选择性KV重计算建模为信息流问题，利用查询的注意力范数信号识别语义相关且结构上能传播信息的token，并引入信息流引导的块重排序策略，在LLM和VLM基准上优于现有方法。

Comments In proceedings of the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://infoflow-kv.github.io

Model-Native Computing Architecture: Envisioning Future System Architecture Through the Lens of Computer Architecture

模型原生计算架构：通过计算机架构的视角展望未来系统架构

Hai Lin, Hoilam Pao, Shaoxiong Zhan, Hai-Tao Zheng

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过类比计算机架构，提出模型原生计算的概念，并设计了一个六层智能计算架构模型（ICAM），以统一解决大语言模型在系统层面面临的缓存、上下文、调度等问题。

ATMA: Long-Context Language Modeling via Polar Attention and Gated-Delta Compression Memory

ATMA: 通过极坐标注意力与门控-增量压缩记忆实现长度不变的语言建模

Habibullah Akbar

机构 * Kreasof AI 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出ATMA混合卷积-注意力架构，通过极坐标注意力三通道分解和门控-增量递归压缩记忆，解决长上下文语言建模中注意力稀释和性能崩溃问题，实现训练长度32倍外推下90%以上检索准确率和单调递减困惑度。

Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

用于剩余使用寿命估计的时间序列基础模型嵌入

Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Vasileios Belagiannis

机构 * University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； Siemens AG（西门子股份公司） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出冻结预训练时间序列基础模型Chronos-2作为骨干，结合轻量回归头进行剩余寿命预测，在工业传感器数据上优于多种基线方法。

Comments Accepted to EUSIPCO 2026, 4 pages, 2 figures, 2 tables

Layer-wise Positional Bias in Short-Context Language Modeling

分层位置偏倚在短上下文语言建模中的表现

Maryam Rahimi, Mahdi Nouri, Yadollah Yaghoobzadeh

机构 * Tehran Institute for Advanced Studies, Khatam University, Iran（德黑兰高级研究院，卡坦大学，伊朗） ； School of Electrical and Computer Engineering, University of Tehran, Iran（德黑兰理工大学电气与计算机工程学院，伊朗） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种基于归因的框架，分析短上下文语言建模中各层的位置偏倚，发现深度增加时近期偏倚增强，首次偏倚减弱，且早期层更倾向内容词。

Metis: Memory Foundation Model

Metis：记忆基础模型

Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao, Zehao Lin, Yang Zhang, Xiaoyan Zhao, Tong Shen, Bo Tang, Zhi-Qin John Xu, Junchi Yan, Haofen Wang, Xu Chen, Feiyu Xiong, Zhiyu Li, Tat-Seng Chua

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨芯（上海）科技有限公司） ； Renmin University of China（中国人民大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出首个记忆基础模型原型Metis，赋予基础模型原生记忆能力，通过新架构与优化目标实现，经实验验证其具备原生记忆能力并发布相关资源。

Comments 46 pages, 11 figures, 16 tables

One mechanism for many mental spaces: a shared router over a value slot in language models

一种机制用于多种心理空间：语言模型中基于值槽的共享路由器

Oliver Steele, Jiangtao Wen, Yuxing Han

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究Transformer语言模型实现何种心理空间构建机制，发现其采用共享路由器和值槽格式，一种空间类型子空间训练能控制其他类型，确立跨类型通用性，还表明该机制驱动推理和组合。

Comments 26 pages, 5 figures, 9 tables. v2: cite the released Mental Spaces Corpus (dataset DOI); switch to ACL bibliography style; minor copy-editing. No change to results