语言大模型 / LLM

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

EXPEREPAIR: 基于双记忆增强的LLM级仓库级程序修复

Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 ExpeRepair通过双记忆系统提升LLM在仓库级程序修复中的表现，通过动态提示生成和历史修复经验复用，实现更高效的修复性能。

Comments Accepted by FSE 2026

From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms

从存储到经验：LLM代理记忆机制演化的综述

Jinghao Luo, Yuchen Tian, Chuxue Cao, Ziyang Luo, Hongzhan Lin, Kaixin Li, Chuyi Kong, Ruichao Yang, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； South China Normal University（南方中国师范大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了LLM代理记忆机制的发展，提出三阶段框架，分析长程一致性、动态环境挑战和持续学习目标，探讨前瞻性探索与跨轨迹抽象等前沿机制，为下一代LLM代理设计提供指导。

Comments Accepted by ACL 2026 Findings

WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems

WiCER：维基内存编译、评估、细化迭代知识编译用于LLM维基系统

Juan M. Huerta

机构 * Zinnia Tech Solutions（Zinnia科技解决方案） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出WiCER算法，通过迭代编译、评估和细化维基内存，解决LLM维基系统中知识编译的差距问题，显著提升知识检索质量并减少灾难性失败。

HexiSeq: Accommodating Long Context Training of LLMs over Heterogeneous Hardware

HexiSeq: 适配长上下文训练的LLM异构硬件支持

Yan Liang, Youhe Jiang, Ran Yan, Binhang Yuan, Wei Wang, Chuan Wu

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 HexiSeq通过异构GPU集群的计算、内存和通信能力分配，实现非对称CP-HP分区，提升长上下文LLM训练吞吐量，实验显示在混合H100-A100和模拟集群中性能提升达1.11至1.72倍。

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference

MISA：混合索引器稀疏注意力用于长上下文LLM推理

Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang, Wenjie Pei

机构 * PKU（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 MISA通过将DSA索引器头部视为专家混合池，降低长上下文LLM推理的计算成本，同时保持性能，比HISA更优。

Comments https://github.com/MuLabPKU/TransArch

Reformulating KV Cache Eviction Problem for Long-Context LLM Inference

为长上下文LLM推理重构KV缓存淘汰问题

Tho Mai, Joo-Young Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于输出的分层矩阵乘法近似方法，通过LaProx策略量化token贡献并考虑跨头依赖，实验表明在仅使用5%的KV缓存时保持性能并优于现有方法。

LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction

LKV：端到端学习头部预算和令牌选择以LLM KV缓存淘汰

Enshuai Zhou, Yifan Hao, Chao Wang, Rui Zhang, Di Huang, Jiaming Guo, Xing Hu, Zidong Du, Qi Guo, Yunji Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Lab of Processors, Institute of Computing Technology, CAS, Beijing, China（中国科学院计算技术研究所过程器重点实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LKV，通过端到端可微优化问题实现KV缓存压缩，学习任务优化全局预算和内在KV重要性，提升长上下文推理性能。

The Context Gathering Decision Process: A POMDP Framework for Agentic Search

上下文收集决策过程：一种用于代理搜索的POMDP框架

Chinmaya Kausik, Adith Swaminathan, Nathan Kallus

机构 * University of Michigan（密歇根大学） ； Netflix 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CGDP框架，通过将LLM行为建模为近似汤普森采样，引入谓词方法分解搜索过程，并设计两种干预措施提升多跳推理能力。

Comments 25 pages

SeaEvo: Advancing Algorithm Discovery with Strategy Space Evolution

SeaEvo：通过策略空间进化推进算法发现

Sichun Luo, Yi Huang, Haochen Luo, Fengyuan Liu, Guanzhi Deng, Lei Li, Qinghua Yao, Zefa Hu, Junlan Feng, Qi Liu

机构 * The University of Hong Kong（香港大学） ； JIUTIAN Research, China Mobile（钧天研究院，中国移动） ； City University of Hong Kong（城市大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SeaEvo通过策略空间进化层，将语言级策略推理转化为群体级进化状态，提升LLM引导的程序搜索效果，实现算法发现、系统优化和智能体设计任务的性能提升。

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher：通过端到端强化学习训练LLM进行推理、搜索和管理内存

Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 MemSearcher通过端到端强化学习训练LLM进行推理、搜索和内存管理，通过维护紧凑的记忆在多轮交互中保持上下文长度稳定，优于基于历史拼接的基线方法。

Comments Accepted to ACL 2026

The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

记忆诅咒：扩展回忆如何在LLM代理中侵蚀合作意图

Jiayuan Liu, Tianqin Li, Shiyi Du, Xin Luo, Haoxuan Zeng, Emanuel Tewolde, Tai Sing Lee, Tonghan Wang, Carl Kingsford, Vincent Conitzer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室） ； University of Michigan（密歇根大学） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究发现扩展回忆会系统性地削弱多代理社会困境中的合作意图，通过三种分析揭示记忆内容对合作的影响，证明记忆是影响多代理行为的主动因素。

CSR: Infinite-Horizon Real-Time Policies with Massive Cached State Representations

CSR：具有大规模缓存状态表示的无限时间 horizon 实时策略

Robin Karlsson, Go Suzui

机构 * GODOT Inc（GODOT公司） ； Graduate School of Informatics, Nagoya University（名古屋大学信息研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CSR框架，通过优化KV缓存重用和异步状态协调算法，实现大规模LLM在机器人中的实时应用，显著降低延迟并提升性能。

Comments Extended Technical Report for Paper Accepted to IEEE RA-L

GASim: A Graph-Accelerated Hybrid Framework for Social Simulation

GASim：一种用于大规模社会模拟的图加速混合框架

Xuan Zhou, Yanhui Sun, Hantao Yao, Allen He, Yongdong Zhang, Wu Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； BASIS International School（BASIS国际学校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出GASim框架，通过图优化内存和图消息传递提升大规模社会模拟效率，实现9.94倍速度提升并降低计算成本。

HMACE: Heterogeneous Multi-Agent Collaborative Evolution for Combinatorial Optimization

HMACE：异构多智能体协作进化用于组合优化

Yuping Yan, Jirui Han, Fei Ming, Yuanshuai Li, Yaochu Jin

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出HMACE框架，通过异构多智能体协作解决组合优化问题，通过策略探索、可执行启发式合成、经验评估和记忆更新四个智能体实现高效启发式搜索，提升搜索质量和效率。

CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

CSMCIR: 基于记忆库的增强对称对齐用于复合图像检索

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

机构 * Kuaishou Technology（快播科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出CSMCIR，通过多级链式思维提示策略、对称双塔架构和熵基记忆库策略，实现高效查询-目标对齐，提升复合图像检索性能。

In-Context Credit Assignment via the Core

通过核心进行上下文内信用分配

Keegan Harris, Siddharth Prasad, Asher Trockman

机构 * UC Berkeley（伯克利大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种激励对齐的上下文内信用分配机制，基于合作博弈理论中的核心解概念，通过算法近似核心解来稳定分配价值，实验显示其在网页检索任务中效率显著高于其他方法。

Adaptive Memory Decay for Log-Linear Attention

自适应记忆衰减的对数线性注意

Yaxita Amin, Helen Zichen Li, Mengfan Zhang, Samet Ayhan

机构 * University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过轻量级两层MLP学习记忆衰减参数λ，实现按内容自适应的衰减，提升长距离记忆任务性能。

Comments 19 pages, 13 figures. Preprint

Belief Memory: Agent Memory Under Partial Observability

信念记忆：在部分可观测性下的智能体记忆

Junfeng Liao, Qizhou Wang, Jianing Zhu, Bo Du, Rui Yan, Xiuying Chen

机构 * MBZUAI ； RIKEN AIP ； UT Austin ； Wuhan University（武汉大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BeliefMem，通过保留多个候选结论及其概率，解决智能体在部分可观测环境中记忆的不确定性问题，实验证明其在LoCoMo和ALFWorld基准上表现优异。

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

贝叶斯注意机制：一种用于位置编码和上下文长度外推的概率框架

Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

机构 * MALTA – Machine Learning Theory and Applications Lab, PUCRS – Porto Alegre, Brazil（MALTA机器学习理论与应用实验室，PUCRS-波士顿实验室，巴西） ； Kunumi Institute, Brazil（昆米研究所，巴西） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出贝叶斯注意机制，通过概率模型将位置编码作为先验，统一了现有方法并改进了长上下文泛化能力，在500倍训练上下文长度下实现更准确的信息检索。

Comments Accepted to ICLR 2026

Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

持久视觉记忆：在大型视觉-语言模型中维持感知以实现深度生成

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, Muxin Fu, Daizong Liu, Wei-Long Zheng, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Tongji University（同济大学） ； Wuhan University（武汉大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出PVM模块，通过增强视觉证据的持续访问能力，解决LVLMs中视觉信号稀释问题，提升复杂推理任务的准确率。

Sparse Attention as Compact Kernel Regression

稀疏注意力作为紧凑核回归

Saul Santos, Nuno Gonçalves, Daniel C. McNamee, Marcos Treviso, André F. T Martins

机构 * Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal（里斯本大学理工学院及电信研究所，葡萄牙） ； Champalimaud Research, Lisbon, Portugal（Champalimaud研究，葡萄牙里斯本） ； TransPerfect, Lisbon, Portugal（TransPerfect，葡萄牙里斯本） ； Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，美国匹兹堡） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文通过核理论将稀疏注意力与紧凑核回归联系起来，揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系，并展示了核方法在注意力设计中的应用。

Comments 16 pages, 5 figures