语言大模型 / LLM

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

EXPEREPAIR: 基于双记忆增强的LLM级仓库级程序修复

Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 ExpeRepair通过双记忆系统提升LLM在仓库级程序修复中的表现，通过动态提示生成和历史修复经验复用，实现更高效的修复性能。

Comments Accepted by FSE 2026

From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms

从存储到经验：LLM代理记忆机制演化的综述

Jinghao Luo, Yuchen Tian, Chuxue Cao, Ziyang Luo, Hongzhan Lin, Kaixin Li, Chuyi Kong, Ruichao Yang, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； South China Normal University（南方中国师范大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了LLM代理记忆机制的发展，提出三阶段框架，分析长程一致性、动态环境挑战和持续学习目标，探讨前瞻性探索与跨轨迹抽象等前沿机制，为下一代LLM代理设计提供指导。

Comments Accepted by ACL 2026 Findings

WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems

WiCER：维基内存编译、评估、细化迭代知识编译用于LLM维基系统

Juan M. Huerta

机构 * Zinnia Tech Solutions（Zinnia科技解决方案） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出WiCER算法，通过迭代编译、评估和细化维基内存，解决LLM维基系统中知识编译的差距问题，显著提升知识检索质量并减少灾难性失败。

HexiSeq: Accommodating Long Context Training of LLMs over Heterogeneous Hardware

HexiSeq: 适配长上下文训练的LLM异构硬件支持

Yan Liang, Youhe Jiang, Ran Yan, Binhang Yuan, Wei Wang, Chuan Wu

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 HexiSeq通过异构GPU集群的计算、内存和通信能力分配，实现非对称CP-HP分区，提升长上下文LLM训练吞吐量，实验显示在混合H100-A100和模拟集群中性能提升达1.11至1.72倍。

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference

MISA：混合索引器稀疏注意力用于长上下文LLM推理

Ruijie Zhou, Fanxu Meng, Yufei Xu, Tongxuan Liu, Guangming Lu, Muhan Zhang, Wenjie Pei

机构 * PKU（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 MISA通过将DSA索引器头部视为专家混合池，降低长上下文LLM推理的计算成本，同时保持性能，比HISA更优。

Comments https://github.com/MuLabPKU/TransArch

Reformulating KV Cache Eviction Problem for Long-Context LLM Inference

为长上下文LLM推理重构KV缓存淘汰问题

Tho Mai, Joo-Young Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于输出的分层矩阵乘法近似方法，通过LaProx策略量化token贡献并考虑跨头依赖，实验表明在仅使用5%的KV缓存时保持性能并优于现有方法。

LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction

LKV：端到端学习头部预算和令牌选择以LLM KV缓存淘汰

Enshuai Zhou, Yifan Hao, Chao Wang, Rui Zhang, Di Huang, Jiaming Guo, Xing Hu, Zidong Du, Qi Guo, Yunji Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Lab of Processors, Institute of Computing Technology, CAS, Beijing, China（中国科学院计算技术研究所过程器重点实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LKV，通过端到端可微优化问题实现KV缓存压缩，学习任务优化全局预算和内在KV重要性，提升长上下文推理性能。

The Context Gathering Decision Process: A POMDP Framework for Agentic Search

上下文收集决策过程：一种用于代理搜索的POMDP框架

Chinmaya Kausik, Adith Swaminathan, Nathan Kallus

机构 * University of Michigan（密歇根大学） ； Netflix 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CGDP框架，通过将LLM行为建模为近似汤普森采样，引入谓词方法分解搜索过程，并设计两种干预措施提升多跳推理能力。

Comments 25 pages

SeaEvo: Advancing Algorithm Discovery with Strategy Space Evolution

SeaEvo：通过策略空间进化推进算法发现

Sichun Luo, Yi Huang, Haochen Luo, Fengyuan Liu, Guanzhi Deng, Lei Li, Qinghua Yao, Zefa Hu, Junlan Feng, Qi Liu

机构 * The University of Hong Kong（香港大学） ； JIUTIAN Research, China Mobile（钧天研究院，中国移动） ； City University of Hong Kong（城市大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SeaEvo通过策略空间进化层，将语言级策略推理转化为群体级进化状态，提升LLM引导的程序搜索效果，实现算法发现、系统优化和智能体设计任务的性能提升。

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher：通过端到端强化学习训练LLM进行推理、搜索和管理内存

Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 MemSearcher通过端到端强化学习训练LLM进行推理、搜索和内存管理，通过维护紧凑的记忆在多轮交互中保持上下文长度稳定，优于基于历史拼接的基线方法。

Comments Accepted to ACL 2026

The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

记忆诅咒：扩展回忆如何在LLM代理中侵蚀合作意图

Jiayuan Liu, Tianqin Li, Shiyi Du, Xin Luo, Haoxuan Zeng, Emanuel Tewolde, Tai Sing Lee, Tonghan Wang, Carl Kingsford, Vincent Conitzer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室） ； University of Michigan（密歇根大学） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究发现扩展回忆会系统性地削弱多代理社会困境中的合作意图，通过三种分析揭示记忆内容对合作的影响，证明记忆是影响多代理行为的主动因素。

CSR: Infinite-Horizon Real-Time Policies with Massive Cached State Representations

CSR：具有大规模缓存状态表示的无限时间 horizon 实时策略

Robin Karlsson, Go Suzui

机构 * GODOT Inc（GODOT公司） ； Graduate School of Informatics, Nagoya University（名古屋大学信息研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CSR框架，通过优化KV缓存重用和异步状态协调算法，实现大规模LLM在机器人中的实时应用，显著降低延迟并提升性能。

Comments Extended Technical Report for Paper Accepted to IEEE RA-L

GASim: A Graph-Accelerated Hybrid Framework for Social Simulation

GASim：一种用于大规模社会模拟的图加速混合框架

Xuan Zhou, Yanhui Sun, Hantao Yao, Allen He, Yongdong Zhang, Wu Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； BASIS International School（BASIS国际学校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出GASim框架，通过图优化内存和图消息传递提升大规模社会模拟效率，实现9.94倍速度提升并降低计算成本。

HMACE: Heterogeneous Multi-Agent Collaborative Evolution for Combinatorial Optimization

HMACE：异构多智能体协作进化用于组合优化

Yuping Yan, Jirui Han, Fei Ming, Yuanshuai Li, Yaochu Jin

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出HMACE框架，通过异构多智能体协作解决组合优化问题，通过策略探索、可执行启发式合成、经验评估和记忆更新四个智能体实现高效启发式搜索，提升搜索质量和效率。

CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval

CSMCIR: 基于记忆库的增强对称对齐用于复合图像检索

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Yiwei Ma, Jiayi Ji, Chenyi Lei, Han Li, Xiaoshuai Sun

机构 * Kuaishou Technology（快播科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出CSMCIR，通过多级链式思维提示策略、对称双塔架构和熵基记忆库策略，实现高效查询-目标对齐，提升复合图像检索性能。

In-Context Credit Assignment via the Core

通过核心进行上下文内信用分配

Keegan Harris, Siddharth Prasad, Asher Trockman

机构 * UC Berkeley（伯克利大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种激励对齐的上下文内信用分配机制，基于合作博弈理论中的核心解概念，通过算法近似核心解来稳定分配价值，实验显示其在网页检索任务中效率显著高于其他方法。

Adaptive Memory Decay for Log-Linear Attention

自适应记忆衰减的对数线性注意

Yaxita Amin, Helen Zichen Li, Mengfan Zhang, Samet Ayhan

机构 * University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过轻量级两层MLP学习记忆衰减参数λ，实现按内容自适应的衰减，提升长距离记忆任务性能。

Comments 19 pages, 13 figures. Preprint

Belief Memory: Agent Memory Under Partial Observability

信念记忆：在部分可观测性下的智能体记忆

Junfeng Liao, Qizhou Wang, Jianing Zhu, Bo Du, Rui Yan, Xiuying Chen

机构 * MBZUAI ； RIKEN AIP ； UT Austin ； Wuhan University（武汉大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BeliefMem，通过保留多个候选结论及其概率，解决智能体在部分可观测环境中记忆的不确定性问题，实验证明其在LoCoMo和ALFWorld基准上表现优异。

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

贝叶斯注意机制：一种用于位置编码和上下文长度外推的概率框架

Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

机构 * MALTA – Machine Learning Theory and Applications Lab, PUCRS – Porto Alegre, Brazil（MALTA机器学习理论与应用实验室，PUCRS-波士顿实验室，巴西） ； Kunumi Institute, Brazil（昆米研究所，巴西） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出贝叶斯注意机制，通过概率模型将位置编码作为先验，统一了现有方法并改进了长上下文泛化能力，在500倍训练上下文长度下实现更准确的信息检索。

Comments Accepted to ICLR 2026

Persistent Visual Memory: Sustaining Perception for Deep Generation in LVLMs

持久视觉记忆：在大型视觉-语言模型中维持感知以实现深度生成

Siyuan Huang, Xiaoye Qu, Yafu Li, Tong Zhu, Zefeng He, Muxin Fu, Daizong Liu, Wei-Long Zheng, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） ； Tongji University（同济大学） ； Wuhan University（武汉大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出PVM模块，通过增强视觉证据的持续访问能力，解决LVLMs中视觉信号稀释问题，提升复杂推理任务的准确率。

Sparse Attention as Compact Kernel Regression

稀疏注意力作为紧凑核回归

Saul Santos, Nuno Gonçalves, Daniel C. McNamee, Marcos Treviso, André F. T Martins

机构 * Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal（里斯本大学理工学院及电信研究所，葡萄牙） ； Champalimaud Research, Lisbon, Portugal（Champalimaud研究，葡萄牙里斯本） ； TransPerfect, Lisbon, Portugal（TransPerfect，葡萄牙里斯本） ； Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学，美国匹兹堡） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文通过核理论将稀疏注意力与紧凑核回归联系起来，揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系，并展示了核方法在注意力设计中的应用。

Comments 16 pages, 5 figures

The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval

文本恐怖谷：LLM信息检索中的非单调性能退化

Zekai Tong, Ruiyao Xu, Aryan Shrivastava, Chenhao Tan, Ari Holtzman

机构 * University of Chicago（芝加哥大学） ； Northwestern University（西北大学） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了文本碎片化对LLM信息检索性能的影响，发现性能呈现U型曲线，提出模式过渡假说解释LLM在不同文本状态下的工作模式变化。

Comments 18 pages, 9 figures

OmicsLM: A Multimodal Large Language Model for Multi-Sample Omics Reasoning

OmicsLM：一种多模态大语言模型用于多样本组学推理

Maciej Sypetkowski, Joanna Krawczyk, Łukasz Smoliński, Remigiusz Kinas, Przemysław Pietrzak, Tomasz Jetka, Rafał Powalski

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 OmicsLM通过整合定量组学数据与自然语言任务，实现多样本组学推理，其在多任务类型上表现优异，尤其在生物语言指导的推理任务中超越专用模型和通用LLM。

Comments 13 pages (main text), 14 pages (appendix), 1 figure, 10 tables

GameGen-Verifier: Parallel Keypoint-Based Verification for LLM-Generated Games via Runtime State Injection

GameGen-Verifier：通过运行时状态注入实现LLM生成游戏的并行关键点验证

Chaobo Jia, Ruipeng Wan, Ting Sun, Weihao Tan, Borui Wan, Yuxuan Tong, Guangming Sheng, Hong Xu

机构 * CUHK（香港中文大学） ； HUST（华中科技大学） ； Lionrock AI Lab（Lionrock人工智能实验室） ； NTU（国立新加坡大学） ； HKU（香港大学） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出GameGen-Verifier，通过分解规范为可验证的关键点，实现LLM生成游戏的自动化验证，提升验证准确率并减少运行时间。

Cognitive Agent Compilation for Explicit Problem Solver Modeling

认知代理编译用于显式问题求解器建模

Hyeongdon Moon, Carolyn Rosé, John Stamper

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出Cognitive Agent Compilation框架，利用强教师LLM将问题解决知识编译为显式目标代理，旨在提高教育场景中问题解决的可检查性和可编辑性。

Comments Accepted to AIED 2026 Blue Sky

Emergent Manifold Separability during Reasoning in Large Language Models

大语言模型推理中的涌现流形分离

Chanwoo Chun, Alexandre Polo, SueYeon Chung

机构 * Department of Physics, Harvard University（哈佛大学物理系） ； Center for Data Science, New York University（纽约大学数据科学中心） ； Kempner Institute, Harvard University（哈佛大学 Kempner 研究所） ； Center for Computational Neuroscience, Flatiron Institute（Flatiron 机构计算神经科学中心） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 研究大语言模型推理过程中的流形分离现象，通过曼福容量理论分析两种组合推理任务，发现概念流形在计算前解耦为线性可分子空间，揭示动态流形管理机制。

Comments Alexandre Polo and Chanwoo Chun contributed equally to this work

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

ResRL: 通过负样本投影残差强化学习提升大语言模型推理能力

Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin

机构 * MAIS\&NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China（MAIS与NLPR，自动化研究所，中国科学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（先进交叉学科学院，中国科学院大学，北京，中国） 纠错

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ResRL，通过解耦正负响应的语义分布，提升LLM推理能力同时保持生成多样性，在十二个基准测试中超越强基线，尤其在数学推理上表现更优。

Comments Accepted to ICML 2026. Preprint version. https://github.com/1229095296/ResRL.git

VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training

VESPO：变分序列级软策略优化用于稳定的反政策LLM训练

Guobin Shen, Chenxiao Zhao, Xiang Cheng, Lei Huang, Xing Yu

机构 * Xiaohongshu Inc（小红书公司） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VESPO，通过变分方法减少反政策更新中的方差，提升大语言模型在严重反政策条件下的稳定性，实验显示其在数学推理和代码生成任务中优于现有基线方法。

SOM: Structured Opponent Modeling for LLM-based Agents via Structural Causal Model

基于结构因果模型的对手建模：通过结构因果模型实现基于大语言模型的智能体

Shiyue Cao, Pei Xu, Likun Yang, Lei Cui, Xiaotang Chen, Kaiqi Huang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences \& Institute of Automation, Chinese Academy of Sciences Beijing China ； National Key Laboratory of Cognition ； Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences Beijing China ； School of Artificial Intelligence, University of Chinese Academy of Sciences Beijing China ； Institute of Automation, Chinese Academy of Sciences Beijing China ； School of Artificial Intelligence, University of Chinese Academy of Sciences \& Institute of Automation, Chinese Academy of Sciences ； Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences ； School of Artificial Intelligence, University of Chinese Academy of Sciences ； Institute of Automation, Chinese Academy of Sciences 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SOM框架，通过结构因果模型明确分离对手建模与预测，提升多智能体环境中的预测准确性和适应性。

Learning and Reusing Policy Decompositions for Hierarchical Generalized Planning with LLM Agents

基于LLM代理的分层通用规划中的策略分解学习与重用

Shirin Sohrabi, Haritha Ananthakrishnan, Harsha Kokel, Kavitha Srinivas, Michael Katz

机构 * IBM 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出一种结合通用规划与分层任务分解的动态策略学习方法，通过自动分解学习可重用的策略组件，提升任务执行效率与准确性。