语言大模型 / LLM

RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference

RetroInfer：一种用于可扩展长上下文LLM推理的向量存储引擎

Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li, Yuqing Yang, Fan Yang, Mao Yang

机构 * 1 University of Science 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RetroInfer通过引入Wave索引和Wave缓冲区，提升长上下文推理的效率与准确性，实现4.4倍于全注意力的解码吞吐量。

Comments 16 pages; Accepted by VLDB 2026

Journal ref PVLDB, 19(5): 1016-1031, 2026

InfiniPipe: Elastic Pipeline Parallelism for Efficient Variable-Length Long-Context LLM Training

InfiniPipe：弹性流水线并行用于高效可变长度长上下文LLM训练

Shiju Wang, Yujie Wang, Ao Sun, Fangcheng Fu, Zijian Zhu, Bin Cui, Xu Han, Kaisheng Ma

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出弹性流水线并行和阶段感知切片级自适应检查点，以应对资源和工作负载异质性，实验证明InfiniPipe比现有系统快1.69倍。

When Agents Go Quiet: Output Generation Capacity and Format-Cost Separation for LLM Document Synthesis

当代理变得沉默：LLM文档合成中的输出生成能力与格式-成本分离

Justice Owusu Agyemang, Michael Agyare, Miriam Kobbinah, Nathaniel Agbugblah, Prosper Addo

机构 * Sperix Labs（Sperix实验室） ； VIA Cybersecurity Lab, KNUST（VIA网络安全实验室，科诺斯大学） ； GCTU, Ghana（加纳格茨大学） ； NCA, Ghana（加纳国家计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出OGC衡量输出生成能力，证明格式-成本分离定理，并提出自适应策略选择框架，通过实验验证理论，减少生成token并消除输出停滞问题。

Response-Aware User Memory Selection for LLM Personalization

面向响应的用户记忆选择用于LLM个性化

Jillian Fisher, Jennifer Neville, Chan Young Park

机构 * Department of Computer Science and Engineering, University of Washington, Seattle, WA, United States of America（华盛顿大学计算机科学与工程系） ； Microsoft Research, Redmond, WA, United States of America（微软研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RUMS方法，通过测量记忆与模型输出的互信息选择用户记忆，提升响应质量并降低计算成本。

Comments Code at: https://github.com/jfisher52/Response_Utility_Optimized_Memory_Selection

Readable Minds: Emergent Theory-of-Mind-Like Behavior in LLM Poker Agents

可读心智：LLM扑克代理中涌现的理论心智行为

Hsieh-Ting Lin, Tsung-Yu Hou

机构 * Department of Oncology, Koo Foundation Sun Yat-Sen Cancer Center（辜公亮基金会和信治癌中心医院肿瘤科） ； Department of Digital Content and Technologies, National Chengchi University（国立政治大学数位内容与科技学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究LLM在动态互动中发展理论心智行为的能力，发现持久记忆是必要且充分条件，使代理达到高级对手建模水平，且领域知识增强应用效果。

Comments 7 pages (PNAS format), 4 figures, 2 tables, 49 references. Submitted to PNAS

From Experience to Strategy: Empowering LLM Agents with Trainable Graph Memory

Siyu Xia, Zekun Xu, Jiajun Chai, Wentian Fan, Yan Song, Xiaohan Wang, Guojun Yin, Wei Lin, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Meituan（美团） ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； AI Centre, Department of Computer Science, University College London（伦敦大学学院计算机科学系人工智能中心） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

A-MEM: Agentic Memory for LLM Agents

Wujiang Xu, Zujie Liang, Kai Mei, Hang Gao, Juntao Tan, Yongfeng Zhang

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Advances in Neural Information Processing Systems (NeurIPS 2025)

What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs

Xingyu Li, Juefei Pu, Yifan Wu, Xiaochen Zou, Shitong Zhu, Xiaochen Zou, Shitong Zhu, Qiushi Wu, Zheng Zhang, Joshua Hsu, Yue Dong, Zhiyun Qian, Kangjie Lu, Trent Jaeger, Michael De Lucia, Srikanth V. Krishnamurthy

机构 * UC Riverside（罗切斯特大学） ； University of Minnesota（明尼苏达大学） ； IBM（IBM公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

MemoCue: Empowering LLM-Based Agents for Human Memory Recall via Strategy-Guided Querying

Qian Zhao, Zhuo Sun, Bin Guo, Zhiwen Yu

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Grass: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients

Aashiq Muhamed, Oscar Li, David Woodruff, Mona Diab, Virginia Smith

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Synapse: Trajectory-as-Exemplar Prompting with Memory for Computer Control

Longtao Zheng, Rundong Wang, Xinrun Wang, Bo An

专题命中 长上下文与记忆 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments ICLR 2024. Project page: https://ltzheng.github.io/Synapse

WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation

WebATLAS: 一种基于经验驱动记忆和动作模拟的LLM代理

Jiali Cheng, Anjishnu Kumar, Roshan Lal, Rishi Rajasekaran, Hani Ramezani, Omar Zia Khan, Oleg Rokhlenko, Sunny Chiu-Webster, Gang Hua, Hadi Amiri

机构 * University of Massachusetts Lowell（马萨诸塞大学洛威尔分校） ； Amazon Alexa AI（亚马逊Alexa人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 WebATLAS通过经验驱动的记忆和前瞻动作模拟，实现无需微调的自主网页导航，成功率达63%。

Comments 9 pages, NeurIPS 2025 Workshop on Language Agents and World Models

HELPER-X: A Unified Instructable Embodied Agent to Tackle Four Interactive Vision-Language Domains with Memory-Augmented Language Models

Gabriel Sarch, Sahil Somani, Raghav Kapoor, Michael J. Tarr, Katerina Fragkiadaki

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Videos and code https://helper-agent-llm.github.io/

Cognitive Architectures for Language Agents

Theodore R. Sumers, Shunyu Yao, Karthik Narasimhan, Thomas L. Griffiths

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments v3 is TMLR camera ready version. 19 pages of main content, 5 figures. The first two authors contributed equally, order decided by coin flip. A CoALA-based repo of recent work on language agents: https://github.com/ysymyth/awesome-language-agents

Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents

Evo-Harness：面向自进化智能体的上下文到 harness 的技能编译

Tianxin Wei, Zhan Shi, Minhua Lin, Bing He, Zewen Liu, Yisi Sang, Yuanchen Bei, Xuying Ning, Jiaru Zou, Ting-Wei Li, Xiao Lin, Yanjun Zhao, Chi Wang, Benoit Dumoulin, Dakuo Wang, Jingrui He, Hanqing Lu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有自进化 LLM 智能体方法的不足，提出 Evo-Harness 框架，通过上下文到 harness 的技能编译提炼单次执行的噪声上下文，在五个现实基准上验证了其有效性，为 LLM 智能体即时学习提供了原则性理解。

AgenticSCR: An Autonomous Agentic Secure Code Review for Immature Vulnerabilities Detection

AgenticSCR: 一种用于检测初期漏洞的自主代理安全代码审查

Wachiraphan Charoenwet, Kla Tantithamthavorn, Patanamon Thongtanunam, Hong Yi Lin, Minwoo Jeong, Ming Wu

机构 * The University of Melbourne（墨尔本大学） ； Monash University（莫纳什大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AgenticSCR通过结合LLMs、自主决策和语义记忆，有效检测预提交阶段的初期漏洞，优于传统SAST工具和静态LLM基线。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE'26 Industry-Track)

Reliable Post-Retrieval Assembly for Agent Memory: Separating Evidence Extraction from Policy Execution

不要询问LLM追踪新鲜度：一种确定性的内存冲突解决策略

Vikas Reddy, Sumanth Reddy Challaram

机构 * IIT Kgp（印度理工学院科钦分校） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 针对基于LLM的内存系统中事实冲突解决性能低下的问题，提出用候选提取加Python max(serial)的确定性聚合替代LLM判断，在单跳任务上提升10.8个百分点，并扩展到多跳任务。

Comments 11 pages, 5 tables. Accepted as a poster at the Lifelong Agent Workshop at COLM 2026. Code: https://github.com/cvikasreddy/memory-conflict-resolution

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.AI、cs.LG

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs

VarRate：用于长上下文语言模型的免训练可变率键值缓存压缩

Shahrzad Esmat, Dhawal Shah, Ali Jannesari

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究长上下文LLM推理中KV缓存内存瓶颈问题，提出免训练的VarRate编解码器，依查询显著性为令牌分配可变低秩预算，无需训练，相比其他方法在准确率和开销上表现出色，是较强的匹配内存压缩器。

Comments 20 pages, 8 figures, 24 tables. Includes appendix with additional experiments and analyses

ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

ParamMute：抑制知识关键的前馈神经网络以实现忠实的检索增强生成

Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学人工智能研究院计算机科学与技术系） ； Microsoft Research Asia, Beijing, China（微软亚洲研究院） ； Language Technologies Institute, Carnegie Mellon University, United States（卡内基梅隆大学语言技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究RAG中LLMs不忠实生成问题，提出ParamMute框架抑制相关FFNs激活并校准模型，通过CoFaithfulQA基准评估，显著提升忠实性，减少对参数记忆依赖，为提高LLM在RAG中的可信度提供新方向。

Comments 26 pages, 7 figures, 7 tables

When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs

当上下文误导：惊讶度、能量和注意力熵作为LLM中连贯性错觉的度量

Ece Takmaz, Nitin Kumar, Li Kloostra, Jakub Dotlacil

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究荷兰语LLM在连贯性错觉中的表现，使用惊讶度、注意力熵和能量指标揭示模型受干扰词影响而忽略不连贯的机制。

Post-Launch Capability Expansion of Vision-Language Models via Prompting for On-Orbit Spacecraft Inspection

通过提示实现视觉语言模型发射后能力扩展用于在轨航天器检测

Nicholas A. Welsh, Lennon J. Shikhman, Monty Nehru Attazs, Seemanthini K. Putane, Van Minh Nguyen, Ryan T. White

机构 * Florida Institute of Technology（佛罗里达理工学院） ； University of Florida（佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(title)；分类 cs.AI、cs.LG

AI总结 研究利用提示驱动的视觉语言模型在轨扩展语义能力，无需修改权重即可通过自然语言提示检测新航天器部件，在129张图像上零样本实例分割达到0.385 mAP@0.5。

Comments 5 pages, 1 figure, 2 tables. Equal contribution by Nicholas A. Welsh and Lennon Shikhman. Published in the CVPR2026 Workshop on AI4Space

From Rigid to Dynamic: Entropy-Guided Adaptive Inference for Long-Context LLMs

从刚性到动态：面向长上下文LLM的熵引导自适应推理

Zhanchao Xu, Haoyang Li, Qingfa Xiao, Fei Teng, Chen Jason Zhang, Lei Chen, Qing Li

机构 * Department of Computing, PolyU（香港理工大学计算学系） ； DSA, HKUST(GZ)（香港科技大学（广州）数据科学与分析学域） ； CSE, HKUST（香港科技大学计算机科学与工程学系） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 提出EntropyInfer框架，利用注意力熵在预填充阶段自适应分配计算资源，并在解码阶段通过生成令牌压缩KV缓存，实现长上下文LLM的高效推理。

Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs

密集上下文是困难上下文：词汇密度限制LLM的有效上下文

Giovanni Dettori, Matteo Boffa, Danilo Giordano, Idilio Drago, Marco Mellia

机构 * Department of Computer Science Politecnico di Torino（计算机科学系politecnico di torino大学） ； Department of Computer Science University of Turin（计算机科学系都灵大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文通过三个“找针”式基准测试，发现词汇密度（上下文引入不同信息的速率）是除输入长度和相关信息位置外，第三个系统性降低LLM有效上下文窗口的因素，并证明降低密度可恢复性能。

Comments 20 pages, 6 figures

Statistical Priors for Implicit Preferences: Decoupling Skill Selection as a Local Harness in Personal Agents

隐式偏好的统计先验：在个人代理中解耦技能选择作为局部调控机制

Zeyu Gan, Huayi Tang, Yong Liu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对本地部署的个人代理中隐式用户偏好学习问题，提出一种解耦统计偏好学习与语义意图解析的轻量级架构，通过局部统计结果影响远程LLM的选择决策，显著降低累积遗憾并提高测试准确率。

When Search Becomes Memory: Turning Robot Design Trials into Transferable Skills

当搜索成为记忆：将机器人设计试验转化为可迁移技能

Yunfei Wang, Xiaohao Xu, Yang Li, Xiaonan Huang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Auto-Robotist，一种自进化LLM代理，通过将形态搜索轨迹提炼为自然语言技能库，实现可迁移的机器人设计知识，在EvoGym任务中提升冷启动搜索并跨设计空间迁移技能。

Comments 20 pages, 8 figures

AGI Requires a Coordination Layer on Top of Pattern Repositories

AGI 需要在模式存储库之上建立协调层

Edward Y. Chang

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出大型语言模型（LLM）并非AGI的死胡同，而是缺少系统2协调层，通过UCCT和RCA实现语义锚定与因果验证，并设计MACI多智能体协调栈，实验表明自适应控制优于静态提示。

Comments 15 pages, 5 figures, 7 tables

The Context Gathering Decision Process: A POMDP Framework for Agentic Search

上下文收集决策过程：一种用于代理搜索的POMDP框架

Chinmaya Kausik, Adith Swaminathan, Nathan Kallus

机构 * University of Michigan（密歇根大学） ； Netflix 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CGDP框架，通过将LLM行为建模为近似汤普森采样，引入谓词方法分解搜索过程，并设计两种干预措施提升多跳推理能力。

Comments 25 pages

SeaEvo: Advancing Algorithm Discovery with Strategy Space Evolution

SeaEvo：通过策略空间进化推进算法发现

Sichun Luo, Yi Huang, Haochen Luo, Fengyuan Liu, Guanzhi Deng, Lei Li, Qinghua Yao, Zefa Hu, Junlan Feng, Qi Liu

机构 * The University of Hong Kong（香港大学） ； JIUTIAN Research, China Mobile（钧天研究院，中国移动） ； City University of Hong Kong（城市大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SeaEvo通过策略空间进化层，将语言级策略推理转化为群体级进化状态，提升LLM引导的程序搜索效果，实现算法发现、系统优化和智能体设计任务的性能提升。

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher：通过端到端强化学习训练LLM进行推理、搜索和管理内存

Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 MemSearcher通过端到端强化学习训练LLM进行推理、搜索和内存管理，通过维护紧凑的记忆在多轮交互中保持上下文长度稳定，优于基于历史拼接的基线方法。

Comments Accepted to ACL 2026