语言大模型 / LLM

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

Yiran Ding, Li Lyna Zhang, Chengruidong Zhang, Yuanyuan Xu, Ning Shang, Jiahang Xu, Fan Yang, Mao Yang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Extensible Embedding: A Flexible Multipler For LLM's Context Length

Ninglu Shao, Shitao Xiao, Zheng Liu, Peitian Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Enhancing LLM-Based Coding Tools through Native Integration of IDE-Derived Static Context

Yichen Li, Yun Peng, Yintong Huo, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Cooperation on the Fly: Exploring Language Agents for Ad Hoc Teamwork in the Avalon Game

Zijing Shi, Meng Fang, Shunfeng Zheng, Shilong Deng, Ling Chen, Yali Du

专题命中 长上下文与记忆 ：language agent(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Code will release soon

Agents: An Open-source Framework for Autonomous Language Agents

Wangchunshu Zhou, Yuchen Eleanor Jiang, Long Li, Jialong Wu, Tiannan Wang, Shi Qiu, Jintian Zhang, Jing Chen, Ruipu Wu, Shuai Wang, Shiding Zhu, Jiyu Chen, Wentao Zhang, Xiangru Tang, Ningyu Zhang, Huajun Chen, Peng Cui, Mrinmaya Sachan

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Code available at https://github.com/aiwaves-cn/agents

Effective Long-Context Scaling of Foundation Models

Wenhan Xiong, Jingyu Liu, Igor Molybog, Hejia Zhang, Prajjwal Bhargava, Rui Hou, Louis Martin, Rashi Rungta, Karthik Abinav Sankararaman, Barlas Oguz, Madian Khabsa, Han Fang, Yashar Mehdad, Sharan Narang, Kshitiz Malik, Angela Fan, Shruti Bhosale, Sergey Edunov, Mike Lewis, Sinong Wang, Hao Ma

专题命中 长上下文与记忆 ：foundation model(title)；language model(abstract)；instruction tuning(abstract)；pretraining(abstract)

Augmenting Language Models with Long-Term Memory

Weizhi Wang, Li Dong, Hao Cheng, Xiaodong Liu, Xifeng Yan, Jianfeng Gao, Furu Wei

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

Decomposed Prompting: A Modular Approach for Solving Complex Tasks

Tushar Khot, Harsh Trivedi, Matthew Finlayson, Yao Fu, Kyle Richardson, Peter Clark, Ashish Sabharwal

专题命中 长上下文与记忆 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments ICLR'23 Camera Ready

Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models

Xiaoman Pan, Wenlin Yao, Hongming Zhang, Dian Yu, Dong Yu, Jianshu Chen

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL

Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering

LLM代理中的外部化：内存、技能、协议和Harness工程的统一综述

Chenyu Zhou, Huacan Chai, Wenteng Chen, Zihan Guo, Rong Shan, Yuanyi Song, Tianyi Xu, Yingxuan Yang, Aofan Yu, Weiming Zhang, Congming Zheng, Jiachen Zhu, Zeyu Zheng, Zhuosheng Zhang, Xingyu Lou, Changwang Zhang, Zhihui Fu, Jun Wang, Weiwen Liu, Jianghao Lin, Weinan Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文综述了LLM代理中从模型权重到上下文再到Harness的演变，探讨了内存、技能和协议作为外部化形式的协同作用，分析了参数化能力与外部化能力的权衡及未来发展方向。

Comments 54 pages, tech report on Externalization in LLM Agents

Mitigating Over-Personalization in LLMs via Structured Memory

通过结构化内存缓解大型语言模型（LLM）中的过度个性化问题

Hakeem Hannoon, Andrew Zhao, Mihir Narayan, Sharvin Goyal, Ivaxi Sheth

机构 * University of Saskatchewan（萨斯喀彻温大学） ； University of California–Irvine（加州大学欧文分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Obra D. Tompkins High School（奥布拉·D.汤普金斯高中） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对内存增强LLM的跨域泄漏和内存诱导谄媚问题，提出推理时按领域划分内存的结构化呈现方法，在PersistBench七个模型上平均降低8.8%跨域泄漏且保持实用性。

Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement

通过迭代优化从隐式交互流中学习动态用户画像

Haifeng Wu

机构 * PayPal（贝宝） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有个性化LLM依赖显式偏好监督的局限，提出IRIS框架，通过隐式交互流迭代优化用户画像，在Reddit AITA数据上的100位作者测试中，其决策预测准确率达61.0%，优于多种基线方法。

Comments 23 pages, 1 figure, 3 tables

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

大语言模型中的现实监测：随对话记忆而转变的自我认知

Saurabh Ranjan, Konstantina Sokratous, Brian Odegaard

机构 * University of Florida（佛罗里达大学） ； University of Missouri（密苏里大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中现实监测能力，通过两个实验和六个模型发现来源归因依赖对话记忆结构，反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题，表明评估模型知识时追踪来源很重要。

Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models

大规模提示设计：格式、指令数量和上下文长度如何影响大语言模型中的指令遵循和幻觉

Netanel Eliav

机构 * Machine Human Intelligence Lab (MHIL)（机器人类智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型提示设计中格式、指令数量和上下文长度对指令遵循及幻觉的影响，通过在合成语料库上的两个控制实验评估五个模型，揭示了不同因素下的表现及规律，还发布了相关工具和结果。

Comments 21 pages, 6 figures. Code and data: https://github.com/iNetanel/veyrabench

Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Understanding

感知与敏感性：探讨语义回忆对长上下文代码推理的影响

Adam Štorek, Mukur Gupta, Samira Hajizadeh, Prashast Srivastava, Suman Jana

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了语义回忆对长上下文代码推理的影响，通过评估10种先进LLM发现，前沿模型在词汇回忆上表现优异，但语义回忆在长上下文中央位置时显著下降。引入语义回忆敏感性指标，提出SemTrace任务，展示LLM在长上下文中的位置效应。

Comments Accepted to ACL 2026 (main)

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆：大语言模型稀疏性的新轴

Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

机构 * Peking University（北京大学） ； DeepSeek-AI 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer缺乏知识查找原语的问题，引入条件记忆及Engram模块，通过制定稀疏分配问题发现U形缩放定律，扩展Engram至27B参数，在多领域提升性能，揭示其优势，为下一代稀疏模型提供重要建模原语。

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology（万隆理工学院） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

Sub-Token Routing for KV Cache Compression

子令牌路由用于KV缓存压缩

Wei Jiang, Wei Wang

机构 * Futurewei Technologies（未来智科） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出子令牌路由方法，在保留令牌内对值向量分组并选择性保留，与令牌级压缩互补，在LLM和VLM中提升压缩性能。

Comments 17 pages, 8 tables, 2 figures

G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

G-Long：面向高效长期对话代理的图增强记忆管理

Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 长上下文与记忆 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出G-Long框架，利用微调小语言模型进行结构化三元组提取和关联检索，并引入注意力感知重要性评分机制，在降低计算开销的同时，在响应生成和记忆检索上达到最优性能。

Comments 22 pages, 8 figures, 14 tables

AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications

AMA-Bench：评估智能体应用的长时记忆

Yujie Zhao, Boqin Yuan, Junbo Huang, Haocheng Yuan, Zhongming Yu, Haozhou Xu, Lanxiang Hu, Abhilash Shankarampeta, Zimeng Huang, Wentao Ni, Yuandong Tian, Jishen Zhao

机构 * UCSD（加州大学圣塔克拉拉分校） ； Recursive 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AMA-Bench基准，通过真实与合成轨迹评估LLM智能体的长时记忆，并基于因果图与工具增强检索提出AMA-Agent系统，在基准上提升11.16%准确率。

Failure Modes in Multi-Hop QA: The Weakest Link Effect and the Recognition Bottleneck

多跳问答中的故障模式：最弱链接效应与识别瓶颈

Meiru Zhang, Zaiqiao Meng, Nigel Collier

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究揭示多跳问答中LLM因位置偏见导致的识别与综合失败机制，提出MFAI方法解决识别瓶颈，提升低可见性位置准确率，并展示系统2推理模型在长上下文中的有效性。

Comments Accepted at ACL 2026

Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models

每个token都重要：在大语言模型中推广1600万超长上下文

Xiang Hu, Zhanchao Zhou, Ruiqi Liang, Zehuan Li, Wei Wu, Jianguo Li

机构 * Ant Group（蚂蚁集团） ； Westlake University（西湖大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新型的分层稀疏注意力机制，用于在大语言模型中实现对超长上下文的有效建模，并在多个任务中展示了其处理1600万长度上下文的能力。

StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant

Haibo Wang, Bo Feng, Zhengfeng Lai, Mingze Xu, Shiyu Li, Weifeng Ge, Afshin Dehghan, Meng Cao, Ping Huang

机构 * Apple（苹果公司） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025

HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models

Chang Dai, Hongyu Shan, Mingyang Song, Di Liang

机构 * Peking University（北京大学） ； Tianjin University（天津大学） ； Tencent（腾讯） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation

Derek Yotheringhay, Alistair Kirkland, Humphrey Kirkbride, Josiah Whitesteeple

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Self-Taught Agentic Long Context Understanding

Yufan Zhuang, Xiaodong Yu, Jialian Wu, Ximeng Sun, Ze Wang, Jiang Liu, Yusheng Su, Jingbo Shang, Zicheng Liu, Emad Barsoum

机构 * AMD ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

Comments Published at ACL 2025 Main Conference

Malware Classification from Memory Dumps Using Machine Learning, Transformers, and Large Language Models

Areej Dweib, Montaser Tanina, Shehab Alawi, Mohammad Dyab, Huthaifa I. Ashqar

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

Enhancing textual textbook question answering with large language models and retrieval augmented generation

Hessa Abdulrahman Alawwad, Areej Alhothali, Usman Naseem, Ali Alkhathlan, Amani Jamal

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Journal ref Pattern Recognition, Volume 162, 2025, Article 111332

Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models

Changjiang Gao, Jixing Li, Jiajun Chen, Shujian Huang

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments Accepted by ACL 2024 (main conference, long paper)

Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking

演化技能结构攻击记忆增强大语言模型越狱

Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

专题命中 长上下文与记忆 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MemAttack框架，通过技能结构化的攻击记忆建模、生命周期驱动的记忆演化和探索-利用平衡的记忆选择，实现高效的黑盒越狱攻击，在AdvBench上达到98.00%攻击成功率。

Comments Under review