语言大模型 / LLM

CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing

CTkvr: 通过聚类然后标记索引实现长上下文LLM的KV缓存检索

Kuan Lu, Shuhang Lin, Sai Wu, Yichen Yao, Junhan Yang, Huan Li, Wei Chu, Xu Yinghui, Yuan Qi, Gang Chen

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CTKVR通过聚类和标记索引方法提升长上下文LLM的KV缓存检索效率与准确性，实现性能优化和吞吐量提升。

Unifying Dynamic Tool Creation and Cross-Task Experience Sharing through Cognitive Memory Architecture

通过认知记忆架构统一动态工具创建与跨任务经验共享

Jiarun Liu, Shiyue Xu, Yang Li, Shangkun Liu, Yongli Yu, Peng Cao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SMITH通过认知记忆架构统一动态工具创建与跨任务经验共享，实现代理能力的持续扩展和高效适应。

Executable Epistemology: The Structured Cognitive Loop as an Architecture of Intentional Understanding

可执行的元认知：结构化认知循环作为意图理解的架构

Myung Ho Kim

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结构化认知循环（SCL）作为可执行的元认知框架，通过定义智能为持续的循环过程，重新定义智能为重构自身知识状态的能力，并在哲学、人工智能和认识论领域产生影响。

Comments v4: Clarified the structural role of 'Regulation' as a governing constraint distinct from the loop cycle. Revised Figures 1 and 2 for better architectural clarity and unified terminology

Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience

基于长期机器人经验的分层表示的事件记忆语言化

Leonard Bärmann, Chad DeChant, Joana Plewnia, Fabian Peller-Konrad, Daniel Bauer, Tamim Asfour, Alex Waibel

机构 * Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机学与机器人研究所，卡尔斯鲁厄理工学院） ； Computer Science Department, Columbia University（计算机科学系，哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于分层表示的机器人长期经验语言化方法，利用大规模预训练模型实现零样本学习，通过构建树状数据结构实现事件记忆的自然语言抽象，提升人机交互能力。

Comments Humanoids 2025. Code, data and demo videos at https://hierarchical-emv.github.io

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs

超越现实：旋转位置嵌入的虚数扩展用于长上下文LLM

Xiaoran Liu, Yuerong Song, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Zhaoxiang Liu, Shiguo Lian, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； China Unicom（中国联合网络通信集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过复数扩展提升旋转位置嵌入，以增强长上下文LLM对位置信息的建模能力。

Comments 20 pages, 6 figures, under review

Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs

Rhea: 以角色意识的启发式片段注意力用于对话大语言模型

Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Rhea通过角色意识启发式片段注意力框架，有效缓解多轮对话中上下文衰减问题，提升对话模型的准确性和指令一致性。

MemOS: A Memory OS for AI System

MemOS：人工智能系统中的内存操作系统

Zhiyu Li, Chenyang Xi, Chunyu Li, Ding Chen, Boyu Chen, Shichao Song, Simin Niu, Hanyu Wang, Jiawei Yang, Chen Tang, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Huayi Lai, Hao Wu, Bo Tang, Zhengren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofen Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

机构 * MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所） ； Research Institute of China Telecom（中国电信研究院） ； Tongji University（同济大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MemOS是一种面向人工智能系统的内存操作系统，通过统一管理不同类型的内存资源，提升长上下文推理和持续个性化的能力。

Comments 36 pages, 10 figures, 5 tables

SpecPV: Improving Self-Speculative Decoding for Long-Context Generation via Partial Verification

SpecPV：通过部分验证改进长上下文生成的自我推测解码

Zhendong Tan, Xingjun Zhang, Chaoyi Hu, Junjie Peng, Kun Xia

机构 * School of Computer Science and Technology, Xi'an Jiaotong University, Xi'an, China（计算机科学与技术学院，西安交通大学，西安，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SpecPV通过部分验证和周期性完整验证提升长上下文生成效率，实现6倍解码加速

Solving Context Window Overflow in AI Agents

解决AI代理中的上下文窗口溢出

Anton Bulle Labate, Valesca Moura de Sousa, Sandro Rama Fiorini, Leonardo Guerreiro Azevedo, Raphael Melo Thiago, Viviane Torres da Silva

机构 * IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种方法，使LLMs能够处理任意长度的工具响应，避免上下文窗口溢出问题，减少令牌使用并提升执行效率。

Strong Memory, Weak Control: An Empirical Study of Executive Functioning in LLMs

强记忆，弱控制：对大语言模型执行功能的实证研究

Karin de Langis, Jong Inn Park, Bin Hu, Khanh Chi Le, Andreas Schramm, Michael C. Mensink, Andrew Elfenbein, Dongyeop Kang

机构 * Department of Computer Science and Engineering, University of Minnesota（计算机科学与工程系，明尼苏达大学） ； Department of Linguistics, Hamline University（语言学系，哈姆林大学） ； Department of Psychology, University of Wisconsin-Stout（心理学系，威斯尼斯托大学） ； Department of English, University of Minnesota（英语系，明尼苏达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究发现大语言模型在工作记忆方面表现优异，但执行功能和问题解决能力存在不足，提示需进一步改进注意力控制和认知灵活性。

How LLMs are Shaping the Future of Virtual Reality

大型语言模型如何塑造虚拟现实的未来

Süeda Özkaya, Santiago Berrezueta-Guzman, Stefan Wagner

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了大型语言模型如何通过增强叙事生成、NPC互动和个性化来塑造虚拟现实的未来，并提出了多模态AI和伦理保障等未来研究方向。

Comments Pre-print

MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems

MoE-CAP：稀疏专家混合系统成本、准确率和性能的基准测试

Yinsicheng Jiang, Yao Fu, Yeqi Huang, Ping Nie, Zhan Lu, Leyang Xue, Congjie He, Man-Kit Sit, Jilong Xue, Li Dong, Ziming Miao, Dayou Du, Tairan Xu, Kai Zou, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） ； Peking University（北京大学） ； NVIDIA Co-leading authors（NVIDIA） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoE-CAP通过引入CAP雷达图和稀疏性能指标，系统性地评估稀疏混合专家系统在成本、准确率和性能之间的权衡。

Agent-SAMA: State-Aware Mobile Assistant

Linqiang Guo, Wei Liu, Yi Wen Heng, Tse-Hsun, Chen, Yang Wang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted to AAAI-26 (Main Technical Track)

LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion

Zhan Ling, Kang Liu, Kai Yan, Yifan Yang, Weijian Lin, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, Jiecao Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Whose Narrative is it Anyway? A KV Cache Manipulation Attack

Mukkesh Ganesh, Kaushik Iyer, Arun Baalaaji Sankar Ananthan

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 7 pages, 10 figures

GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory

Jeong Hun Yeo, Sangyun Chung, Sungjune Park, Dae Hoe Kim, Jinyoung Moon, Yong Man Ro

机构 * Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（整合视觉与语言实验室，电气工程学院，韩国科学技术院（KAIST）） ； Visual Intelligence Research Section, Superintelligence Creative Research Laboratory, Electronics and Telecommunications Research Institute (ETRI)（视觉智能研究部，超智能创意研究实验室，电子电信研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Unlearning Imperative: Securing Trustworthy and Responsible LLMs through Engineered Forgetting

James Jin Kang, Dang Bui, Thanh Pham, Huo-Chong Ling

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 14 pages, 4 figures, 4 tables

SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification

Mohamed Elaraby, Jyoti Prakash Maheswari

机构 * University of Pittsburgh（匹兹堡大学） ； Zillow Inc.（Zillow公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref The 5th Workshop on Evaluation & Comparison of NLP Systems, 2025

Sentence-Anchored Gist Compression for Long-Context LLMs

Dmitrii Tarasov, Elizaveta Goncharova, Kuznetsov Andrey

机构 * FusionBrainLab（融合脑实验室） ； HSE University（俄罗斯高等经济大学） ； Innopolis University（伊诺波利斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment

Jiangnan Li, Thuy-Trang Vu, Christian Herold, Amirhossein Tebbifakhr, Shahram Khadivi, Gholamreza Haffari

机构 * Department of Data Science and AI, Monash University, Australia（墨尔本大学数据科学与人工智能系） ； eBay Inc.（eBay公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

BEE-RAG: Balanced Entropy Engineering for Retrieval-Augmented Generation

Yuhao Wang, Ruiyang Ren, Yucheng Wang, Jing Liu, Wayne Xin Zhao, Hua Wu, Haifeng Wang

机构 * Baidu（百度） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Retrieval Quality at Context Limit

Max McKinnon

机构 * Google LLC Mountain View, U.S.A.（谷歌公司山景城美国分部） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 3 pages, 0 figures

Prioritize Economy or Climate Action? Investigating ChatGPT Response Differences Based on Inferred Political Orientation

Pelin Karadal, Dilara Kekulluoglu

机构 * Sabanci University（萨班奇大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Homogeneous Keys, Heterogeneous Values: Exploiting Local KV Cache Asymmetry for Long-Context LLMs

Wanyun Cui, Mingwei Xu

机构 * MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（交叉计算与经济学 interdisciplinary 研究联合实验室） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 14 pages,7 figures;Accepted by NeurIPS 2025

LUMA-RAG: Lifelong Multimodal Agents with Provably Stable Streaming Alignment

Rohan Wandre, Yash Gajewar, Namrata Patel, Vivek Dhalkari

机构 * Dept. of Computer Engineering（计算机工程系） ； SIES Graduate School of Technology（SIES技术研究生学院） ； Bharatiya Vidya Bhavan's Sardar Patel Institute of Technology（巴哈里亚·维达·巴万学院萨达尔·帕特尔技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

ExplicitLM: Decoupling Knowledge from Parameters via Explicit Memory Banks

Chengzhang Yu, Zening Lu, Chenyang Zheng, Chiyue Wang, Yiming Zhang, Zhanpeng Jin

机构 * South China University of Technology（南方科技大学） ； University of Science and Technology of China（中国科学技术大学） ； Hefei Institutes of Physical Science（合肥物理科学研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 12pages, 4figures

Prompt-MII: Meta-Learning Instruction Induction for LLMs

Emily Xiao, Yixiao Zeng, Ada Chen, Chin-Jou Li, Amanda Bertsch, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Language Technologies Institute（语言技术研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Unstructured Evidence Attribution for Long Context Query Focused Summarization

Dustin Wright, Zain Muhammad Mujahid, Lu Wang, Isabelle Augenstein, David Jurgens

机构 * Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） ； Department of Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系） ； School of Information, University of Michigan（密歇根大学信息学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP 2025 Main; 29 pages; 24 figures; 8 tables

MDP3: A Training-free Approach for List-wise Frame Selection in Video-LLMs

Hui Sun, Shiyin Lu, Huanyu Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Ming Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） ； Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 26 pages, 14 figures

LoongRL: Reinforcement Learning for Advanced Reasoning over Long Contexts

Siyuan Wang, Gaokai Zhang, Li Lyna Zhang, Ning Shang, Fan Yang, Dongyao Chen, Mao Yang

机构 * Microsoft Research Asia（微软亚洲研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL