语言大模型 / LLM

Prometheus Mind: Retrofitting Memory to Frozen Language Models

Prometheus Mind：为冻结语言模型添加记忆

Mark Wind

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 Prometheus Mind通过11个模块化适配器为冻结的Qwen3-4B模型添加记忆，解决提取、训练、注入和隐藏状态崩溃四个问题，实现94.4%的检索准确率。

Comments 28 pages, corrected some inconsistentsies and some edits

Gated Sparse Attention: Combining Computational Efficiency with Training Stability for Long-Context Language Models

门控稀疏注意力：结合计算效率与训练稳定性以长上下文语言模型

Alfred Shen, Aaron Shen

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 GSA通过结合门控和稀疏注意力机制，在提升长上下文语言模型计算效率的同时，显著增强了训练稳定性与模型质量。

Comments 15 pages, 1 figure, attention mechanism, sparse attention, gating, long-context

KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments

KeyDiff: 基于键相似性的KV缓存淘汰方法用于资源受限环境中的长上下文LLM推理

Junyoung Park, Dalton Jones, Matthew J Morse, Raghavv Goel, Mingu Lee, Chris Lott

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 KeyDiff是一种基于键相似性的KV缓存淘汰方法，能够在资源受限环境下高效处理长上下文LLM推理，减少缓存占用并提升响应效率。

Comments 37 pages, 19 figures, NeurIPS 2025

Investigating LLM Capabilities on Long Context Comprehension for Medical Question Answering

探究大语言模型在医疗问答中的长上下文理解能力

Feras AlMannaa, Talia Tseriotou, Jenny Chim, Maria Liakata

机构 * Istanbul Aydın University（伊斯坦布尔阿迪兰大学） ； Queen Mary University of London（伦敦女王学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本研究探讨大语言模型在医疗问答中处理长上下文任务的能力，分析了模型大小、记忆问题及RAG方法的效果，揭示了其在不同任务中的优势与限制。

When KV Cache Reuse Fails in Multi-Agent Systems: Cross-Candidate Interaction is Crucial for LLM Judges

当KV缓存复用在多智能体系统中失效：跨候选者交互对LLM判断者至关重要

Sichu Liang, Zhenglin Wang, Jiajia Chu, Pengfei Xia, Hui Zang, Deyu Zhou

机构 * Southeast University（东南大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本研究揭示了在多智能体系统中KV缓存复用的失效模式，指出跨候选者交互对LLM判断者的重要性，强调了以判断者为中心的推理需要专门设计。

LLMs Can't Play Hangman: On the Necessity of a Private Working Memory for Language Agents

LLMs无法玩井字游戏：关于语言代理所需私人工作记忆的必要性

Davide Baldelli, Ali Parviz, Amal Zouaq, Sarath Chandar

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Polytechnique Montréal（蒙特利尔大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； LAMA-WeST Lab（LAMA-WeST实验室） ； Chandar Research Lab（Chandar研究实验室） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL

AI总结 本文提出私人状态交互任务（PSITs）并证明标准LLMs无法在交互任务中保持秘密和一致性，提出包含显式私人工作记忆的架构以恢复一致性。

Stronger Baselines for Retrieval-Augmented Generation with Long-Context Language Models

更强的检索增强生成基线：长上下文语言模型

Alex Laitenberger, Christopher D. Manning, Nelson F. Liu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出DOS RAG作为长上下文问答任务的强基线，通过保持文档结构和简单性，在多个基准上超越复杂方法。

Comments 11 pages, 6 figures, for associated source code, see https://github.com/alex-laitenberger/stronger-baselines-rag

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025), pages 32559-32569

HiMem: Hierarchical Long-Term Memory for LLM Long-Horizon Agents

HiMem：用于长时间跨度代理的分层长时记忆

Ningning Zhang, Xingxing Yang, Zhizhong Tan, Weiping Deng, Wenyong Wang

机构 * Macau University of Science and Technology（澳门科学理工大學） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 HiMem通过分层长时记忆框架提升长跨度对话代理的适应性和自我进化能力，采用双通道分割和多阶段信息提取实现高效且保真的记忆管理。

Dreaming Is Not a Bug: A Jung-Inspired Dream Layer for Multi-Agent LLM Companions

梦境并非bug：一种基于荣格思想的多智能体LLM伴侣的梦境层

V. Cheung

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于荣格思想的梦境层，通过离线生成梦境叙事来增强多智能体LLM伴侣的学习与关系建立能力，将幻觉转化为资源而非bug。

Comments Preprint, 35 pages (5 pages of appendix), 2 figures, 3 tables. Conceptual and architectural proposal with preliminary simulation results

QwenLong-L1.5: Post-Training Recipe for Long-Context Reasoning and Memory Management

QwenLong-L1.5: 长上下文推理与内存管理的训练配方

Weizhou Shen, Ziyi Yang, Chenliang Li, Zhiyuan Lu, Miao Peng, Huashan Sun, Yingcheng Shi, Shengyi Liao, Shaopeng Lai, Bo Zhang, Dayiheng Liu, Fei Huang, Jingren Zhou, Ming Yan

专题命中 长上下文与记忆 ：post-training(title,abstract)；分类 cs.CL

AI总结 QwenLong-L1.5通过长上下文数据合成、稳定强化学习和内存增强架构，提升长上下文推理能力及超长任务处理性能。

REMODEL-LLM: Transforming C code to Java using LLMs

REMODEL-LLM：利用LLMs将C代码转换为Java代码

Aryan Gupta, Y. Raghu Reddy

专题命中 长上下文与记忆 ：LLM(title)；prompting(abstract)；分类 cs.AI

AI总结 REMODEL-LLM研究利用LLMs将C代码转换为Java代码，发现大多数模型无法生成基本代码，仅少数模型通过部分测试，揭示了量化模型在复杂转换任务中的局限性。

A Simple Yet Strong Baseline for Long-Term Conversational Memory of LLM Agents

为LLM代理构建一个简单却强大的长期对话记忆基线

Sizhe Zhou, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出基于事件的对话记忆方法，通过异构图结构实现高效检索，提升LLM代理的长期对话能力。

Comments Work in progress

Cross-Layer Vision Smoothing: Enhancing Visual Understanding via Sustained Focus on Key Objects in Large Vision-Language Models

跨层视觉平滑：通过持续聚焦关键对象增强大视觉-语言模型的视觉理解

Jianfei Zhao, Feng Zhang, Xin Sun, Chong Feng, Zhixing Tan

机构 * Beijing Institute of Technology（北京理工大学） ； Zhongguancun Academy（中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出CLVS方法，通过跨层视觉记忆平滑注意力分布，提升大视觉-语言模型对关键对象的持续聚焦能力，从而增强视觉理解性能。

Comments Under Review

SAMBA: Toward a Long-Context EEG Foundation Model via Spatial Embedding and Differential Mamba

通过空间嵌入和微分Mamba实现长上下文EEG基础模型：SAMBA

Jiazhen Hong, Geoffrey Mackellar, Soheila Ghane

机构 * Emotiv Research（Emotiv研究公司） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

AI总结 SAMBA通过空间嵌入和微分Mamba模块，实现长上下文EEG建模，提升EEG表示模型的通用性和鲁棒性。

Robot Confirmation Generation and Action Planning Using Long-context Q-Former Integrated with Multimodal LLM

基于长上下文Q-Former与多模态大语言模型的机器人确认生成与动作规划

Chiori Hori, Yoshiki Masuyama, Siddarth Jain, Radu Corcodel, Devesh Jha, Diego Romeres, Jonathan Le Roux

机构 * Mitsubishi Electric Research Laboratories (MERL), Cambridge, MA, USA（三菱电机研究实验室（MERL），马萨诸塞州剑桥市） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出基于长上下文Q-former与多模态大语言模型的机器人确认生成与动作规划方法，通过整合视频上下文信息提升动作规划性能。

Comments Accepted to ASRU 2025

LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Design of Multi Active/Passive Core-Agent Architectures

LLM-Agent-UMF: 基于大语言模型的代理统一建模框架，用于无缝设计多主动/被动核心代理架构

Amine Ben Hassouna, Hana Chaari, Ines Belhaj

机构 * Mediterranean Institute of Technology（地中海技术研究所） ； South Mediterranean University（南地中海大学） ； National School of Computer Science（国家计算机科学学校） ； University of Manouba（曼努巴大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 LLM-Agent-UMF提出了一种基于大语言模型的代理统一建模框架，用于设计多主动/被动核心代理架构，解决了现有架构的模块化和术语不一致问题。

Comments 39 pages, 19 figures, 3 tables. Published in Information Fusion, Volume 127, March 2026, 103865. Part of the special issue "Data Fusion Approaches in Data-Centric AI for Developing Trustworthy AI Systems"

Journal ref Information Fusion 127 (2026) 103865

Caption, Create, Continue: Continual Learning with Pre-trained Generative Vision-Language Models

Indu Solomon, Aye Phyu Phyu Aung, Uttam Kumar, Senthilnath Jayavelu

机构 * International Institute of Information Technology Bangalore (IIITB), India（国际信息技术研究所（班加罗尔）） ； Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR), Singapore（信息与通信研究所（A*STAR）） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.LG

Comments This is the revised and peer-reviewed version of our paper, accepted and published in the Proceedings of the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025)

Journal ref Proc. 34th ACM International Conference on Information and Knowledge Management (CIKM), 2025

AVA: Towards Agentic Video Analytics with Vision Language Models

Yuxuan Yan, Shiqi Jiang, Ting Cao, Yifan Yang, Qianqian Yang, Yuanchao Shu, Yuqing Yang, Lili Qiu

机构 * Zhejiang University（浙江大学） ； Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

Comments Accepted to NDSI 2026, 19pages, 12 figures, complementary evaluations and appendix

Memory-Free Continual Learning with Null Space Adaptation for Zero-Shot Vision-Language Models

Yujin Jo, Taesup Kim

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

A Controllable Examination for Long-Context Language Models

Yijun Yang, Zeyu Huang, Wenhao Zhu, Zihan Qiu, Fei Yuan, Jeff Z. Pan, Ivan Titov

机构 * University of Edinburgh（爱丁堡大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

Comments NeurIPS 2025 Dataset and Benchmark Track Spotlight

LLM Agents Beyond Utility: An Open-Ended Perspective

Asen Nachkov, Xi Wang, Luc Van Gool

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

MMLongCite: A Benchmark for Evaluating Fidelity of Long-Context Vision-Language Models

Keyan Zhou, Zecheng Tang, Lingfeng Ming, Guanghao Zhou, Qiguang Chen, Dan Qiao, Zheming Yang, Libo Qin, Minghui Qiu, Juntao Li, Min Zhang

机构 * Soochow University（苏州大学） ； ByteDance（字节跳动） ； Harbin Institute of Technology（哈尔滨工业大学） ； Central South University（中南大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

MMLongBench: Benchmarking Long-Context Vision-Language Models Effectively and Thoroughly

Zhaowei Wang, Wenhao Yu, Xiyu Ren, Jipeng Zhang, Yu Zhao, Rohit Saxena, Liang Cheng, Ginny Wong, Simon See, Pasquale Minervini, Yangqiu Song, Mark Steedman

机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） ； University of Edinburgh（爱丁堡大学） ； NVIDIA AI Technology Center (NVAITC), NVIDIA, Santa Clara, USA（英伟达圣克拉拉人工智能技术中心） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

Comments Accepted as a spotlight at NeurIPS 2025

One ruler to measure them all: Benchmarking multilingual long-context language models

Yekyung Kim, Jenna Russell, Marzena Karpinska, Mohit Iyyer

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation

Xi Ye, Fangcong Yin, Yinghui He, Joie Zhang, Howard Yen, Tianyu Gao, Greg Durrett, Danqi Chen

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

Comments COLM 2025. Data and code available at: https://princeton-pli.github.io/LongProc

PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents

Yaozu Wu, Jizhou Guo, Dongyuan Li, Henry Peng Zou, Wei-Chieh Huang, Yankai Chen, Zhen Wang, Weizhi Zhang, Yangning Li, Meng Zhang, Renhe Jiang, Philip S. Yu

机构 * The University of Tokyo（东京大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

OPEN-THEATRE: An Open-Source Toolkit for LLM-based Interactive Drama

Tianyang Xu, Hongqiu Wu, Weiqi Wu, Hai Zhao

机构 * UM–SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学与UM联合研究所） ； AGI Institute, School of Computer Science, Shanghai Jiao Tong University（上海交通大学人工智能研究所） ； Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University（上海教育委员会智能交互与认知工程重点实验室） ； Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3（上海Web3可信数据流通与治理重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 demo

Long Context Automated Essay Scoring with Language Models

Christopher Ormerod, Gitit Kehat

机构 * Cambium Assessment Inc.（Cambium评估公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

Comments 8 pages, 2 figures, 2 tables

Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models

Seungjae Lee, Daniel Ekpo, Haowen Liu, Furong Huang, Abhinav Shrivastava, Jia-Bin Huang

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.LG

Comments Project webpage: https://ive-robot.github.io/

Enhancing Transformer-Based Foundation Models for Time Series Forecasting via Bagging, Boosting and Statistical Ensembles

Dhruv D. Modi, Rong Pan

机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG