语言大模型 / LLM

Git Context Controller: Manage the Context of LLM-based Agents like Git

Git Context Controller: 管理基于LLM的代理的上下文像Git一样

Junde Wu, Minhao Hu, Jiayuan Zhu, Jiazhen Pan, Yuyuan Liu, Min Xu, Yueming Jin

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 Git-Context-Controller通过版本化文件系统管理LLM代理上下文，提升多轨迹问题解决能力，在SWE-Bench等基准测试中取得最佳性能。

MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models

MIITA：用于小语言模型持续学习的内存诱导推理时间自适应

Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

机构 * Baylor University（贝勒大学） ； NEC Laboratories America（美国 NEC 实验室） ； University of Arkansas（阿肯色大学） ； Southern Illinois University（南伊利诺伊大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 针对小语言模型持续学习中参数更新致灾难性遗忘及内存不足问题，提出MIITA框架，它通过存储校正方向原型并在推理时检索应用，结合理论分析，在多种设置实验中提升性能并减轻遗忘。

PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window

全景监控：基于个人身份信息的自然主义输出令牌集合，用于研究大语言模型上下文窗口内的隐私泄露

Ryan Thornton, Mir Mehedi Ahsan Pritom, Maanak Gupta

机构 * Meta 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型上下文窗口内隐私泄露问题，引入PANOPTICON管道和数据集，由Meta模型生成含PII片段的提示，测量数据集多样性评估真实性，通过案例展示其在理解提示反转攻击中的效用及为LLM隐私研究奠基。

Comments 9 pages, 3 figures, 3 tables. Submitted to IEEE CARS 2026

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV：用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TopoFE：拓扑感知的大语言模型引导的自动特征工程

Sha Li, Naren Ramakrishnan

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究表格学习中自动特征工程问题，提出拓扑感知多岛进化框架TOPOFE，结合特定族探索、自适应提示记忆和拓扑引导知识转移，在多个公共数据集实验中，相比现有方法有改进，能发现更多样可转移特征程序。

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

SyRuP：通过大语言模型解码中的奖励引导预测增强系统提示遵循

Seoyeon Kim, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究如何增强大语言模型对系统提示的遵循，提出SyRuP框架，通过训练交叉注意力奖励头产生令牌级遵循分数，推理时结合多种信号对候选重新排序，实验表明该方法能有效提升系统提示遵循度且开销适度。

Comments under review, 23 pages

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

大语言模型中的现实监测：随对话记忆而转变的自我认知

Saurabh Ranjan, Konstantina Sokratous, Brian Odegaard

机构 * University of Florida（佛罗里达大学） ； University of Missouri（密苏里大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中现实监测能力，通过两个实验和六个模型发现来源归因依赖对话记忆结构，反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题，表明评估模型知识时追踪来源很重要。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models

MedLoCoMo：用于大语言模型的长上下文多会话医学对话基准

Zeyu Zhang, Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型在多入院医学对话临床推理方面的不足，构建MedLoCoMo基准，通过特定方法生成问答项目，含100个患者时间线，发现跨入院推理比局部证据使用难，提供代码和基准供使用与复现。

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

一致性门控：通过自一致性准入控制防止大语言模型智能体中的内存污染

Yan Zhang, Shibo Li

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体内存污染问题，提出一致性门控方法，在提交候选事实前向模型查询K次获软支持分数，超阈值才准入。该机制与模型无关、无需微调，经实验在四个模型主干上减少了污染，还发布了相关基准和实现。

Comments 24 pages, 2 figures, 6 tables, 1 algorithm; includes appendices

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

PINA: Prompt Injection Attack against Navigation Agents

PINA：针对导航代理的提示注入攻击

Jiani Liu, Yixin He, Lanlan Fan, Qidi Zhong, Yushi Cheng, Meng Zhang, Yanjiao Chen, Wenyuan Xu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 PINA提出了一种针对导航代理的提示注入攻击检测框架，通过实验展示了其高攻击成功率和稳健性，揭示了导航代理在安全方面的关键漏洞。

Comments Accepted at ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026

MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents

MemChain：为内存增强型大语言模型智能体学习可解释的内存痕迹

Yiwen Ma, Songjun Tu, Qichao Zhang, Dong Li, Linjing Li, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Memorax AI（Memorax人工智能公司） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对内存增强型大语言模型智能体检索内存回答查询存在的问题，提出MemChain可训练检索后内存策略，经两阶段学习框架训练，能生成有效证据上下文，实验证明其在多种模型上性能领先且减少内存上下文。

SF-AMS: Strategic Forgetting for Structured Memory in LLM Agent

SF-AMS：大语言模型智能体中结构化记忆的策略性遗忘

Ning Yang, Siqi Li, Miaoxin Shen, Yuan Zhou, Meng Zhang, Tong Li, Haijun Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体长上下文依赖瓶颈问题，提出SF-AMS框架，通过效用驱动机制和复合评分整合信号维护记忆，实验表明该方法在多跳推理等任务中相比基线有显著提升，证明建模记忆重要性对长上下文推理关键。

Libra: Taming Attention Workload Skew in Long-Context LLM Training with Bounded Sequence Pool

天秤座：使用有界序列池驯服长上下文语言模型训练中的注意力工作负载倾斜

Yan Wang, Xiulong Yuan, Kaiming Yang, Jiaxuan Peng, Pengju Lu, Mingzhen Li, Zhipeng Zhang, Chang Si, Zhixiang Ruan, Hongqing Chen, Linlang Jiang, Siyu Wang, Langshi Chen, Rui Men, Man Yuan, Guangming Tan, Yong Li, Weile Jia, Jingren Zhou

专题命中 长上下文与记忆 ：LLM(title,abstract)

AI总结 研究长上下文语言模型训练的负载平衡问题，提出Libra方法，利用大数定律，通过有界序列池、方差减少序列放置和平铺注意力池化等技术，有效减少注意力工作负载倾斜，提高训练吞吐量。

Comments 15 pages, 15 figures

MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation

MemVLN：用于视觉与语言导航的情景记忆和程序记忆

Yuqi Liu, Shengju Qian, Tianyuan Qu, Mingxian Lin, Zixuan Wang, Xin Wang, Bei Yu, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； LIGHTSPEED（光速） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出MemVLN框架，利用视觉编码器、大语言模型，通过情景记忆管理和程序记忆，实现实时推理，提升导航成功率并降低推理延迟。

From Cognitive Architectures to Language Agents: A Mechanism-Level Review of Lineage, Convergence, and Migration Gaps

从认知架构到语言智能体：谱系、融合与迁移差距的机制层面综述

Haodi Fan, Zucong Lan

专题命中 长上下文与记忆 ：language agent(title)；分类 cs.AI

AI总结 该综述连接多个认知架构与语言智能体系统，重构机制并编码相关关系，指出现代智能体部分功能已实现，最强机会在机制耦合，存在五个剩余组合，贡献了机制目录、证据深度框架及可证伪议程。

Comments 28 pages, 9 figures, 14 tables. Review article

Temporal Context Reinstatement Drives Episodic-Like Order Memory in Long-Context Language Models

时间上下文恢复驱动长上下文语言模型中的情景式顺序记忆

Mathis Pink, Vy Ai Vo, Qinyuan Wu, Jianing Mu, Javier Turek, Uri Hasson, Kenneth A. Norman, Sebastian Michelmann, Alexander Huth, Mariya Toneva

专题命中 长上下文与记忆 ：language model(title)；分类 cs.AI

AI总结 研究长上下文语言模型中情景式顺序记忆的机制，通过时间顺序记忆任务及新数据集，发现模型呈现与人类相同的距离效应，且性能依赖一维时间编码，由单个注意力头在检索时恢复，支持时间上下文恢复是重要机制。

DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation

DynaCalKV：通过头部分组和自适应秩分配实现键值缓存压缩

Tan T. Nguyen, Quan V. Dang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

在注意力流形中分离语义注意力与结构偏差

Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题，提出无需训练的 SPAR 方法，通过净化噪声和重分配注意力，有效恢复真实视觉基础且计算开销小。

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1：世界模型的证据？

Roberto Spinelli, Thiago C. Martins

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人，通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力，但也有效率和感知局限。结果挑战传统观点，促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

MEMENTO：内存引导的基于代码的策略进化的模因算法

Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

机构 * Center for Applied Autonomous Sensor Systems (AASS), Örebro University（应用自主传感器系统中心（AASS），于默奥大学） ； Örebro University（于默奥大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究长期具身任务中基于代码的策略进化问题，提出内存引导单精英模因框架MEMENTO，通过进化展开评估器及利用反馈指标改进策略，在相关领域实验中性能优于基线，还证明了模拟到现实转移的可行性。

LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention

LiteTopK：利用维度诅咒设计长上下文稀疏注意力中的融合索引器 - TopK 内核

Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong

机构 * Nanyang Technological University（南洋理工大学） ； ETH Zurich（苏黎世联邦理工学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对现有 GPU 索引器 - TopK 内核效率低的问题，利用维度诅咒设计 LITETOPK 内核，通过采样估计得分范围划分候选结果桶，降低内存开销，在实际部署中加速 GLM 5.2 预填充阶段，提升了效率。

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLN：通过分层记忆系统增强开源零样本视觉-语言导航的可靠性

Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。

Comments 9 pages, 7 figures

Eviction as Estimation: A Fixed-Lag Smoothing View of Test-Time Memory, and When Measuring Beats Accumulating

作为估计的逐出：测试时内存的固定延迟平滑视图，以及测量何时胜过累积

Maruthi Vemula, Neeraj Praneeth Gajula

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 研究语言模型内存管理，将存储项保留决策转化为对项目是否被重用的估计问题，提出固定延迟平滑策略RMM。在受控设置中有优势，在第三方基准测试中表现一般，贡献了框架及测量与累积效果对比的映射。

Comments 8 pages, 3 figures, 3 tables

MEMOIR: Temporal Behavioral Memory for Recommendation Across the Preference-Drift Spectrum

MEMOIR：偏好漂移谱上推荐的时间行为记忆

Younggue Bae

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 研究提出MEMOIR框架用于推荐，将用户交互历史按时间窗口分割，用语言模型生成记忆并聚合为用户表示。在亚马逊评论数据上实验，与UniSRec对比，发现其在不同偏好漂移程度用户中有不同表现，此漂移分层模式是主要贡献。

Comments 6 pages, 2 figures

ACM: Agentic Context Management for Long Horizon Tasks

ACM：长期任务的智能体上下文管理

Xiaochuan Li, Ryan Ming, Meng Chu, Shuai Shao, Rong Jin, Chenyan Xiong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.AI

AI总结 研究长期智能体任务上下文管理问题，提出ACM框架，受人类记忆启发让智能体自主管理上下文，还开发训练后管道，能提升模型在相关任务上的性能，有效管理上下文可降低压力、实现扩展探索并产生更一致方案。

Memory for Attention: Language-Conditioned Re-Perception with a Vision--Language--Motion Map

注意力的记忆：通过视觉-语言-运动地图进行语言条件下的重新感知

Dibyendu Ghosh

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究携带行为注释地图的机器人的规划问题，通过将重新感知视为注意力决策，利用持久地图的记忆实现资源分配优化，在语言条件任务中表现出色，证明地图能指导机器人关注重点，而非空间导航。

Try Once, Then Optimal: De-Redundified Procedure Memory for Cross-Episode Exploration Amortization

一试即优：用于跨情节探索摊销的去冗余过程记忆

Haizhou Ge, Haochen Ouyang, Zhixing Chen, Yufei Jia, Yue Li, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang

机构 * Tsinghua University（清华大学） ； DISCOVER Robotics（DISCOVER机器人公司） ； Northeast Agricultural University（东北农业大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究如何让机器人避免重复探测隐藏状态物体，提出面向实例的记忆框架IOM，用视觉语言模型实例化，在多任务中减少操纵操作，提升效率且不降低成功率，即使过程错误也能成功。

Comments 8 pages, 3 figures, 3 tables