语言大模型 / LLM

Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL

当上下文分片到达时的多轮推理：可扩展的分片与记忆增强强化学习

Shu Tong Luo, Wenqin Liu, Rui Liu, Mingming Gong, Jiaxian Guo

机构 * The University of Melbourne（墨尔本大学） ； Google Research Australia（谷歌澳大利亚研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对多轮对话中信息碎片化导致LLM准确率下降65%的问题，提出通过训练模型维护紧凑滚动记忆而非增长历史来缓解，并引入低成本分片流水线将单轮QA转换为多轮碎片化情节，训练的记忆增强策略显著提升多轮准确率并零样本泛化到更难任务。

Magnifying What Matters: Attention-Guided Adaptive Rendering for Visual Text Comprehension

放大关键信息：面向视觉文本理解的注意力引导自适应渲染

Shenglai Zeng, Qirui Wang, Kai Guo, Xinnan Dai, Xianxuan Long, Hui Liu

机构 * Michigan State University（密歇根州立大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对视觉语言模型在视觉文本理解任务中存在的定位与利用脱节问题，提出无需训练、模型无关的注意力引导自适应渲染方法AGAR，通过放大关键文本跨度提升模型性能。

uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

uva-irlab-conv 在 SemEval-2026 任务 8：基于学习型稀疏检索和列表式重排序的多轮 RAG

Simon Lupart, Kidist Amde Mekonnen, Zahra Abbasiantaeb, Mohammad Aliannejadi

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出结合学习型稀疏检索与基于 LLM 的重排序和生成的多轮检索增强生成流水线，用于跨四个领域的对话系统，有效处理不可回答查询。

Comments SemEval-2026, The 20th International Workshop on Semantic Evaluation, collocated with ACL 2026, 9 pages, 5 figures, 6 tables

Beyond Compaction: Structured Context Eviction for Long-Horizon Agents

超越压缩：面向长周期智能体的结构化上下文驱逐

Andrew Semenov, Svyatoslav Dorofeev

机构 * Kiz8 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出上下文窗口生命周期（CWL）方案，通过结构化、语义感知的驱逐策略，使长周期LLM智能体在有限上下文预算内实现无限工作视野，避免性能下降和幻觉。

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

每个多模态证据一个令牌：面向资源受限问答的潜在记忆

Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出潜在记忆范式，将每个证据压缩为单个高维潜在令牌，通过统一训练实现高效检索与生成，在资源受限场景下以3-10倍令牌节省达到竞争性问答性能。

H2HMem: A Multimodal Memory Benchmark for Agents in Human-Human Interactions

H2HMem: 面向人际交互中智能体的多模态记忆基准

Shiping Zhu, Yibo Yang, Zhengyang Wang, Tiancheng Shen, Dandan Guo, Ming-Hsuan Yang

机构 * Jilin University（吉林大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California at Merced（加州大学默塞德分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出H2HMem基准，通过双人和多人多模态对话评估智能体在记忆召回、推理和应用方面的能力，揭示现有模型在多模态、多参与者场景下的显著局限。

Comments 22 pages, 6 figures

Emergence World: A Platform for Evaluating Long-Horizon Multi-Agent Autonomy

Emergence World: 一个用于评估长时域多智能体自主性的平台

Deepak Akkil, Ravi Kokku, Karthik Vikram, Tamer Abuelsaad, Aditya Vempaty, Satya Nitta

机构 * Emergence AI 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一个持续运行的多智能体模拟平台，通过集成实时外部数据、120+工具和持久记忆系统，评估LLM代理在长时域（数周至数月）中的行为漂移、治理和跨模型影响等动态特性。

AdMem: Advanced Memory for Task-solving Agents

AdMem: 面向任务求解智能体的高级记忆

Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

机构 * Princeton University（普林斯顿大学） ； Amazon（亚马逊） ； Arm 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种统一自动记忆框架，集成语义、情节和程序记忆，通过双层级设计和多智能体架构实现自动生成、奖励标注与自适应检索，提升长程多轮任务的鲁棒性和成功率。

Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks

干扰项感知截断：在长上下文大语言模型基准测试中分离上下文长度效应与信号损失

Mohsen Arjmandi

专题命中 长上下文与记忆 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过对比两种截断协议测试长上下文基准，发现朴素截断的性能下降源于信号丢失，干扰项感知截断可保留性能，强调需明确区分信号与干扰项以研究上下文长度效应。

Comments 14 pages, 2 figures. Code and data: https://github.com/evolutionIdGmbH/memoreach

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

ReToken：用一个标记改进用于视觉检索的视觉-语言模型

Yao Xiao, Reuben Tan, Zhen Zhu, Yuqun Wu, Jianfeng Gao, Derek Hoiem

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量级ReToken，通过选择视觉键值缓存中与查询相关的稀疏标记解决长视觉上下文的视觉检索难题，在多基准测试中提升Qwen3VL-8B等模型性能，且可在单H100运行。

Comments Code: https://github.com/avaxiao/ReToken

Mergeable Model-Side Aggregation States for Long-Context Language Models

面向长上下文语言模型的可合并模型侧聚合状态

Dachuan Song, Junyu Yin, Zechen Hu, Xuan Wang

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对长上下文语言模型在非加性集合聚合任务中的性能缺陷，提出带HLL草图状态的模型侧聚合接口，该接口可合并跨段状态，在多任务上较基线方法实现显著性能提升。

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

一致性门控：通过自一致性准入控制防止大语言模型智能体中的内存污染

Yan Zhang, Shibo Li

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体内存污染问题，提出一致性门控方法，在提交候选事实前向模型查询K次获软支持分数，超阈值才准入。该机制与模型无关、无需微调，经实验在四个模型主干上减少了污染，还发布了相关基准和实现。

Comments 24 pages, 2 figures, 6 tables, 1 algorithm; includes appendices

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents

AgentDebugX：用于大语言模型代理中故障可观测性、归因和恢复的开源工具包

Kunlun Zhu, Xuyan Ye, Zhiguang Han, Yuchen Zhao, Bingxuan Li, Weijia Zhang, Muxin Tian, Xiangru Tang, Pan Lu, James Zou, Jiaxuan You, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） ； Google（谷歌公司） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型代理故障调试难题，提出开源框架AgentDebugX，其核心DeepDebug通过多轮诊断定位根源，在基准测试中表现出色，能修复更多失败任务，还通过多种方式公开工作流程并提供错误中心。

Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models

持久稀疏自动编码器：在语言模型中学习特征时间尺度

Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究在语言模型中学习特征时间尺度的问题，提出持久稀疏自动编码器，通过为特征学习持久性系数扩展标准SAEs，实验表明其能保持竞争力的重建质量，为解释和监测语言模型带来新机会。

Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching

缓存感知提示压缩：用于大语言模型API缓存的双层成本模型

Yan Song

机构 * PayPal Inc.（贝宝公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型API缓存成本，发现现有方法不足。提出缓存感知提示压缩（CAPC），结合查询无关压缩与缓存控制。经实验验证，CAPC在多种配置下成本最低，在生产工作负载中表现出色，验证了交叉模型负投资回报率预测。

Comments 28

Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents

追踪、排序、决断：认知工作记忆对语言智能体中的多跳推理进行衡量

Ning Liu

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究语言智能体多跳推理链变长性能下降问题，提出SLEUTH方法通过结构化认知工作记忆提升推理，经实验优势随难度增加，还发现证据充分性问题及解决办法，表明组织推理方式是扩展多跳推理关键。

Speculate with Memory: Lossless Acceleration for LLM Agents

用记忆进行推测：大语言模型智能体的无损加速

Yu Li, Qinyuan Ye, Prafulla Kumar Choubey, Jiaxin Zhang, Chien-Sheng Wu

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究旨在加速大语言模型智能体，提出为推测器配备三个在线记忆系统，通过从智能体过去轨迹学习提升预测质量。经六个基准测试，记忆增强推测在动作和观察预测上有显著提升，且无损并能跨模型推广。

RCWT: Measuring Task-Budget Displacement from Coordination Content in LLM Calls

RCWT：从大语言模型调用中的协调内容测量任务预算位移

Brenda Lelis, Rodrigo Cabral-Carvalho

机构 * CloudWalk, Inc.（云从科技集团股份有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多智能体和内存增强大语言模型中协调内容占用任务预算的问题，提出RCWT测量协议，通过改变协调内容等控制变量进行实验，发现模型表现受影响，该测试是上下文分配预算测量原语，但非多智能体收益等完整理论。

Comments 10 pages, 1 figure

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling

ResonatorLM：用于高效长上下文语言模型的因果共振场混合

Archie Chaudhury

机构 * Axionic Labs（轴子实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer等模型处理长上下文效率低的问题，提出ResonatorLM机制，将令牌序列视为潜场，用阻尼谐振器因果函数替代注意力点积，在传统架构上实现并测试，取得训练和预填充加速、高解码速度及准确率提升等成果。

Comments 8 Pages. Accepted at ICANN 2026

PatchOptic for Shared-State LLM Workflows with Projected Views and Verified Structured Updates

用于具有投影视图和经过验证的结构化更新的共享状态大语言模型工作流的PatchOptic

Zhaoyu Bai, Jiaqi Cai

机构 * Weizmann Institute of Science（魏茨曼科学研究所） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究共享状态大语言模型工作流问题，提出受光学启发的PatchOptic接口，通过投影读取和验证结构化补丁实现，经PatchBench评估，该设计能减少泄漏和成本，保持输出质量，阻止违规并拒绝受损补丁。

Comments 24 pages, 13 figures, including appendix

From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving

从张量缓冲区到分布式内存层次结构：大语言模型服务中键值缓存管理综述

Jie Li, Tongyang Wang, Yong Chen

机构 * Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic: 用于高效长上下文语言建模的分层状态空间模型

Petr Nyoma

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出分层状态空间模型Harmonic，通过堆叠三个不同时间尺度的循环层，每层接收下层预测误差而非原始隐藏状态，在长序列上显著优于Transformer和Mamba，并消除了RoPE位置编码限制。

Comments 12 pages, 8 figures. NeurIPS 2024 format

Augmenting Molecular Language Models with Local $n$-gram Memory

增强分子语言模型的局部 $n$-gram 记忆

Xinni Zhang, Zijing Liu, He Cao, Yu Li, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对SMILES字符串的Transformer模型因字符级分词破坏化学语义的问题，提出MolGram模块，通过条件$n$-gram记忆哈希查找注入局部上下文，在三个任务上以更少参数超越基线。

Overcoming the Impedance Mismatch: A Theoretical Roadmap for Fusing Foundation Models and Knowledge Graphs

克服阻抗不匹配：融合基础模型与知识图谱的理论路线图

Sahil Rajesh Dhayalkar

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出“阻抗不匹配”概念，形式化分析基础模型与知识图谱的结构与几何摩擦，通过三级层次分类揭示现有方法的局限，并给出理论路线图实现真正的语义融合。

Comments 12 pages. Accepted at the ACL 2026 4th Workshop on Towards Knowledgeable Foundation Models (https://openreview.net/forum?id=hXDYsNAq8m)

CogChat: Knowledge Graph-Augmented Conversational AI with Heterogeneous Graph Transformer for Cognitive Grounding in Design Generation

CogChat：结合知识图谱与异构图变换器的对话式人工智能，用于设计生成中的认知接地

Jiin Choi, Kyung Hoon Hyun

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 本研究提出结合异构图变换器的CogChat框架，以设计师专属动态知识图谱为基础，提升设计对话的上下文保留度与意图解读效果，降低认知负荷，为LLM交互的长期上下文管理提供新方法。

HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management

HiSparse：通过分层KV缓存管理扩展稀疏注意力解码

Zhiqiang Xie, Zhangheng Huang, Tingwei Huang, Ziyi Xu, Ruiyang Ma, Christos Kozyrakis

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 HiSparse是一种分层KV缓存，通过将KV历史存主机、GPU设固定缓存等方式，提升长上下文稀疏注意力LLM解码吞吐量达4.7倍，未增加每token成本，已集成到SGLang并在多平台验证。

UniEvo-RS: Omni-Prompt Unified Remote Sensing Segmentation with Representative Exemplar-Driven Prototype Evolution

UniEvo-RS：基于代表性示例驱动原型演化的全提示统一遥感分割

Kunquan Zhang, Peilang Li, Xikun Hu, Yunkai Yang, Yushan Zou, Zhiwei Zhang, Runmin Dong

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；prompting(abstract)

AI总结 UniEvo-RS是配备代表性示例驱动原型演化的全提示统一遥感分割框架，通过多指令提示数据集与原型演化机制，在批量标注中对未见过的类别实现无需训练的精度提升，性能达当前最优。

Comments 18 pages, 8 figures, 9 tables

FedWorld: Scope-Aware Federation of Agent World Models

FedWorld：感知范围的智能体世界模型联邦

Yuchao Hou

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FEDWORLD是一种感知范围的智能体世界模型联邦协议，通过交换结构化抽象转移规则，减少冲突动态下的负迁移，提升智能体任务成功率。

The Fabric Is the Cluster Driver: Cross-Layer eBPF Policies for GPU-CXL Fabrics

Fabric 是集群驱动：面向 GPU-CXL Fabric 的跨层 eBPF 策略

Yiwei Yang, Andi Quinn

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 该研究提出 fabric_ext 中间件编译器与运行时，通过语义移动图实现跨 GPU-CXL Fabric 多层的 eBPF 策略，以处理 LLM 预填充等场景下的跨岛数据流需求。