语言大模型 / LLM

SchemaRAG: Dynamic Large Schema Reduction for LLM-driven Structured Information Extraction

SchemaRAG：面向LLM驱动的结构化信息提取的动态大规模模式缩减

Sin Yu Bonnie Ho, Arlie Coles, Erik Larsson, Eric Marshall, Nathan Bodenstab, Paul Vozila

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大规模模式导致LLM提取结构化信息时成本高、性能下降的问题，提出SchemaRAG框架，通过检索增强动态缩减输出模式空间，在医疗和电商数据集上实现F1提升8.8%、延迟降低47%、令牌成本降低48%。

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 6: Industry Track), pages 1114-1127, San Diego, California, USA, July 2026. Association for Computational Linguistics

From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

从信号到结构：记忆架构如何驱动LLM代理中的语言涌现

Yashar Talebirad, Eden Redman, Ali Parsaee, Osmar R. Zaiane

机构 * Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所） ； Network for Applied Technology（应用技术网络） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究在Lewis信号游戏中，不同记忆架构对LLM代理语言涌现的影响，发现持久私人笔记本架构优于无状态架构，且信道容量过剩比瓶颈更有利。

Agri-SAGE: Simulation-Grounded Multi-Agent LLM for Context-Aware Agricultural Advisory Generation

Agri-SAGE：基于模拟的多智能体LLM用于上下文感知的农业咨询生成

Vedant Balasubramaniam, Geetha Charan, Manojkumar Patil, Rohit P Suresh, V Priyanka, Kodur Sai Vinay Sathvik, Y. Narahari

机构 * Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔） ； BNM Institute of Technology, Bengaluru（BNM理工学院，班加罗尔） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Agri-SAGE框架，结合检索增强的多智能体LLM推理与APSIM生物物理模拟，生成并验证农艺建议；通过十年回顾分析，三种推理方法均优于静态基线，其中思维树实现最高产量，反思法以较低计算成本达到相当效果。

Conversable Complexity: Agentic LLM Collectives as Interpretable Substrates

可对话的复杂性：作为可解释基质的智能体LLM集体

Elias Najarro, Ane Espeseth, Eleni Nisioti, Sebastian Risi, Stefano Nichele

机构 * IT University of Copenhagen（哥本哈根信息技术大学） ； University of Oslo（奥斯陆大学） ； Østfold University of Applied Sciences（东福尔应用科学大学） ； Sakana AI 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出将智能体大语言模型集体作为人工生命研究的计算基质，利用自然语言通信实现可解释性，并综述了相关实例。

Beyond Perplexity: A Behavioral Evaluation Framework for Deployment-Memory Claims in LLM Test-Time Training

超越困惑度：面向LLM测试时训练中部署记忆声称的行为评估框架

Xiangchen Song, Zhenhao Chen, Lingjing Kong, Shaoan Xie, Xinshuai Dong, Guangyi Chen, Kun Zhang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出行为评估框架，通过证据阶梯和显式记忆基线校准LLM测试时训练的记忆声称，揭示代理指标与部署行为之间的差距。

MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression

MosaicKV: 通过动态二维KV缓存压缩服务长上下文LLM

Sheng Qiang, Ruiwei Chen, Yinpeng Wu, Jinyu Gu, Zhichao Hua, Yubin Xia, Binyu Zang, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出MosaicKV系统，利用动态二维KV缓存压缩解决长上下文服务中的内存瓶颈，通过细粒度稀疏性和压缩管理实现高吞吐和低延迟，在H800 GPU上取得最高16倍注意力加速和3倍内存节省。

Comments 15 pages, 10 figures

Self-GC: Self-Governing Context for Long-Horizon LLM Agents

Self-GC：面向长周期LLM智能体的自管理上下文

Xubin Hao, Hongjin Meng, Xin Yin, Jiawei Zhu, Chenpeng Cao

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Self-GC框架，通过将工具结果、文件等上下文对象索引化，并利用侧信道规划器进行折叠、掩码和剪枝操作，实现长周期智能体的上下文生命周期管理，显著减少前缀令牌且不影响未来延续。

AutoMem: Automated Learning of Memory as a Cognitive Skill

AutoMem：自动化学习记忆作为认知技能

Shengguang Wu, Hao Zhu, Yuhui Zhang, Xiaohan Wang, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出AutoMem框架，通过双循环自动优化LLM的记忆管理结构和使用能力，在长时域任务中提升性能约2-4倍。

Comments Project Website: https://autolearnmem.github.io/

Auditing Forgetting in Limited Memory Language Models

审计有限记忆语言模型中的遗忘

Arya Raeesi, Hanna Roed

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出因果审计框架，通过改变推理时数据库状态分解删除后行为，发现参数泄漏接近零，残留主要来自近邻检索，遗忘边界主要由数据库管理员决定。

Comments 17 pages, 7 figures, 6 tables

Minos: A Multi-Agent Collaborative Framework for Provenance-Based Backward Tracking

Minos：一种基于溯源的反向追踪多智能体协作框架

Jiahui Wang, Zhenyuan Li, Zhengkai Wang, Xiangmin Shen, Fan Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出多智能体框架Minos，利用LLM驱动推理进行基于溯源的反向追踪，通过分层上下文管理、检索增强推理和有限状态机协调四个智能体，有效缓解依赖爆炸，在5个数据集上平均召回率0.92、精确率0.64，攻击子图压缩49%。

Comments 20 pages,7 figures, accepted by ESORICS 2026

GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache

GSRQ: 面向亚1比特KV缓存的增益-形状残差量化

Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存压缩中向量量化导致的方向保持问题，提出增益-形状K均值（GSKM）替代标准K均值，并构建增益-形状残差量化（GSRQ），在1比特下将LongBench平均准确率从11.34提升至33.54。

Comments ICML 2026

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

Logit贡献评分识别非字面检索头

Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Heriot-Watt University（赫瑞瓦特大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Logit贡献评分（LOCOS），通过OV电路输出投影到答案标记方向，识别大语言模型中执行非字面检索的注意力头，消融实验显著降低ROUGE-L而保持其他能力。

Comments 41 pages, 18 figures

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

TiRex-2: 将 TiRex 推广到多变量数据和流式处理

Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

机构 * ELLIS Unit Linz, LIT AI Lab & Institute for Machine Learning, JKU Linz, Austria（ELLIS 林茨单元，LIT AI 实验室与机器学习研究所，林茨约翰·开普勒大学，奥地利） ； NXAI Lab, Linz, Austria（NXAI 实验室，林茨，奥地利） ； NXAI GmbH, Linz, Austria（NXAI 有限公司，林茨，奥地利） ； Interdisciplinary Transformation University Austria, Linz, Austria（奥地利跨学科转型大学，林茨，奥地利） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出基于 xLSTM 的循环时间序列基础模型 TiRex-2，通过记忆中心设计实现多变量预测与流式处理，在零样本任务上达到最优性能。

HyFL-CLIP: Hyperbolic Fine-Tuning of CLIP for Robust Long-Context Understanding

HyFL-CLIP: 用于鲁棒长上下文理解的CLIP双曲微调

Ji Ha Jang, Hayeon Kim, Chulwon Lee, Junghun James Kim, Se Young Chun

机构 * Dept. of Electrical and Computer Engineering（电气与计算机工程系） ； IPAI ； INMC & AIIS（智能计算与人工智能研究所） ； Seoul National University（首尔国立大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)

AI总结 提出HyFL-CLIP，通过双曲空间微调CLIP，利用跨流形相似性蒸馏和爱因斯坦中点聚合建模层次蕴含关系，提升长上下文理解鲁棒性，在文本扰动下长文本跨模态检索提升高达19.5%。

Comments Accepted to ECCV 2026. Project page: https://janeyeon.github.io/hyflclip