Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 长上下文与记忆 4760 篇
Generating Event-oriented Attribution for Movies via Two-Stage Prefix-Enhanced Multimodal LLM
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL
The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL
OmChat: A Recipe to Train Multimodal Language Models with Strong Long Context and Video Understanding
专题命中 长上下文与记忆 ：language model(title)；pretraining(abstract)；prompting(abstract)；分类 cs.CL
Comments 14 pages
InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input and Output
专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL
Comments Technical Report. https://github.com/InternLM/InternLM-XComposer
What Kinds of Tokens Benefit from Distant Text? An Analysis on Long Context Language Modeling
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL
Coherence boosting: When your pretrained language model is not paying enough attention
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL
Comments ACL 2022; code: https://github.com/zhenwang9102/coherence-boosting
Semantic-Oriented Unlabeled Priming for Large-Scale Language Models
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL
Large Product Key Memory for Pretrained Language Models
专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL
Comments Accepted to Findings of EMNLP 2020; 10 pages, 4 figures
SmartSwap: Swap-Based Memory Optimization for LLM Training under Varying Operator Sequences
SmartSwap：在不同算子序列下基于交换的大语言模型训练内存优化
专题命中 长上下文与记忆 ：LLM(title,comments)；large language model(abstract)；language model(abstract)
AI总结 针对大语言模型训练内存需求大问题，提出Chameleon方法，通过引入轻量级在线分析器、生成有效交换策略及优化执行模块，能降低分析开销，适应算子序列变化，提升训练模型性能。
Comments Accepted to DAC 2026. Previously titled "Chameleon: Taming Dynamic Operator Sequences for Memory-Intensive LLM Training."
EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory
EgoCITE：面向长时程自我中心记忆的上下文增强索引与时序感知检索
机构 * University of Michigan（密歇根大学）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题，提出EgoCITE框架，经多数据集评估，其准确率优于基线且成本显著低于长上下文LLM智能体。
ERSkill: Evolving for Skill-Guided Adaptive Memory Retrieval
ERSkill：面向技能引导的自适应记忆检索的演化框架
机构 * Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 ERSkill是一个以检索为核心的自演化技能引导记忆访问框架，通过协同演化技能集与路由器，在多个智能体记忆基准上大幅超越基线，在两款模型上分别实现31.3%、28.1%的指标提升。
Living-Harness Is an Interactive-Agent Evolver
Living-Harness：一种交互式智能体演化器
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 该研究提出自演化智能体harness Living-Harness，基于Evolution-SOP生成两类过程性知识，在8个交互式环境中大幅提升Pass@1，支持跨模型主干复用演化后的harness状态。
RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation
RippleKV：基于扰动传播的跨层KV缓存分配
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG
AI总结 针对长上下文LLM推理的KV缓存分配问题，提出RippleKV方法，通过层值缓存扰动敏感性分配预算，在LongBench上的匹配缓存预算下实现了最高平均性能。
LatticeMind: A Conflict-Aware Memory Primitive for Multi-Agent Systems
LatticeMind：面向多智能体系统的冲突感知记忆原语
机构 * University of Science and Technology of China（中国科学技术大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Oxford（牛津大学）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 本研究提出冲突感知记忆原语LatticeMind，解决多智能体LLM系统的主张信任决策问题，在ConflictBank评估中准确率达0.97，显著优于基线， ablation验证了其核心组件的重要性。
RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States
RoMeRL：通过降阶效用状态平衡自进化智能体记忆中的反馈覆盖与记忆-奖励陷阱
机构 * Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Zhejiang University（浙江大学）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG
AI总结 RoMeRL通过降阶效用状态解决自进化LLM智能体记忆的反馈分散与记忆-奖励陷阱问题，在ALFWorld等基准上显著提升任务性能、降低记忆规模与LLM调用
MemFly: On-the-Fly Memory Optimization via Information Bottleneck
MemFly: 通过信息瓶颈实现飞地内存优化
机构 * The Hong Kong University of Science（香港科学与技术大学） ； Nanjing University of Science（南京理工大学）
专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 MemFly通过信息瓶颈原理实现LLM的飞地内存优化，采用梯度自由优化器和混合检索机制提升内存效率和多跳查询能力。
Comments Accepted by ICLR 2026 MemAgents Workshop
OnePred: Next-Query Prediction via Recursive Intent Memory in Multi-Turn Conversations
OnePred: 多轮对话中基于递归意图记忆的下一个查询预测
机构 * Tsinghua University（清华大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 针对多轮对话中下一个查询预测任务，提出OnePred模型，通过递归更新的意图记忆代替完整历史，结合两阶段强化学习训练，在NQP-Bench基准上实现高达22倍的每轮token节省且预测质量优于所有基线。
SwiftMem: Fast Agentic Memory via Query-aware Indexing
SwiftMem: 通过查询感知索引实现快速代理记忆
机构 * Huawei, Hong Kong（华为（香港））
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 SwiftMem通过查询感知索引实现快速代理记忆，提升检索效率并降低延迟，适用于实际部署的内存增强LLM代理。
PalmClaw: A Native On-Device Agent Framework for Mobile Phones
PalmClaw：一种用于手机的原生设备上代理框架
机构 * The Hong Kong Polytechnic University（香港理工大学） ； Hangzhou Diagens Biotechnology Co., Ltd.（杭州迪基因生物技术有限公司）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对移动设备上代理框架存在的问题，提出PalmClaw开源框架，能在手机上原生运行并管理相关要素，将设备能力以工具形式呈现，实验显示该框架提升了任务成功率、缩短完成时间且降低设置负担。
Learning from Execution: Self-Evolving Memory for Private-Library Code Generation
MEMCoder: 多维演化记忆用于面向私有库的代码生成
机构 * College of AI（人工智能学院） ； Tsinghua University（清华大学） ； Fitten Tech Co., Ltd.（Fitten科技有限公司）
专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 MEMCoder通过多维演化记忆机制，解决LLM在企业环境中因缺乏内部私有库文档导致的协调问题与参数理解不足，提升代码生成性能。
AutoMem: Automated Learning of Memory as a Cognitive Skill
AutoMem：自动化学习记忆作为认知技能
机构 * Stanford University（斯坦福大学）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 提出AutoMem框架，通过双循环自动优化LLM的记忆管理结构和使用能力，在长时域任务中提升性能约2-4倍。
Comments Project Website: https://autolearnmem.github.io/
Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
制造自信：记忆巩固如何将传闻转化为确信的事实
机构 * Independent Researcher（独立研究员）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 研究LLM代理在记忆压缩中将不确定表述转化为自信断言的问题，发现记忆重写导致代理将传闻当作事实执行，提出冗余来源可恢复正确决策。
Comments 16 pages, 16 tables, 1 figure. Code: https://github.com/collapseindex/manufactured-confidence
Learning to Evict from Key-Value Cache
学习从键值缓存中驱逐
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出基于强化学习的KV缓存驱逐策略KVP，通过轻量级逐头代理学习预测令牌未来效用，显著提升长上下文和多轮对话性能。
Comments Accepted to ICML 2026. Code available at: https://github.com/apple/ml-learning-to-evict
The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications
认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现
机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学）
专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；small language model(abstract)；prompting(abstract)
AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。
Comments 10 pages, 3 figures
Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring
基于图锚定交叉注意力Transformer神经网络的预测过程监控中结构约束完整事件序列生成
机构 * Department of Computer Science, University of Milan（米兰大学计算机科学系）
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG
AI总结 提出图锚定交叉注意力Transformer（GGATN），通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑，结合维特比式图约束解码，一次性生成完整事件序列，在六个基准日志上优于LLM基线。
Comments 40 pages
Control-Plane Placement Shapes Forgetting: An Architectural Study of Agent Memory Across Thirteen System Configurations
控制平面放置塑造遗忘：跨十三种系统配置的智能体记忆架构研究
机构 * DeepLethe
专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 研究LLM在智能体记忆管道中的位置（控制平面 vs 召回平面）对遗忘失败模式的影响，通过13种配置在385例对抗测试集上的实验，揭示了三种放置机制的互补覆盖范围，并提出了ForgetEval评估套件。
Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe
Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings
注意力扩展：利用注意力增强的上下文嵌入提升长文档关键短语提取
机构 * Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（技术研究所，ICAI工程学院，科米利亚斯宗座大学） ； DD-AIM, Senior Machine Learning Researcher（DD-AIM，高级机器学习研究员）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出注意力扩展机制，通过预训练词嵌入增强PLM的上下文表示，在不增加计算成本的情况下扩展有效上下文范围，显著提升长文档关键短语提取性能。
MemToolAgent: Leveraging Memory for Tool Using Agents Based on Environment and User Feedback
MemToolAgent概述：一个简单的餐厅预订场景，其中代理检索相似记忆，接收关于无效时间格式的反馈，并生成反思以更新其记忆
机构 * AWS AI ； University of Washington（华盛顿大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出MemToolAgent框架，通过记忆管理提升大语言模型代理的工具使用能力，包含记忆提取和动态检索模块，在三个基准上分别提升29%、80%和17%。
Comments 8 pages, 5 figures
MemCast: Memory-Driven Time Series Forecasting with Experience-Conditioned Reasoning
MemCast：基于经验条件推理的记忆驱动时间序列预测
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出MemCast框架，将时间序列预测转化为经验条件推理任务，通过层次化记忆学习历史模式、推理智慧和一般规律，并采用动态置信度适应策略实现持续进化，在多个数据集上优于现有方法。
