语言大模型 / LLM

Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches

基础模型时代的预测过程监控再审视：序列、表格与大语言模型方法的对比研究

Lennart Fertig, Lukas Kirchdorfer, Tobias Sesterhenn

机构 * University of Mannheim（曼海姆大学） ； SAP Signavio（思爱普 Signavio） ； Technical University of Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究对比序列、表格基础模型与LLM在PPM任务的表现，发现序列模型下一个活动预测最优，表格模型在时间任务具竞争力，LLM性能滞后且成本更高。

Comments Accepted at ECML PKDD 2026 Workshops

MIND: Lightweight and Effective Memory Injection Defense for LLM Agents via Intent-Aware Information Bottleneck

MIND：基于意图感知信息瓶颈的轻量且有效的LLM智能体记忆注入防御

Dongyi Liu, Haixing He, Xiaobao Wu, Jia Li

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM智能体记忆注入攻击，提出轻量防御框架MIND，通过意图感知信息瓶颈过滤冗余信息并识别恶意记忆，在ReAct-StrategyQA上大幅降低攻击成功率且保留任务性能与效率。

$Σ$-Mem: An Online Reliability Memory for LLM-based Multi-Agent Systems

Σ-Mem：面向基于大语言模型（LLM）的多智能体系统的在线可靠性记忆

Peilin Feng, Suorong Yang, Soujanya Poria

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对现有LLM多智能体系统记忆系统无法建模智能体可信度的问题，提出Σ-Mem在线可靠性记忆，基于决策后反馈更新实对称状态，在Qwen系列模型上实现自适应协调与更优性能。

Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory

理解在早期完成：大语言模型的深度分工及其在无界上下文记忆中的应用

Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Rayying, Key, Alex Lamb, Mingyu Gao

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 该研究提出CoMem方法，利用大语言模型的深度分工构建无界上下文记忆，在RULER、LoCoMo等基准上性能优于全上下文KV-Direct，内存占用低、预填充速度快，证明长上下文记忆可沿层轴组织。

Comments 19 pages, 4 figures, 27 tables. Submitted to ACL Rolling Review

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

从未来回溯：基于反事实惊奇的键值缓存管理

Stephen Gould, Anton van den Hengel

机构 * Metacognition AI（元认知人工智能） ； Australian National University（澳大利亚国立大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM的KV缓存内存占用问题，提出基于反事实惊奇的KV驱逐方案及快速单层近似方法，在基准测试中性能优于或可与现有最优方法竞争。

Comments 17 pages, 5 figures

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

ReToken：用一个标记改进用于视觉检索的视觉-语言模型

Yao Xiao, Reuben Tan, Zhen Zhu, Yuqun Wu, Jianfeng Gao, Derek Hoiem

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量级ReToken，通过选择视觉键值缓存中与查询相关的稀疏标记解决长视觉上下文的视觉检索难题，在多基准测试中提升Qwen3VL-8B等模型性能，且可在单H100运行。

Comments Code: https://github.com/avaxiao/ReToken

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；pretraining(abstract)；分类 cs.LG

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

MemTxn: A Transaction Boundary for Source-Supported Updates and Complete-State Recovery in Agent Memory

MemTxn：智能体记忆中源支持更新与完整状态恢复的事务边界

Hanshuai Cui, Zhiqing Tang, Zhi Yao, Fanshuai Meng, Qianli Ma, Weijia Jia

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型智能体持久内存错误问题，提出MemTxn治理层，通过Ordered PatchTest等组件实现可靠更新与恢复，在多个基准测试中性能优于现有方法。

Critical attention scaling in long-context transformers

长上下文Transformer中的关键注意力缩放

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet

机构 * Department of Mathematics, Massachusetts Institute of Technology（数学系，麻省理工学院） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（电气工程与计算机科学系，麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对长上下文Transformer的注意力秩崩溃问题，通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$，为YaRN和Qwen的注意力缩放提供理论依据，阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。

Comments 31 pages, 2 figures

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026

Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

规模化的记忆解码器：一种预训练的参数化长期记忆

Rubin Wei, Jiaqi Cao, Jiarui Wang, Junming Zhang, Qipeng Guo, Bowen Zhou, Zhouhan Lin

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本研究将记忆解码器扩展至69亿参数并在3000亿token上预训练，通过分布式Faiss等技术解决索引瓶颈，发现独立扩展记忆可更高效提升语言模型性能，在多基准测试中验证了其优势。

Thinking Once Is Enough: Intermediate-Layer Evidence Routing for High-Resolution VQA

一次思考足矣：面向高分辨率视觉问答的中间层证据路由

Zhongkuan Mao, Xianjie Liu, Tianyu Meng, Yidong Wang, Wenzhuo Zhao, Ronghao Xian, Yao Jiang, Fei Shen, Junfeng Fang, Yong Dai, Yi Zhang, Keren Fu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文针对高分辨率视觉问答提出无需训练的Thinking-Once证据路由方法，通过利用中间层留存的细粒度证据，在多个基准上提升性能并降低内存与推理时间。

The Topological Trouble With Transformers

Transformer 的拓扑困境

Michael C. Mozer, Shoaib Ahmed Siddiqui, Rosanne Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了Transformer在处理序列结构时的拓扑问题，指出其纯前馈架构限制了动态状态跟踪，提出应通过递归架构转向隐含激活动态，并介绍了连续思维Transformer架构的分类方法及未来研究方向。

S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

S-CEReBrO：突破连续脑电图监测中的内存瓶颈

Glenn Anta Bucagu, Thorir Mar Ingolfsson, Yawei Li, Luca Benini

机构 * ETH Zurich（苏黎世联邦理工学院） ； Nanyang Technological University（南洋理工大学） ； University of Bologna（博洛尼亚大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究针对连续EEG监测中Transformer架构的内存瓶颈，提出S-CEReBrO架构，通过窗口交替注意力实现内存恒定，在EEG下游任务中性能领先且效率提升。

Comments This is the pre-rebuttal version of a paper accepted at MICCAI 2026. The camera-ready version will be posted following the embargo

VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding

VisualRouter：面向长视频理解的查询驱动视觉采样

Haiyue Zhang, Yi Bin, Xun Jiang, Zeyu Ma, Duo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文提出无训练即插即用框架VisualRouter，通过将查询分为全局或局部并采用对应采样策略，提升了大型视觉语言模型的长视频理解性能，在多个基准数据集上优于均匀采样及现有无训练方法。

Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers

文本模板令牌是扩散Transformer中的隐式语义寄存器

Maohua Li, Qirui Li, Yanke Zhou, Yiduo Li, Zhaosheng Chi, Chao Xu, Cuifeng Shen, Yixuan Xu, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究文本到图像扩散Transformer中内部计算，引入因果可解释性框架，发现结构模板令牌充当隐式语义寄存器，据此设计剪枝规则，还揭示其生成计算组织方式，提供了DiTs内部机制的因果视图。