语言大模型 / LLM

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Set Diffusion: 在自回归与扩散之间插值令牌顺序以实现快速灵活的解码

Marianne Arriola, Volodymyr Kuleshov

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出Set Diffusion模型，通过将似然参数化为灵活位置和长度的令牌集，并设计集因果扩散架构，支持任意顺序解码和KV缓存更新，在数学推理、摘要和无条件生成上优于先前的扩散语言模型。

Comments ICML 2026. We provide the code at https://github.com/kuleshov-group/setdlms

TS-Haystack: A Multi-Task Retrieval Benchmark for Long-Context Time-Series Reasoning

TS-Haystack：一种用于长上下文时间序列推理的多任务检索基准

Nicolas Zumarraga, Thomas Kaar, Ning Wang, William Tennien, Alpay Hasanli, Max Rosenblattl, Fan Wu, Kevin Riehl, Maxwell A. Xu, Markus Kreft, Kevin O'Sullivan, Elgar Fleisch, Paul Schmiedmayer, Robert Jakob, Patrick Langer

机构 * Agentic Systems Lab, ETH Zurich（1 非常规系统实验室，苏黎世联邦理工学院） ； Stanford University（2 斯坦福大学） ； Traffic Engineering Group, Institute for Transport Planning and Systems, ETH Zurich（3 交通工程组，交通规划与系统研究所，苏黎世联邦理工学院） ； University of Illinois Urbana-Champaign（4 印第安纳大学厄巴纳-香槟分校） ； Google（5 谷歌） ； Centre for Digital Health Interventions, ETH Zurich（6 数字健康干预中心，苏黎世联邦理工学院） ； Centre for Digital Health Interventions, University of St. Gallen（7 数字健康干预中心，圣加尔登大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文提出TS-Haystack基准，评估长上下文时间序列推理能力，发现现有TSLMs存在长上下文退化问题，代理检索框架在9/10任务中表现优异。

Comments Workshop version of this paper published at ICLR TSALM 2026. Benchmark generation code and datasets: https://github.com/AI-X-Labs/TS-Haystack

Timesteps of Mamba Align with Human Reading Times

Mamba的时间步长与人类阅读时间对齐

Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 研究发现状态空间语言模型Mamba的每词时间步长能显著预测人类阅读时间，即使控制GPT-2惊讶度等已知预测因子后仍显著，表明Mamba可作为研究人类实时语言处理的新工具。

CaveAgent: Transforming LLMs into Stateful Runtime Operators

CaveAgent：将LLM转变为具有状态的运行时操作符

Maohao Ran, Zhenglin Wan, Cooper Lin, Yanting Zhang, Hongyu Xin, Hongwei Fan, Yibo Xu, Beier Luo, Yaxin Zhou, Wangbo Zhao, Lijie Yang, Lang Feng, Fuchao Yang, Jingxuan Wu, Yiqiao Huang, Chendong Ma, Yusen Huang, Dailing Jiang, Jianbo Deng, Sirui Han, Yang You, Bo An, Yike Guo, Jun Song

机构 * Hong Kong Generative AI Research and Development Center (HKGAI)（香港生成式AI研究与开发中心（HKGAI）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 CaveAgent通过引入双流架构，将LLM从文本生成器转变为运行时操作符，解决了长周期任务中上下文漂移问题，提升了多轮交互的稳定性和数据处理能力。

Comments ver.2

Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention

先擦除后增量注意力：在Delta规则线性注意力中解耦擦除与写入地址

Xiao Li, Chengruidong Zhang, Hao Luo, Xi Lin, Zekun Wang, Zihan Qiu, Yunfei Mao, Langshi Chen, Man Yuan, Minmin Sun, Huiqiang Jiang, Siqi Zhang, Rui Men, Wei Hu, Gong Cheng, Bo Zheng, Dayiheng Liu, Jingren Zhou

机构 * Qwen Team（Qwen团队） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL

AI总结 提出Erase-then-Delta Attention (EDA)，通过解耦擦除和写入地址，在Delta规则基础上增加选择性擦除步骤，提升循环记忆模型的记忆管理能力，在2.5B密集和MoE 25B-A2.8B模型上取得最优性能。

Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training

动态对称点跟踪：解决模拟内存训练中的非理想参考问题

Quan Xiao, Jindan Li, Zhaoxian Wu, Tayfun Gokmen, Tianyi Chen

机构 * Department of Electrical and Computer Engineering, Cornell University, New York, NY（康奈尔大学电气与计算机工程系） ； IBM T. J. Watson Research Center, Yorktown Heights, NY（IBM 沃森研究中心） ； Rensselaer Polytechnic Institute, Troy, NY（伦塞拉尔理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对模拟内存计算中非理想器件导致的权重更新偏向对称点问题，提出动态对称点估计方法，在训练中跟踪对称点并保证收敛，结合数字信号处理技术增强性能。

Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent

代码不是内存：编码代理中的结构化代码库索引

Ishaan Bhola, Adithyan Krishnan, Sravanth Kurmala, Mukunda NS

机构 * TransformerOptimus 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 通过消融实验和跨框架对比，研究在固定编码代理框架中增加结构化代码库索引对成本与解决率的影响，发现索引能显著提升定位和解决率且不增加成本。

Comments Code and data: https://github.com/TransformerOptimus/supercoder-eval

GEOPHYS: The Geometry of Physical Plausibility

GEOPHYS: 物理合理性的几何学

Christian Internò, Alexander Pondaven, Habon Issa, Fabio Pizzati, Francesco Pinto, Markus Olhofer, Ivan Laptev, Philip Torr, Eero P. Simoncelli, Barbara Hammer, David Klindt

机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

FinAcumen: 通过自演化经验记忆实现的金融多模态推理

Pianran Guo, Pengcheng Zhou, Yucheng Jian, Shuhua Chen, Zhonfliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

MemBuilder: 通过具有属性的密集奖励强化LLMs以进行长期记忆构建

Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Tencent Inc.（腾讯公司） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 MemBuilder通过具有属性的密集奖励强化LLMs，解决长期对话中保持一致性的挑战，提升多维记忆构建能力，实验表明其在长期对话基准测试中表现优异。

Comments 19 pages (9 main + 10 appendix), 7 figures, 3 tables

User as Engram: Internalizing Per-User Memory as Local Parametric Edits

用户作为印迹：将每用户记忆内化为局部参数编辑

Bojie Li

机构 * Pine AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出User as Engram方法，将用户事实存储为Engram模型的哈希键控记忆表中的局部编辑，推理技能共享一个适配器，实现高精度间接推理且内存占用极小。

Variable-Width Transformers

变宽Transformer

Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。

EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation

EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆

Qi Chai, Wenhao Shen, Nanjie Yao, Yue Xia, Kaiyong Zhao, Jie Ma, Guosheng Lin, Hao Wang

机构 * HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Xi’an Jiaotong University（西安交通大学） ； XGRIDS（深圳格物智联） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 提出自进化零样本目标导航框架，通过从历史轨迹提取规则并基于置信上界检索，结合记忆引导预反思模块，减少无效探索，成功率提升10.1%。

AnchorEdit: Maintaining Temporal Consistency in Multi-turn Image Editing via Causal Memory

AnchorEdit: 通过因果记忆在多轮图像编辑中保持时间一致性

Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； JD Explore Academy（京东探索研究院） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI

AI总结 提出首个自回归扩散框架AnchorEdit，通过因果记忆机制和自展开策略解决多轮编辑中的身份漂移和误差累积问题，在10轮以上交互中保持高保真度。

Comments Code: https://github.com/xuhang07/AnchorEdit

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables

Still: Amortized KV Cache Compaction in a Single Forward Pass

Still: 单次前向传递中的摊销KV缓存压缩

Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

机构 * Baseten 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出Still方法，通过单次前向传递的轻量级Perceiver层实现KV缓存压缩，在8×至200×压缩比和8k至128k上下文长度下兼顾速度与质量，长上下文任务超越最强基线8-22分。

M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions

M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准

Zhengjun Huang, Wenxuan Liu, Zhoujin Tian, Wei Chen, Junle Chen, Yuqian Wu, Fangyuan Zhang, Qintian Guo, Xiaofang Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL

AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。

FIDES: Faithful Inference via Deep Evidence Signals for Retrieval-Memory Conflict in RAG

FIDES: 通过深层证据信号实现RAG中检索-记忆冲突的忠实推理

Zhe Yu, Wenpeng Xing, Tiancheng Zhao, Mohan Li, Changting Lin, Meng Han

机构 * Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Zhejiang University（浙江大学） ； Guangzhou University（广州大学） ； GenTel.io 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 针对检索增强生成中检索证据与参数记忆冲突导致模型忽略上下文的问题，提出无训练解码器FIDES，通过融合输出表面、隐藏表示和预测轨迹三种内部信号，在token级别动态调整干预强度，显著提升上下文忠实度。

InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain

InfoMem: 基于答案条件信息增益训练长上下文记忆智能体

Tiancheng Han, Yong Li, Wuzhou Yu, Qiaosheng Zhang, Wenqi Shao

机构 * Tongji University（同济大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 提出InfoMem奖励机制，通过评估最终记忆对真实答案的每token对数似然增益，训练分块记忆智能体以提升长上下文任务性能。

Comments 17 pages, 7 figrues,

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference

MomentKV：消除长上下文推理中KV缓存驱逐的方向差距

Yu Li, Binxu Li, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对长上下文推理中KV缓存驱逐导致输出退化的问题，提出MomentKV方法，通过维护驱逐令牌集的矩统计量（计数、键均值、值均值和值-键协方差）来识别与累积摘要对齐的令牌，并在推理时提供驱逐注意力输出的一阶近似，实现选择性驱逐与精确校正的相互增强。

Joint Agent Memory and Exploration Learning via Novelty Signals

通过新颖性信号实现联合智能体记忆与探索学习

Shizuo Tian, Xiaohong Weng, Rui Kong, Yuxuan Chen, Guohong Liu, Yuebing Song, Jiacheng Liu, Yuchen Li, Dawei Yin, Ting Cao, Yunxin Liu, Yuanchun Li

机构 * Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Baidu Inc.（百度公司） ； Tongji University（同济大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出JAMEL框架，利用新颖性信号联合训练智能体记忆与探索策略，在开放环境中实现高效探索并泛化到未见环境。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

超越视觉记忆：潜在视觉推理的机制诊断

Garvin Guo, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Shuai Dong

机构 * Amap, Alibaba Group（阿里集团亚马通） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 通过分解潜在令牌为三个可测试组件，发现边界标记和格式而非潜在槽贡献了主要性能提升，揭示了潜在视觉推理的真正机制。

WildCat: Near-Linear Attention in Theory and Practice

WildCat: 理论与实践中近乎线性的注意力机制

Tobias Schröder, Lester Mackey

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出WildCat方法，通过随机枢轴Cholesky算法选择加权核心集，在近线性时间内以超多项式误差衰减近似精确注意力，并应用于图像生成、分类和语言模型KV缓存压缩。

Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

循序渐进：通过增量混合秩-1联想记忆专家实现持续学习

Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG

AI总结 针对持续学习中专家粒度粗糙导致的冗余、干扰和遗忘问题，提出MoRAM方法，将秩-1适配器作为细粒度专家和联想记忆单元，通过自激活机制实现增量扩展，显著提升塑性-稳定性权衡和泛化能力。

Comments Accepted at ICML2026. Project page: https://artificer-ai-lab.github.io/MoRAM/

Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold

不要那么Stief！在Stiefel流形上学习KV缓存低秩近似

Luca Benfenati, Matteo Risso, Andrea Vannozzi, Ahmet Caner Yüzügüler, Lukas Cavigelli, Enrico Macii, Daniele Jahier Pagliari, Alessio Burrello

机构 * Department of Control and Computer Engineering, Politecnico di Torino（控制与计算机工程系，托里诺理工学院） ； Huawei Zurich Research Center（华为苏黎世研究中心） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 提出StiefAttention方法，通过在Stiefel流形上学习正交投影基并最小化解码器层输出重建误差，实现KV缓存压缩，优于现有SVD方法。

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

VideoMLA: 用于分钟级自回归视频扩散的低秩潜在KV缓存

Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

机构 * Virginia Tech（弗吉尼亚理工大学） ； fal Project（fal项目） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出VideoMLA，通过多头潜在注意力（MLA）将每头KV替换为共享低秩内容潜在和分离的3D-RoPE位置键，在视频扩散中减少92.7%的KV内存，并保持质量与吞吐量提升。

Comments Project Page: https://videomla.github.io/

ATLAS: All-round Testing of Long-context Abilities across Scales

ATLAS: 跨尺度的长上下文能力全面测试

Deli Huang, Cunguang Wang, Hongyin Tang, Zhe Tang, Linsen Guo, Dongyu Ru, Ruoshi Yuan, Ziyue Zhu, Xiaoyu Li, Ziwen Wang, Chen Zhang, Anchun Gui, Wen Zan, Jiaqi Zhang, Xuezhi Cao, Jingang Wang, Xunliang Cai, Yixin Cao

机构 * Meituan（美团） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 提出ATLAS基准框架，通过分层分类、长度感知AUC评分和ATLAScore聚合指标，系统评估长上下文语言模型在不同长度和任务上的性能退化与能力分布。

Comments 29 pages, 13 figures. Preprint

Fast KV Compaction via Attention Matching

通过注意力匹配实现快速KV压缩

Adam Zweiger, Xinghong Fu, Han Guo, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出通过注意力匹配在潜在空间快速压缩键值缓存的方法，以保持注意力输出并实现高达50倍压缩且质量损失小。

Lngram: N-gram Conditional Memory in Latent Space

Lngram: 潜在空间中的N-gram条件记忆

Yunao Zheng, Guoyang Xia, Xiaojie Wang, Lei Ren

机构 * Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学） ； Li Auto Inc.（Li Auto公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 提出Lngram，一种在潜在空间中学习离散符号并执行N-gram查找的条件记忆模块，以解耦检索与骨干网络，提升长上下文语言建模和跨模态任务性能。

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2：解耦擦除与写入的线性注意力

Ali Hatamizadeh, Yejin Choi, Jan Kautz

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出Gated DeltaNet-2，通过引入通道级擦除门和写入门，解耦了线性注意力中擦除与写入的控制，从而在语言模型、常识推理和检索任务中取得了最佳性能，特别是在长上下文检索任务中表现突出。

Comments Gated DeltaNet-2 technical report; code at https://github.com/NVlabs/GatedDeltaNet-2