语言大模型 / LLM

Trivium: Temporal Regret as a First-Class Objective for Causal-Memory Controllers

Trivium: 时间遗憾作为因果记忆控制器的一等目标

Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出将长期时间遗憾作为一等目标，与结果遗憾和认知遗憾共同构成因果记忆控制器的可证伪失败分析框架，证明时间校准偏差在对结果遗憾为零时仍线性增长，而基于持久因果日志的探测复杂度为对数级。

Comments Note on version 2 (closure). This version corrects errors in v1. The use of the term "regret'' also caused confusion because the quantities defined here are not standard comparator-based online-learning regret. Subsequent work will use "liability'' or "debt'' to be clear

Enhancing Tabular Learners with Context-Aware Semantic Embeddings

用上下文感知语义嵌入增强表格学习器

Günther Schindler, Maximilian Schambach, Johannes Höhne

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出CASE框架，结合LLMs语义理解与表格学习器统计能力，通过预填充Gemma 3表格语言模型KV缓存建立语义锚点，在CARTE等基准上显著提升表格学习器在语义丰富数据集的低数据场景性能。

PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory

PI-Mem：通过并行迭代式记忆将长上下文推理推向360万 tokens

Dawei Liu, Haixu Song, Shuang Cheng, Shijie Wang, Haozheng Hou, Kaifeng Liu, Ermo Hua, Zhonghang Yuan, Zhijie Zhong, Yuchen Fan, Biqing Qi, Bowen Zhou

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出PI-Mem并行迭代记忆机制，在360万 tokens长上下文下，使Qwen系列模型在HotpotQA基准上较循环记忆基线实现准确率提升与推理加速，打破长上下文推理的准确率-效率权衡。

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

PersonaTrail：通过浏览轨迹对个性化网络代理进行基准测试

Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题，引入PersonaTrail基准及偏好感知上下文记忆框架PACMem，利用浏览轨迹评估代理，实验证明PACMem优于现有基于记忆的基线。

Diagnosing and Mitigating Context Rot in Long-horizon Search

诊断和缓解长视野搜索中的上下文腐烂

Shijie Xia, Yikun Wang, Zhen Huang, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； SII GAIR 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究大语言模型在长视野任务中因上下文过长导致的性能退化（上下文腐烂），通过实验揭示其普遍性，并提出上下文管理和拒绝采样两种缓解策略。

V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

V-Mem：面向多模态智能体长期记忆的模态路由检索

Dingyi Kang, Dongming Jiang, Yi Li, Guanpeng Li, Bingzhe Li

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态智能体记忆的模态与相似性-相关性差距，提出V-Mem系统，通过模态路由检索优化，在Mem-Gallery、LoCoMo数据集上显著提升多模态问答性能。

Comments 19 pages, 2 figures, 16 tables. Code: https://github.com/Dingyi-Kang/V-Mem

What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs

大语言模型中注意力汇流的出现：可解释性视角

Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu, Yucheng Lu, Chen Zhao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制，发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流，并揭示其在训练早期的出现及集中趋势。

HijackKV: New Threat in Position-Independent KV Cache Reuse

HijackKV：位置无关的键值缓存重用中的新威胁

Yichi Zhang, Zhiqi Wang, Huan Zhang, Yuchen Yang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究位置无关的KV缓存重用中的新威胁KV缓存劫持，介绍HIJACKKV攻击框架，该框架可优化攻击者控制的前缀，使受污染的KV在特定条件下劫持模型行为，单次尝试成功率达94%，还为构建安全KV重用系统提供设计见解。

Comments 20 pages, accepted by USENIX Security 2026

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

少复制，多扎根：通过证据感知强化学习克服长上下文推理中的重复复制

Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究长上下文推理中语言模型的重复复制问题，提出GEAR奖励塑造方法，通过区分关键证据和干扰上下文来增强奖励信号，经实验验证该方法能提升模型性能，减少重复复制，凸显准确扎根证据对长上下文推理的重要性。

Stem: Rethinking Causal Information Flow in Sparse Attention

Stem: 重新思考稀疏注意力中的因果信息流

Lin Niu, Xin Luo, Linchuan Xie, Yifu Sun, Guanghua Yu, Jianchen Zhu, S Kevin Zhou

机构 * tencent（腾讯） ； ustc（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Stem通过位置依赖的top-k和输出感知度量，优化稀疏注意力机制，提升LLMs在长上下文处理中的效率与准确性。

Comments Accepted at ICML 2026. Lin Niu and Xin Luo contributed equally to this work. Camera-ready version

MemTxn: A Transaction Boundary for Source-Supported Updates and Complete-State Recovery in Agent Memory

MemTxn：智能体记忆中源支持更新与完整状态恢复的事务边界

Hanshuai Cui, Zhiqing Tang, Zhi Yao, Fanshuai Meng, Qianli Ma, Weijia Jia

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型智能体持久内存错误问题，提出MemTxn治理层，通过Ordered PatchTest等组件实现可靠更新与恢复，在多个基准测试中性能优于现有方法。

Critical attention scaling in long-context transformers

长上下文Transformer中的关键注意力缩放

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet

机构 * Department of Mathematics, Massachusetts Institute of Technology（数学系，麻省理工学院） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（电气工程与计算机科学系，麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对长上下文Transformer的注意力秩崩溃问题，通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$，为YaRN和Qwen的注意力缩放提供理论依据，阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。

Comments 31 pages, 2 figures

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026

PatchWorld: Gradient-Free Optimization of Executable World Models for Agent Environments

PatchWorld：可执行世界模型的免梯度优化

Jiaxin Bai, Yue Guo, Yifei Dong, Jiaxuan Xiong, Tianshi Zheng, Yixia Li, Tianqing Fang, Yufei Li, Yisen Gao, Haoyu Huang, Zhongwei Xie, Hong Ting Tsang, Zihao Wang, Lihui Liu, Jeff Z. Pan, Yangqiu Song

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Independent Researcher（独立研究员） ； HKUST（香港科技大学） ； Beijing Institute of Technology（北京理工大学） ； Southern University of Science and Technology（南方科技大学） ； Wayne State University（韦恩州立大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出 PatchWorld 框架，通过反例引导的代码修复将离线轨迹转化为可执行的 Python 世界模型，实现无需梯度优化的符号信念状态程序，在 AgentGym 环境中达到 76.4% 的宏观成功率。

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

NVIDIA实验室的OO智能体：原生Python面向对象智能体

Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, Elisa Martinez Abad, Christian Schüller, Razvan Dinu, Alessio Devoto, Pascal Berard, Gal Kaplun, Elad Sarafian, Riccardo Roveri, Leon Derczynski, Ricardo Silveira Cabral

机构 * NVIDIA-labs（英伟达实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究提出NOOA这一Python框架构建可靠AI智能体，采用智能体即Python对象的编程模型，结合六个面向模型的理念，证明当前模型能有效使用此接口并在相关测试中表现良好，为智能体开发提供新途径。

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

线性记忆注意力蒸馏：用于RoPE修复的线性内存注意力蒸馏

Ning Yang, Hengyu Zhong, Wentao Wang, Baoliang Tian, Haijun Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southwest University（西南大学） ； Dalian University of Technology（大连理工大学） ； University of Science and Technology Beijing（北京科技大学） ； University College London（伦敦大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LinearARD，通过冻结的原生RoPE教师模型，利用注意力结构一致性恢复RoPE缩放的学生模型，以线性内存核克服二次内存瓶颈，提升长上下文性能。

SALT: Salience-Aware Lexical Trie for Long-Context Compression

SALT：用于长上下文压缩的显著性感知词汇字典树

Oteo Mamo, Hyunjin Yi, Joydhriti Choudhury, Shangqian Gao, Weikuan Yu

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型处理长提示时的计算和内存瓶颈，提出SALT框架，将句子关键词组织成按句子频率排序的字典树，通过多锚点检索等方式保留文档主题，降低长上下文提示的预填充成本，还可与KV缓存方法结合。

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

RoVE: 旋转值嵌入注意力实现相对位置相关的值路径

Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

机构 * AMLab University of Amsterdam（阿姆斯特丹大学AMLab） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出RoVE方法，通过同时旋转键和值使值对位置敏感，将RoPE注意力转化为注意力卷积，在少样本学习、分布外困惑度和长上下文检索上优于RoPE。

RoboTTT: Context Scaling for Robot Policies

RoboTTT：机器人策略的上下文扩展

Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

机构 * NVIDIA（英伟达公司） ； Stanford University（斯坦福大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出RoboTTT，将测试时训练集成到机器人基础模型，通过序列动作强制和截断反向传播扩展视觉运动上下文到8K时间步长，解锁新能力，提升多任务性能，证明上下文长度是机器人基础模型新扩展轴。

Comments Project website: http://research.nvidia.com/labs/gear/robottt/

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

CatalogAgent：一种由监督者介导的自学习系统，实现生成式人工智能模型的上下文工程

Zhu Cheng, Zhenming Wang, Yu, Tang, Dan Liu, Bryan Zhang, Athanasios N. Nikolakopoulos, Pranav Souri Itabada, Jing Zhang, Chih-Chi Chou, Peng Gao, Fatemeh Mansoori, Bharat Bojja, Sarath Chander, Sameer Thombare, Umit Batur, Tarik Arici

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究电商产品目录结构化属性缺失值预测问题，提出CatalogAgent系统，通过监督者调解冲突、记忆库和汇总器实现自学习，经上下文工程将监督者能力转移到生成器和评估器，有效提升其性能。

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning

PhysMRV：用于物理合理性推理的物理内存检索与验证

Wenyuan Wang, Lianyu Hu, Hao Wang, Yang Liu

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 针对视频语言模型物理合理性推理不可靠的问题，提出免训练的PhysMRV框架，通过将训练视频转化为分层内存库，利用结构化物理证据指导VLM验证物理合理性，在多基准测试中取得一致改进，有效增强该推理能力。

Self-Guided Test-Time Training for Long-Context LLMs

长上下文语言模型的自引导测试时训练

Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik Rangadurai, Hua Zhi, Frank Shyu, Sandeep Pandey, Luke Simon, Yu Meng, Xi Liu

机构 * Meta AI ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长上下文语言模型处理中单纯扩窗口不能有效利用长输入、准确率易降的问题，提出自引导测试时训练（S-TTT）方法，通过模型识别证据跨度并仅对选定跨度训练，在两个基准上提升了模型准确率。

REAL: REtrieval-reAsoning and Logic-constructed Attention Behaviors for Long-Context KV Cache Compression

REAL：用于长上下文KV缓存压缩的检索推理和逻辑构建注意力行为

Mengjie Li, Yuan Feng, Xike Xie, William J. Song

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型KV缓存问题，受混淆矩阵启发提出REAL方法，通过注意力行为矩阵全面分析注意力头行为，最大化信噪比，经评估在多模型和基准测试中性能显著，为长上下文建模方法转变提供新思路。

Comments Accepted at ACL 2026 Main Conference

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

记住重要时刻：用于长期任务智能体的主动记忆智能体

Yifan Wu, Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究长期任务中智能体决策时行为状态衰减问题，提出用主动记忆智能体并行干预，更新记忆库并决定是否提醒。该方法在多个基准测试中提升了智能体性能，消融实验证明其优势，还训练模型实现部分迁移。

From Application-Layer Simulation to Native Meta-Architecture: Structural Tension as an Endogenous Driver for Heterogeneous AI Evolution

从应用层模拟到原生元架构：结构张力作为异构人工智能进化的内生驱动因素

Heting Mao

机构 * Shanghai Lixin University of Accounting and Finance（上海立信会计金融大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型无状态需应用层模拟的问题，提出理论框架，引入结构张力、离线循环回路、推理时可塑性三种机制，使模型实例能演化出不同拓扑结构，构成异构智能生态，重新定位治理为架构智能主要标准。

Comments 17 pages, 1 equation, no figures

Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory

学习用户感知的回忆：长期对话记忆中的个性化检索

ZhiShu Jiang, Haibo Liu, Xin Shen, Guanqiang QI, Chenxi Miao, Weikang Li, Liwei Qian, Xin Pei, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； The University of Queensland（昆士兰大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出PPRO框架，通过用户画像引导的排序和基于GRPO的查询重写，实现个性化记忆检索，在LoCoMo和LongMemEval-S上取得一致提升。

Situation Perception: A Necessary Primitive to Artificial Superintelligence

情境感知：通向超级人工智能的必要基础

Ziqin Yuan, Jaymari Chua

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出情境感知（situation perception）是通向超级人工智能的关键缺失能力，包括抽象预测、长期压缩记忆和目标驱动的主动学习，并分析了当前大语言模型的不足及相应测试方法。

Mandol: An Agglomerative Agent Memory System for Long-Term Conversations

Mandol：一种用于长期对话的聚合式智能体记忆系统

Yuhan Zhang, Zhiyuan Guo, Ziheng Zeng, Wei Wang, Wentao Wu, Lijie Xu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Mandol聚合式记忆系统，通过统一内存原生架构整合碎片化记忆，结合层次化记忆模型、聚合语义数据结构与量化查询机制，在长期对话基准上取得最佳准确率并实现5.4倍检索加速。

Comments 10 pages, 3 figures

On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

论共享嵌入序列模型中指令与数据的不可分离性

Dewank Pant, Shruti Lohani, Avijit Kumar

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文证明在共享嵌入架构中，由于缺乏强制控制-数据分离，完美防御提示注入在数学上是不可能的，并提出了语义忠实控制（SFC）的概念，通过三个理论结果揭示了其根本原因，类比冯·诺依曼架构的代码-数据混淆问题。

Comments 18 pages, 1 figure, 2 tables

Information-Aware KV Cache Compression for Long Reasoning

面向长推理的信息感知KV缓存压缩

Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出InfoKV框架，通过结合预测不确定性与注意力分数进行KV缓存压缩，在长上下文推理中优于现有方法。