语言大模型 / LLM

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs

从单个token到单个block：一种为扩散语言模型设计的原理性适应路径

Yuchuan Tian, Yuchen Liang, Shuo Zhang, Yingte Shu, Guangwen Yang, Wei He, Sibo Fang, Tianyu Guo, Kai Han, Chao Xu, Hanting Chen, Xinghao Chen, Yunhe Wang

机构 * Peking University（北京大学） ； Huawei Technologies（华为技术） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种原理性适应路径，将自回归模型适配到扩散语言模型，以提升其长上下文生成能力，并在7B类模型中取得最佳性能。

Comments 14 pages, 5 figures

VideoNSA: Native Sparse Attention Scales Video Understanding

VideoNSA：原生稀疏注意力扩展视频理解

Enxin Song, Wenhao Chai, Shusheng Yang, Ethan Armand, Xiaojun Shan, Haiyang Xu, Jianwen Xie, Zhuowen Tu

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 VideoNSA通过端到端训练提升视频理解，结合原生稀疏注意力实现长视频和时间推理的性能优化

Comments ICLR 2026

Unsupervised Text Segmentation via Kernel Change-Point Detection on Sentence Embeddings

基于句子嵌入的核变化点检测实现无监督文本分段

Mumin Jia, Jairo Diaz-Rodriguez

机构 * Department of Mathematics and Statistics, York University, Toronto, Canada（数学与统计学系，约克大学，多伦多，加拿大） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 基于句子嵌入的核变化点检测实现无监督文本分段，结合理论保证与实际效果，提升文本分割性能。

Comments arXiv admin note: substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437

VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents

VibeTensor：由AI代理完全生成的深度学习系统软件

Bing Xu, Terry Chen, Fengzhe Zhou, Tianqi Chen, Yangqing Jia, Vinod Grover, Haicheng Wu, Wei Liu, Craig Wittenbrink, Wen-mei Hwu, Roger Bringmann, Ming-Yu Liu, Luis Ceze, Michael Lightstone, Humphrey Shi

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 VibeTensor是首个由AI代理完全生成的深度学习系统软件，实现了PyTorch风格的张量库及CUDA内存管理，展示了AI辅助软件工程的里程碑进展。

Comments Open-source: https://github.com/NVLabs/vibetensor

AgentSM: Semantic Memory for Agentic Text-to-SQL

AgentSM: 语义记忆用于代理文本到SQL

Asim Biswal, Chuan Lei, Xiao Qin, Aodong Li, Balakrishnan Narayanaswamy, Tim Kraska

机构 * Amazon Web Services（亚马逊网络服务） ； University of California, Berkeley（加州大学伯克利分校） ； Oracle Corporation（甲骨文公司） ； Snowflake Inc.（Snowflake公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 AgentSM通过构建可解释的语义记忆，提升文本到SQL任务的效率和准确性，减少令牌使用和轨迹长度，达到更高执行精度。

TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low Latency Text-to-SQL

TableCache: 基于主外键关系的KV缓存预计算用于低延迟的文本到SQL

Jinbo Su, Yuxuan Hu, Cuiping Li, Hong Chen, Jia Li, Lintao Ma, Jing Zhang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Key Laboratory of Data Engineering and Knowledge Engineering, Beijing, China（数据工程与知识工程重点实验室） ； Engineering Research Center of Database and Business Intelligence, Beijing, China（数据库与商业智能工程研究中心） ； Ant Group, Hangzhou, China（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 TableCache通过预计算主外键关系的KV缓存，提高文本到SQL任务的低延迟性能。

Modeling Language as a Sequence of Thoughts

将语言建模为思想序列

Nasim Borazjanizadeh, James McClelland

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 TG模型通过递归变换器在token和句子级抽象建模语言，提升数据和参数效率，减少关系方向泛化错误。

OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agent

OS-Symphony: 一个用于鲁棒且通用计算机使用代理的综合框架

Bowen Yang, Kaiming Jin, Zhenyu Wu, Zhaoyang Liu, Qiushi Sun, Zehao Li, JingJing Xie, Zhoumianze Liu, Fangzhi Xu, Kanzhi Cheng, Qingyun Li, Yian Wang, Yu Qiao, Zun Wang, Zichen Ding

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； CUHK MMLab（香港中文大学MMLab） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 OS-Symphony通过反思记忆代理和多功能工具代理，提升计算机使用代理在长周期任务和新领域中的鲁棒性和泛化能力。

Comments 31 pages, 11 figures, 12 tables

Nested Learning: The Illusion of Deep Learning Architectures

嵌套学习：深度学习架构的幻觉

Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出嵌套学习范式，通过多级优化问题设计更高效的学习算法，展示持续学习模块Hope在语言建模等任务中的表现。

Comments A version of this work is published at Neural Information Processing Systems (NeurIPS) 2025

R-Debater: Retrieval-Augmented Debate Generation through Argumentative Memory

R-Debater：通过论证记忆的检索增强辩论生成

Maoyuan Li, Zhongsheng Wang, Haoyuan Li, Jiamou Liu

机构 * Wuhan College of Communication（武汉通信学院） ； Wuhan College of Communication University of Auckland（武汉通信学院奥克兰大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 R-Debater通过整合检索和结构化规划，实现了更忠实、一致且连贯的多轮辩论生成。

Comments Accepteed by AAMAS 2026 full paper

Lattice: Learning to Efficiently Compress the Memory

Lattice: 学习高效压缩内存

Mahdi Karami, Razvan Pascanu, Vahab Mirrokni

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Lattice通过正交更新机制，高效压缩内存，提升语言建模和联想回忆任务的性能与内存效率。

AI Meets Brain: Memory Systems from Cognitive Neuroscience to Autonomous Agents

AI 与大脑：从认知神经科学到自主代理的记忆系统

Jiafeng Liang, Hao Li, Chang Li, Jiaqi Zhou, Shixin Jiang, Zekun Wang, Changkai Ji, Zhihao Zhu, Runxuan Liu, Tao Ren, Jinlan Fu, See-Kiong Ng, Xia Liang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文从认知神经科学到自主代理，系统综合了记忆的跨学科知识，探讨了记忆的定义、功能、分类、存储机制及安全问题，并展望了多模态记忆系统和技能获取的未来研究方向。

Comments 57 pages, 5 figures

Latent learning: episodic memory complements parametric learning by enabling flexible reuse of experiences

潜在学习：情景记忆通过使经验的灵活重用来补充参数学习

Andrew Kyle Lampinen, Martin Engelcke, Yuxuan Li, Arslan Chaudhry, James L. McClelland

机构 * Google DeepMind（谷歌DeepMind） ； Department of Psychology, Stanford University（斯坦福大学心理学系） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出情景记忆可通过灵活重用经验来补充参数学习，提升泛化能力。

Scale-invariant Attention

尺度不变注意力

Ben Anson, Xi Wang, Laurence Aitchison

机构 * School of Mathematics University of Bristol（布里斯托大学数学学院） ； Department of Computer Science Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； School of Computer Science University of Bristol（布里斯托大学计算机科学学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种尺度不变的注意力机制，通过简单的位置依赖变换实现总注意力和稀疏性的尺度不变性，提升了长上下文推理和检索性能。

Comments Accepted at Neurips 2025

Mamba Modulation: On the Length Generalization of Mamba

Mamba 调制：关于 Mamba 的长度泛化

Peng Lu, Jerry Huang, Qiuhao Zeng, Xinyu Wang, Boxing Chen, Philippe Langlais, Yufei Cui

机构 * Université de Montréal（蒙特利尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Western University（温莎大学） ； McGill University（麦吉尔大学） ； Noah’s Ark Lab（诺亚实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mamba 调制通过调整状态转移矩阵的谱，提升长上下文泛化能力，解决其对上下文长度扩展的敏感性问题。

Comments Accepted to The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS) 2025. First two authors contributed equally

KV Cache Recycling to Expand Usable Context Capacity in Low Parameter LLMs

KV缓存回收以扩展低参数LLM的可用上下文容量

Prashant Pandey

机构 * Department of Computer Science \& Engineering, Invertis University 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 通过KV缓存回收技术，在低参数LLM中扩展可用上下文容量，提升推理速度且不影响输出语义。

The Expressive Capacity of State Space Models: A Formal Language Perspective

状态空间模型的表达能力：从形式语言的角度

Yash Sarrof, Yana Veitsman, Michael Hahn

机构 * Saarland University（萨尔兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 从形式语言角度研究状态空间模型的表达能力，发现其在特定任务中优于Transformer，并指出当前SSM设计限制其表现。

Comments Published in NeurIPS 2024

Journal ref Advances in Neural Information Processing Systems 37 (2024)

Progressive Code Integration for Abstractive Bug Report Summarization

渐进式代码集成用于抽象式bug报告摘要

Shaira Sadia Karim, Abrar Mahmud Rahim, Lamia Alam, Ishmam Tashdeed, Lutfun Nahar Lota, Md. Abu Raihan M. Kamal, Md. Azam Hossain

机构 * Islamic University of Technology（伊斯兰技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出渐进式代码集成框架，通过整合长代码片段和文本内容，提升基于LLM的bug报告摘要效果，优于现有方法。

Unsupervised Memorability Modeling from Tip-of-the-Tongue Retrieval Queries

从舌尖上的遗忘检索查询中无监督建模可记忆性

Sree Bhattacharyya, Yaman Kumar Singla, Sudhir Yarram, Somesh Kumar Singh, Harini S, James Z. Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Media and Data Science Research（Adobe媒体与数据科学研究） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出首个大规模无监督数据集，通过舌尖上的遗忘检索查询建模视觉内容的可记忆性，并展示了其在回忆生成和ToT检索任务中的优越表现。

Comments Accepted at WACV 2026

Efficient On-Device Agents via Adaptive Context Management

通过自适应上下文管理实现高效的设备端代理

Sanidhya Vijayvargiya, Rahul Lokesh

机构 * Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） ； Samsung Research America（三星美国研究） 纠错

专题命中 长上下文与记忆 ：SLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种通过自适应上下文管理实现高效设备端代理的框架，通过动态内存系统、极简序列化格式和即时模式传递机制，显著压缩上下文并提升性能。

Comments 27 pages, 5 figures

Scaffold Diffusion: Sparse Multi-Category Voxel Structure Generation with Discrete Diffusion

Scaffold Diffusion: 通过离散扩散模型生成稀疏多类体素结构

Justin Jung

机构 * Biohub Redwood City, USA（Biohub 红木城，美国） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Scaffold Diffusion通过离散扩散模型生成稀疏多类3D体素结构，克服稀疏性带来的挑战，生成逼真且连贯的结构。

Comments Accepted at NeurIPS 2025 Structured Probabilistic Inference & Generative Modeling Workshop

DreamGarden: A Designer Assistant for Growing Games from a Single Prompt

DreamGarden：基于单一提示生成游戏的设计师助手

Sam Earle, Samyak Parajuli, Andrzej Banburski-Fahey

机构 * New York University \& Microsoft USA ； Microsoft USA ； New York University \& Microsoft ； Microsoft 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 DreamGarden通过基于大语言模型的规划器，将用户提供的高层次提示转化为分层行动计划，实现多样化游戏环境的开发，探索半自动助手和开放性模拟设计的未来方向。

Comments 30 pages + appendix, 11 figures, published at CHI 2025

Don't Pay Attention

Mohammad Hammoud, Devang Acharya

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows

Billy Dickson, Zoran Tiganj

机构 * Department of Computer Science, Indiana University Bloomington（计算机科学系，印第安纳大学布卢明顿分校） ； Department of Psychological and Brain Sciences, Indiana University Bloomington（心理学与脑科学系，印第安纳大学布卢明顿分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

LongCodeBench: Evaluating Coding LLMs at 1M Context Windows

Stefano Rando, Luca Romani, Alessio Sampieri, Luca Franco, John Yang, Yuta Kyuragi, Fabio Galasso, Tatsunori Hashimoto

机构 * Panasonic AI Research（松下人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

PsyMem: Fine-grained psychological alignment and Explicit Memory Control for Advanced Role-Playing LLMs

Xilong Cheng, Yunxiao Qin, Yuting Tan, Zhengnan Li, Ye Wang, Hongjiang Xiao, Yuan Zhang

机构 * Communication University of China（中国传媒大学） ； State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments Pre-MIT Press publication version, has been accepted by TACL

MemPromptTSS: Persistent Prompt Memory for Iterative Multi-Granularity Time Series State Segmentation

Ching Chang, Ming-Chih Lo, Chiao-Tung Chan, Wen-Chih Peng, Tien-Fu Chen

机构 * Computer Science National Yang Ming Chiao Tung University（计算机科学 国立阳明交通大学） ； Control Engineering National Yang Ming Chiao Tung University（控制工程 国立阳明交通大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI、cs.LG

Comments This paper is currently under review. The code will be made available upon acceptance

Titans Revisited: A Lightweight Reimplementation and Critical Analysis of a Test-Time Memory Model

Gavriel Di Nepi, Federico Siciliano, Fabrizio Silvestri

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

Mem4Nav: Boosting Vision-and-Language Navigation in Urban Environments with a Hierarchical Spatial-Cognition Long-Short Memory System

Lixuan He, Haoyu Dong, Zhenxing Chen, Yangcheng Yu, Jie Feng, Yong Li

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments The paper is currently under investigation regarding concerns of potential academic misconduct. While the investigation is ongoing, the authors have voluntarily requested to withdraw the manuscript

AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation

Ming Wang, Peidong Wang, Lin Wu, Xiaocui Yang, Daling Wang, Shi Feng, Yuxin Chen, Bixuan Wang, Yifei Zhang

机构 * School of Computer Science and Engineering, Northeastern University（计算机科学与工程学院，东北大学） ； Mental Health Education Center, Northeastern University（心理健康教育中心，东北大学） ； School of Sociology and Psychology, Central University of Finance and Economics（社会学与心理学学院，中央财经大学） ； School of Psychology, Northeast Normal University（心理学学院，东北师范大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

Journal ref Findings of the Association for Computational Linguistics: ACL 2025