语言大模型 / LLM

M$^\star$: Every Task Deserves Its Own Memory Harness

M$^\star$：每个任务都应有专属的记忆框架

Wenbo Pan, Shujie Liu, Xiangyang Zhou, Shiwei Zhang, Wanlu Shi, Mirror Xu, Xiaohua Jia

机构 * City University of Hong Kong（香港城市大学） ； Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出M$^\star$方法，通过可执行程序进化自动发现任务优化的记忆系统，在对话、具身规划和专家推理等任务上优于固定记忆基线。

Comments Preprint. Code: https://github.com/wbopan/mstar ; Live demo: https://mstar.wenbo.io

Retrospective Sparse Attention for Efficient Long-Context Generation

回顾性稀疏注意力用于高效长上下文生成

Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RetroAttention，一种新的KV缓存更新技术，通过回顾后续解码步骤的KV条目来修正过去的注意力输出，从而提高长上下文生成的效率和准确性。

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention

DashAttention: 可微且自适应的稀疏分层注意力

Yuxiang Huang, Nuno M. T. Gonçalves, Federico Alvetreti, Lei Li, Xu Han, Edoardo M. Ponti, André F. T. Martins, Marcos V. Treviso

机构 * Tsinghua University（清华大学） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； Instituto de Telecomunicações（电信研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； University of Edinburgh（爱丁堡大学） ； TransPerfect（TransPerfect公司） ； ELLIS Unit Lisbon（里斯本ELLIS单位） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出DashAttention，一种可微且自适应的稀疏分层注意力机制，通过自适应稀疏α-entmax变换选择可变数量的块，从而在保持整个层次结构可微的同时，提升长上下文建模能力，实验表明其在高稀疏度下优于现有方法。

Comments Preprint

EVA01: Unified Native 3D Understanding and Generation via Mixture-of-Transformers

EVA01: 通过混合变换器实现统一的原生3D理解和生成

Zongyuan Yang, Mingjing Yi, Wanli Ma, Chenzhuo Fan, Bocheng Li, Baolin Liu, Yuke Lou, Yingde Song, Yongping Xiong, Zhengdong Guo, Shimu Wang

机构 * SeeleAI Team（SeeleAI团队） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出EVA01框架，通过混合变换器架构扩展多模态大语言模型的模态边界，实现原生的3D网格理解和生成以及上下文感知编辑，提升文本到3D生成的保真度和多轮几何编辑能力。

Comments 28 pages, 10 figures, 6 tables. Technical report

FORGE: Self-Evolving Agent Memory With No Weight Updates via Population Broadcast

FORGE：无权重更新的自演化代理记忆

Igor Bogdanov, Chung-Horng Lung, Thomas Kunz, Jie Gao, Adrian Taylor, Marzia Zaman

机构 * Carleton University（卡尔顿大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 FORGE通过群体广播机制实现无梯度更新的自生成记忆，提升层次ReAct代理决策能力，在CybORG CAGE-2任务中显著提高性能并降低失败率。

KV Cache Offloading for Context-Intensive Tasks

KV缓存卸载用于上下文密集型任务

Andrey Bocharnikov, Ivan Ermakov, Denis Kuznedelev, Vyacheslav Zhdanovskiy, Yegor Yershov

机构 * HSE（俄罗斯人民友谊大学） ； Yandex ； NSU（俄罗斯国立核能研究大学梅利科夫） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了KV缓存卸载在上下文密集型任务中的应用，通过Text2JSON基准测试发现，该方法在Llama 3和Qwen 3模型上导致性能下降，分析指出低秩投影和不可靠地标是主要问题，并提出更简单的替代策略以提升准确性。

Comments Preprint

TokenButler: Token Importance is Predictable

TokenButler：令牌重要性是可预测的

Yash Akhauri, Ahmed F AbouElhamayed, Yifei Gao, Chi-Chih Chang, Sameh Gobriel, Nilesh Jain, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TokenButler通过高粒度查询感知预测器识别关键令牌，减少KV缓存瓶颈，提升解码效率与准确性。

Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Engram是否在自回归图像生成中执行记忆检索？

Jinghao Wang, Qiyuan He, Chunbin Gu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究探讨Engram模块在自回归图像生成中的作用，发现其虽节省计算量但未提升样本质量，且模块行为更像一个带门控的架构旁路而非内容寻址检索器。

Comments 9 pages

OjaKV: Context-Aware Online Low-Rank KV Cache Compression

OjaKV: 基于上下文的在线低秩KV缓存压缩

Yuxuan Zhu, David H. Yang, Mohammad Mohammadi Amiri, Keerthiram Murugesan, Tejaswini Pedapati, Pin-Yu Chen

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OjaKV通过结合战略混合存储策略与在线子空间适应，实现KV缓存压缩，提升长上下文推理效率，无需微调模型。

Memp: Exploring Agent Procedural Memory

Memp：探索代理程序记忆

Runnan Fang, Yuan Liang, Xiaobin Wang, Jialong Wu, Shuofei Qiao, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； State Key Lab. for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Memp，一种可学习、可更新且终身的程序记忆系统，通过提炼历史轨迹生成细粒度指令和高层脚本抽象，提升代理在TravelPlanner和ALFWorld任务中的成功率和效率。

Comments ACL 2026 Findings

ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval

ZoomR：通过多粒度键值检索实现内存高效的推理

David H. Yang, Yuxuan Zhu, Mohammad Mohammadi Amiri, Keerthiram Murugesan, Tejaswini Pedapati, Subhajit Chaudhury, Pin-Yu Chen

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ZoomR通过多粒度键值检索实现内存高效的推理，减少内存使用，适用于长输出生成任务。

Bridging Brains and Machines: A Unified Frontier in Neuroscience, Artificial Intelligence, and Neuromorphic Systems

连接大脑与机器：神经科学、人工智能与神经形态系统的统一前沿

Sohan Shankar, Yi Pan, Hanqi Jiang, Zhengliang Liu, Mohammad R. Darbandi, Agustin Lorenzo, Junhao Chen, Weihang You, Md Mehedi Hasan, Arif Hassan Zidan, Eliana Gelman, Joshua A. Konfrst, Jillian Y. Russell, Katelyn Fernandes, Tianze Yang, Yiwei Li, Huaqin Zhao, Afrar Jahin, Triparna Ganguly, Shair Dinesha, Yifan Zhou, Zihao Wu, Xinliang Li, Lokesh Adusumilli, Aziza Hussein, Sagar Nookarapu, Jixin Hou, Kun Jiang, Jiaxi Li, Brenden Heinel, XianShen Xi, Hailey Hubbard, Zayna Khan, Levi Whitaker, Ivan Cao, Max Allgaier, Andrew Darby, Lin Zhao, Lu Zhang, Xiaoqiao Wang, Xiang Li, Wei Zhang, Xiaowei Yu, Dajiang Zhu, Yohannes Abate, Tianming Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文探讨神经科学、通用人工智能与神经形态计算的融合，提出基于脑生理学的框架，总结了突触可塑性、稀疏脉冲通信和多模态关联在下一代AGI系统中的应用，并讨论了突破冯·诺依曼瓶颈的物理子系统及四个关键挑战。

"Theater of Mind" for LLMs: A Cognitive Architecture Based on Global Workspace Theory

LLM 的 '心灵剧场'：基于全局工作空间理论的认知架构

Wenlong Shang

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于全局工作空间理论的全局工作空间代理（GWA）架构，通过引入熵驱动机制和双层记忆分叉策略，解决LLM自主性不足的问题，实现持续自主认知。

A Decomposition Perspective to Long-context Reasoning for LLMs

从分解视角看大语言模型的长上下文推理

Yanling Xiao, Huaibing Xie, Guoliang Zhao, Shihan Dou, Shaolei Wang, Yiting Liu, Nantao Zheng, Cheng Zhang, Pluto Zhou, Zhisong Zhang, Lemao Liu

机构 * Large Language Model Department, Tencent（腾讯大语言模型部门） ； Xi'an Jiaotong University（西安交通大学） ； Tencent（腾讯） ； Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文从分解视角出发，将长上下文推理分解为基本原子技能，并通过伪数据集训练提升模型能力，实验证明该方法在多个基准测试中提升了7.7%的性能。

COSMIC: Emotionally Intelligent Agents to Support Mental and Emotional Well-being in Extreme Isolation: Lessons from Analog Astronaut Training Missions

COSMIC：支持心理健康和情绪福祉的智能代理：来自类比宇航员训练任务的启示

A. Xygkou-Tsiamoulou, Alexandra Covaci, Zeqi Jia, Jenny Yiend, Chee Siang Ang

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出COSMIC，一种高保真情感智能AI伴侣，用于评估生成AI在极端孤立环境下的有效性，通过模块化架构和自然观察框架评估心理韧性。

Comments 7 pages, 2 figures, 3 tables

The End of Human Judgment in the Kill Chain? Relocating Initiative and Interpretation with Agentic AI

人类判断在杀链中的终结？通过代理AI重新定位主动性和解释力

Jovana Davidovic

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文探讨了基于大语言模型的代理AI在杀链中取代人类判断的问题，指出其主动性和解释力导致人类控制失效，并提出国际治理框架需应对这一挑战。

Structure Matters: Evaluating Multi-Agents Orchestration in Generative Therapeutic Chatbots

结构至关重要：评估生成治疗聊天机器人中多代理协调

Sina Elahimanesh, Mohammadali Mohammadkhani, Sara Zahedi Movahed, Mohammad Mahdi Abootorabi, Shayan Salehi, Abbas Edalat

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究探讨了基于LLM的多代理系统在生成治疗聊天机器人中的表现，发现其在对话自然度和人类感方面优于单一代理和无指导LLM，证明架构协调对治疗AI的重要性。

Semantic Data Processing with Holistic Data Understanding

基于整体数据理解的语义数据处理

Youran Sun, Sepanta Zeighami, Bhavya Chopra, Shreya Shankar, Aditya G. Parameswaran

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出HoldUp方法，通过联合处理数据记录并利用跨记录关系，提升语义数据处理的准确性，在15个真实数据集上表现优于现有方案，分类和聚类任务准确率分别提高33%和30%。

Shaping Credibility Judgments in Human-GenAI Partnership via Weaker LLMs: A Transactive Memory Perspective on AI Literacy

通过较弱的LLM塑造人类-生成AI伙伴关系中的可信度判断：从交易记忆视角看AI素养

Md Touhidul Islam, Mahir Akgun, Syed Billah

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究通过交易记忆视角探讨学生与生成AI合作中可信度判断的塑造，采用较弱LLM设计实验，发现反思优先组学生对生成AI的依赖显著降低。

Comments 14 pages, Accepted in AIED'26

WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning

WorldMM: 动态多模态记忆代理用于长视频推理

Woongyeong Yeo, Kangsan Kim, Jaehong Yoon, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） ； NTU Singapore（新加坡南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 WorldMM通过构建和检索多种互补记忆，提升长视频推理能力，实现8.4%的性能提升。

Comments CVPR 2026. Project page : https://worldmm.github.io

Rethinking Retrieval-Augmentation as Synthesis: A Query-Aware Context Merging Approach

重新思考检索增强作为合成：一种查询感知的上下文合并方法

Jiarui Guo, Yuemeng Xu, Zongwei Lv, Yangyujia Wang, Xiaolin Wang, Kan Liu, Tao Lan, Lin Qu, Tong Yang

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出MergeRAG框架，通过查询感知合成优化检索增强过程，提升信息密度和效率，实验表明在F1和精确匹配上优于现有方法。

Transformers are Stateless Differentiable Neural Computers

Transformer 是无状态可微神经计算机

Bo Tang, Weiwei Xie

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Worcester Polytechnic Institute（沃斯特理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文证明因果Transformer层等同于无状态可微神经计算机(sDNC)，并扩展到交叉注意力，为Transformer提供统一的记忆中心解释。

Comments 7 pages

Redundancy-as-Masking: Formalizing the Artificial Age Score (AAS) to Model Memory Aging in Generative AI

冗余作为遮蔽：形式化人工年龄评分（AAS）以建模生成AI中的记忆老化

Seyma Yaman Kayadibi

机构 * Victoria University（维多利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出人工年龄评分（AAS）作为衡量生成AI记忆老化的新指标，通过结构不对称性分析，揭示模型在持续交互中的记忆保持与重置后的老化现象。

Comments 37 pages, 17 figures. Includes theoretical development and mathematical proofs of the Artificial Age Score (AAS), with empirical illustrations via ChatGPT-based memory recall experiments

Journal ref Frontiers in Artificial Intelligence 9 (2026), 1732691

OpenQlaw: An Agentic AI Assistant for Analysis of 2D Quantum Materials

OpenQlaw: 一种用于二维量子材料分析的代理AI助手

Sankalp Pandey, Xuan-Bac Nguyen, Hoang-Quan Nguyen, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu

机构 * Quantum AI Lab, University of Arkansas, USA（量子人工智能实验室，美国亚拉巴马大学） ； University of Utah, USA（美国犹他大学） ； Department of Physics, University of Arkansas, USA（美国亚拉巴马大学物理系） ； MonARK NSF Quantum Foundry（MonARK NSF 量子熔炉） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 OpenQlaw通过整合NanoBot和QuPAINT，实现二维材料分析中的动态推理与可视化，提升科研人员在高通量器件制造中的效率。

ProofWright: Towards Agentic Formal Verification of CUDA

ProofWright: 向 CUDA 的代理形式验证迈进

Bodhisatwa Chatterjee, Drew Zagieboylo, Sana Damani, Siva Hari, Christos Kozyrakis

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 ProofWright 通过整合自动形式验证与 LLM 代码生成，为 CUDA 核心提供内存安全、线程安全和语义正确性保证，验证了 74% 的生成内核，发现传统测试遗漏的细微错误。

Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis

迈向冷启动起草与持续细化：一种价值驱动的记忆方法及其在NPU内核合成中的应用

Yujie Zheng, Zhuo Li, Shengtao Zhang, Hanjing Wang, Junjie Sheng, Jiaqian Wang, Junchi Yan, Weinan Zhang, Ying Wen, Bo Tang, Muning Wen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 EvoKernel通过价值驱动的记忆强化学习方法，提升NPU内核合成的正确性和效率。

A Tale of 1001 LoC: Potential Runtime Error-Guided Specification Synthesis for Verifying Large-Scale Programs

1001行代码的故事：潜在运行时错误引导的规范合成用于验证大规模程序

Zhongyi Wang, Tengjie Lin, Mingshuai Chen, Haokun Li, Mingqi Yang, Xiao Yi, Shengchao Qin, Yixing Luo, Xiaofeng Li, Bin Gu, Liqiang Lu, Jianwei Yin

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 Preguss通过结合静态分析与演绎验证，实现大规模程序的自动化形式化验证，显著提升验证效率。

Comments Accepted at OOPSLA 2026. Publication date: April 2026

Multi-Agentic AI for Conflict-Aware rApp Policy Orchestration in Open RAN

多智能体AI用于冲突感知的rApp策略编排在开放RAN中

Haiyuan Li, Yulei Wu, Dimitra Simeonidou

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出多智能体AI框架，用于实现开放RAN中冲突感知的rApp策略自动生成与编排，实验表明其在部署准确性和推理成本上有显著提升。

T2Nav Algebraic Topology Aware Temporal Graph Memory and Loop Detection for ZeroShot Visual Navigation

T2Nav 基于代数拓扑的时序图记忆与循环检测用于零样本视觉导航

Quang-Anh N. D., Duc Pham, Minh-Anh Nguyen, Tung Doan, Tuan Dang

机构 * International School, Vietnam National University, Hanoi, Vietnam（越南国家大学河内国际学校） ； Hanoi University of Science, Vietnam National University, Hanoi, Vietnam（越南国家大学河内科学大学） ； Hanoi University of Science and Technology, Hanoi, Vietnam（河内科学技术大学） ； Cognitive Robotics Lab, Department of Electrical Engineering and Computer Science, University of Arkansas, Fayetteville, AR, USA（美国阿肯色大学富尔顿分校电气工程与计算机科学系认知机器人实验室） ； University of Arkansas, Fayetteville, AR, USA（美国阿肯色大学富尔顿分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 T2Nav通过整合异构数据和基于图的推理，实现零样本视觉导航，具备高效探索和路径规划能力，适用于视觉相似但空间不同的目标实例导航。

Journal ref EEE International Conference on Robotics & Automation 2026 (ICRA)

A Scalable Benchmark for Repository-Oriented Long-Horizon Conversational Context Management

面向仓库的长 horizon 对话上下文管理可扩展基准

Yang Liu, Li Zhang, Fang Liu, Ping Lin, Xinyi Li

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LoCoEval，首个面向仓库开发场景的长 horizon 对话上下文管理基准，评估了多种方法并提出改进方案，提升了代码助手在复杂对话中的表现。