语言大模型 / LLM

How to Build Marcus's Algebraic Mind: From Thagard's Brain--Mind Viewpoint

如何构建马库斯的代数思维：从萨伽德的脑-心观点出发

Hiroyuki Chuma, Kanji Otsuka, Yoichi Sato

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 该研究从萨伽德的脑-心观点出发，探讨如何构建马库斯的代数思维。提出VaCoAl和PyVaCoAl架构，其绑定操作具有可逆等特性，能填补马库斯代数思维组件空缺，消除卷积退化，还通过相关主张阐述了能力、必要性及自身立场。

Comments 23 pages

EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

EchoVLA：用于VLA驱动移动操作的协同声明记忆

Min Lin, Xiwen Liang, Bingqian Lin, Jingzhi Liu, Zijian Jiao, Kehan Li, Ziang Yan, Yu Sun, Weijia Liufu, Yuhan Ma, Jiarui Hu, Yuecheng Liu, Shen Zhao, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University, Shenzhen, China（中山大学深圳校区） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Huawei Noah's Ark Lab, China（华为诺亚方舟实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 EchoVLA通过协同声明记忆提升移动操作性能，结合场景与事件记忆，利用注意力融合指导基臂策略，实现高效导航与操作。

Better Call Grep: Evaluating and Improving Grep-Like Lexical Retrieval for Repository-Level Code Completion

更好地调用Grep：评估和改进用于仓库级代码补全的类Grep词汇检索方法

Baoyi Wang, Xingliang Wang, Guochang Li, Chen Zhi, Junxiao Han, Xinkui Zhao, Nan Wang, Shuiguang Deng, Jianwei Yin

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文评估改进类Grep词汇检索，提出Naive GrepRAG基线，又结合后处理流水线的GrepRAG在代码补全任务上优于SOTA，为轻量检索支撑仓库级代码补全提供方案。

Comments ISSTA2026

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

HiMemVLN：通过分层记忆系统增强开源零样本视觉-语言导航的可靠性

Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文提出HiMemVLN，通过分层记忆系统提升开源零样本视觉-语言导航的可靠性，解决导航遗忘问题，实现实验环境下的性能提升。

Comments 9 pages, 7 figures

Sim-FA: A GPGPU Simulator Framework for Fine-Grained Asynchronous Pipeline Analysis

Sim-FA：异步流水线的模拟前端

Zhongchun Zhou, Yuhang Gu, Chengtao Lai, Ya Wang, Zeyu Han, Wei Zhang, Jun Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出Sim-FA模拟器，用于高效支持大语言模型，通过模拟流水线实现高精度性能评估，并分析FlashAttention-3的流量估计问题。

Comments This work has been submitted to the IEEE for possible publication

HiCI: Hierarchical Construction-Integration for Long-Context Attention

HiCI：层次化构造-整合用于长上下文注意力

Xiangyu Zeng, Qi Xu, Yunke Wang, Chang Xu

机构 * School of Computer Science, University of Sydney（悉尼大学计算机科学学院） ； Westlake University（西湖大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HiCI通过层次化构造-整合模块，提升长上下文注意力模型的性能，通过参数高效适应LLaMA-2，将上下文长度扩展至10万和6.4万token，并在多个基准测试中超越现有模型。

Comments 20 pages, 5 figures

Who Needs DRAM? We Have Fiber

谁需要DRAM？我们有光纤

Hannah Atmer, Yuan Yao, Thiemo Voigt, Stefanos Kaxiras

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 针对生成式AI对高性能内存需求及超大规模数据中心扩张带来的DRAM压力，提出光纤内存架构，通过考虑光纤物理特性的架构设计及相关技术应用，可消除冗余存储并大幅降低权重传输能量。

A hierarchical memory architecture overcomes context limits in long-horizon multi-agent computational modeling

分层内存架构克服长期多智能体计算建模中的上下文限制

Shivendra G. Tewari, Holly Kimko

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型在长期多智能体计算建模中因无状态架构受限的问题，提出Ensemble QSP多智能体框架，其分层内存架构可保持上下文稳定，经测试能自主进行药代动力学 - 药效学模型选择，提升参数恢复能力，且架构与领域无关。

Comments 19 pages, 4 figures, 2 tables. Preprint submitted for publication

Watts This Smell: A Comprehensive Taxonomy of Software Energy Smells

一种经过验证的软件能耗异味分类

Mohammadjavad Mehditabar, Saurabhsingh Rajput, Tushar Sharma

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文提出了一种全面的软件能耗异味分类，通过系统文献综述和雪球抽样，将320种低效模式分类为12种主要能耗异味和65种根本原因。通过实证验证，发现71%的样本存在多种共存的异味，内存相关异味的修复节能效果最高。

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

超越序列距离：模态间距离不变位置编码

Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences, China（MAIS，自动化研究所，中国科学院，中国） ； University of Chinese Academy of Sciences, China（中国科学院大学，中国） ； Tencent Hunyuan Team, China（腾讯文言团队，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 针对多模态大模型在长上下文中的视觉衰减问题，提出模态间距离不变位置编码（DIPE），通过解耦模态间位置编码消除距离惩罚，保持视觉感知一致性，显著缓解视觉衰减。

eMEM: A Hybrid Spatio-Temporal Memory System For Embodied Agents

eMEM：一种面向具身智能体的混合时空记忆系统

A. Haroon Rasheed, Maria Kabtoul

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 提出eMEM混合图记忆系统，通过多索引架构和分层整合管道实现具身智能体在空间、时间和语义上的高效记忆检索，并在ProcTHOR-10K基准测试中达到80.8加权平均分。

Attention Sinks in Diffusion Transformers: A Causal Analysis

扩散变换器中的注意力 sinks：一种因果分析

Fangzheng Wu, Brian Summa

机构 * Department of Computer Science, Tulane University, New Orleans, LA, USA（路易斯安那州新奥尔良大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：language model(abstract,abstract_cn)

AI总结 研究探讨了扩散变换器中注意力 sinks 的作用，通过动态识别并抑制注意力接收者，发现其对文本-图像对齐和偏好代理影响有限，但强干预下出现特定边界。

CoCoSI: Collaborative Cognitive Map Construction for Spatial Intelligence

CoCoSI: 面向空间智能的协作认知地图构建

Yiming Zhang, Ruoxuan Cao, Zhihang Zhong

机构 * Shanghai Jiao Tong University（上海交通大学） ； Cornell University（康奈尔大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 提出一种即插即用的多智能体框架，通过协作构建结构化认知地图作为空间记忆，无需修改架构或额外训练即可增强预训练多模态大模型的空间理解能力。

Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training

优化器状态应存于何处？内存高效的专家混合训练分层状态分配

Nuemaan Malik

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究MoE训练中优化器状态存储位置，提出SkewAdam方法，根据参数群体差异分层分配状态，大幅减少内存占用，提升训练效率，验证了优化器状态存储位置对训练效果的重要性。

Comments 12 pages, 4 figures, 9 tables. v2: adds Adam-mini discussion, learning-rate sweeps with repeated seeds for the AdamW and Adafactor baselines, and a tier ablation; corrects the attribution of the perplexity advantage between momentum and the factored estimator. Code and per-run training logs: https://github.com/nuemaan/skewadam

MMLA: How Memory Lets the Past Shape the Future

内存管理的长上下文注意力：可编辑请求局部记忆的初步研究

Junyi Zou, Avrova Donz

机构 * Zjydiary（智纪日记） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种混合架构，将快速循环或稀疏骨干与可编辑的请求局部记忆槽和查询时稀疏回退相结合，以解决长上下文模型中的记忆写入、覆盖和抗污染问题。

Comments 16 pages, 11 figures, 5 tables. Substantially rewritten v3: retitled and reframed as MMLA; adds an eventized architecture, trusted row assembly, hard atomic overwrite/NULL, claim-evidence mapping, PM-I2 negative results, stop rules, and a conditional roadmap. Preserves the original Llama budget-gate failure. Project: https://github.com/MMLA-org/mmla-memory

Emergence Invariance: From Symbolized Thought to Structural Control

涌现不变性：从符号化思维到结构控制

Yi Liu

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 该研究形式化了语言为核心的智能的限制，提出动态边界控制框架，通过DeepSeek V4-Flash实验验证其可提升大语言模型的推理性能，组织了大语言模型的涌现限制。

Comments 51 pages, 3 figures

$π$-Attention: Online Efficient Sparse Transformers for Long-Context Modeling

π-注意力：用于高效长上下文建模的周期性稀疏变换器

Pike D. Liu, Chang Liu, Yanxuan Yu

机构 * University of California - Los Angeles（加州大学洛杉矶分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出π注意力，通过周期性稀疏结构实现高效长上下文建模，相比环形注意力在接收场增长上更优，且在相同上下文长度下使用更少的GPU。

ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL

ECHO: 在智能体强化学习中通过选择性回合记忆进行剪枝行动与追踪学习

Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Baidu Inc.（百度公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出ECHO框架，通过选择性回合记忆和源索引重建解决长程智能体强化学习中的历史崩溃与可追踪学习问题，在BrowseComp-Plus上达到43.4%准确率，优于GRPO和SUPO。

The Topological Trouble With Transformers

Transformer 的拓扑困境

Michael C. Mozer, Shoaib Ahmed Siddiqui, Rosanne Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了Transformer在处理序列结构时的拓扑问题，指出其纯前馈架构限制了动态状态跟踪，提出应通过递归架构转向隐含激活动态，并介绍了连续思维Transformer架构的分类方法及未来研究方向。

Gemma 4 Technical Report

Gemma 4技术报告

Gemma Team, Sherif El Abd, Vaibhav Aggarwal, Robin Algayres, Alek Andreev, Olivier Bachem, Ian Ballantyne, Cormac Brick, Victor Cărbune, Michelle Casbon, Mayank Chaturvedi, Aditya Chawla, Victor Cotruta, Alice Coucke, Phil Culliton, Robert Dadashi, Lucas Dixon, Mohamed Elhawaty, Utku Evci, Clément Farabet, Johan Ferret, Filippo Galgani, Sertan Girgin, Jean-Bastien Grill, Maarten Grootendorst, Jiaxian Guo, Cassidy Hardin, Yanzhang He, Steven M. Hernandez, Omri Homburger, Léonard Hussenot, Juyeong Ji, Armand Joulin, Aishwarya Kamath, Parnian Kassraie, Olivier Lacombe, Preethi Lahoti, Gaël Liu, Gus Martins, Luciano Martins, Tatiana Matejovicova, Ramona Merhej, Nikola Momchev, Sneha Mondal, Ryan Mullins, Sindhu Raghuram Panyam, Shreya Pathak, Sarah Perrin, André Susano Pinto, Etienne Pot, Angéline Pouget, Alexandre Ramé, Sabela Ramos, Douglas Reid, David Rim, Morgane Rivière, Karsten Roth, Louis Rouillard, Omar Sanseviero, Pier Giuseppe Sessa, Shane Settle, Danila Sinopalnikov, Sara Smoot, Piotr Stanczyk, Andreas Steiner, Lawrence Stewart, Ilya Tolstikhin, Michael Tschannen, Anton Tsitsulin, Nino Vieillard, Renjie Wu, Pingmei Xu, Haichuan Yang, Edouard Yvinec, Biao Zhang, Li Zhang, Joe Zou, Nicolas Aagnes, Abdelrahman Abdelhamed, Jakub Adamek, Shivani Agrawal, Shubham Agrawal, Ibrahim Alabdulmohsin, Jean Baptiste Alayrac, Uri Alon, Chandramouli Amarnath, Ankesh Anand, Chrysovalantis Anastasiou, Setareh Ariafar, François-Xavier Aubet, Kyriakos Axiotis, Federico Barbero, Joelle Barral, Alexei Bendebury, Urs Bergmann, Stanley Bileschi, Kat Black, Mathieu Blondel, Sebastian Borgeaud, Arthur Bražinskas, Ryan Burnell, Robert Busa-Fekete, Mu Cai, Daniele Calandriello, Glenn Cameron, Charlotte Caucheteux, Rahma Chaabouni, Garima Chadha, Jetha Chan, Blake Jianhang Chen, Jesse Chen, Lin Chen, Xu Chen, Derek Cheng, Tzu-hsiang Chien, Nikolai Chinaev, Yi Chou, Zhaohui Chu, Benjamin Coleman, Pooja Consul, Sam Conway-Rahman, Scott Crowell, Dylan Cutler, Vivek Dani, Samira Daruki, Anil Das, Daniel Deutsch, Nishanth Dikkala, Li Ding, Qiuhan Ding, Shenil Dodhia, Konstantin Donhauser, Tulsee Doshi, Anca Dragan, Alex Druinsky, Sahil Dua, Zoltan Egyed, Danielle Eisenbud, Daniel Eppens, Cindy Fan, Bahare Fatemi, Yassir Fathullah, Vlad Feinberg, Milen Ferev, Sebastian Flennerhag, Takumi Fujimoto, João Gabriel Oliveira, Isaac Galatzer-Levy, João Gante, Simon Geisler, Soham Ghosal, Antonious M. Girgis, Tamara von Glehn, Alec Go, Alhaad Gokhale, Alex Grills, Yiming Gu, Mayank Gupta, Pramod Gupta, Guru Guruganesh, Raia Hadsell, Hamza Harkous, Jitendra Harlalka, Demis Hassabis, Anja Hauth, Joe Heyward, Arian Hosseini, Chih-Yang Hsia, I-Hung Hsu, Xiaopeng Huang, Yangsibo Huang, Kevin Hui, Adrian Hutter, Te I, Fotis Iliopoulos, Advait Jain, Ganesh Jawahar, Ziwei Ji, Qilin Jin, Melvin Johnson, Kandarp Joshi, Arun Kandoor, Wang-Cheng Kang, Koray Kavukcuoglu, Mehran Kazemi, Kathleen Kenealy, Amr Khalifa, Phoebe Kirk, Ivan Korotkov, Suraj Kothawade, Vitaly Kovalev, Neel Kovelamudi, Adam Kraft, Ravin Kumar, Vivek Kumar, Harish Kuppam, Justin Lannin, Chen-Yu Lee, Seungji Lee, Dmitry Lepikhin, Alon Levkovitch, Dongdong Li, Qiujia Li, Valentin Liévin, Ethan Lin, Ziqian Lin, Casper Liu, Tianlin Liu, Tianqi Liu, Xin Liu, Ivan Lobov, Mayank Lunayach, Min Ma, Gagan Madan, Andrii Maksai, Eric Malmi, Michal Matuszak, Daniel McDuff, Gaurav Menghani, Maciej Mikuła, Daniil Mirylenka, Karolis Misiunas, Vedant Misra, Andreea Mitran, Kareem Mohamed, Maksim Mukha, Eric Noland, James O'Donnell, Brendan O'Donoghue, Kate Olszewska, Bernett Orlando, Wanqiong Pan, Rina Panigrahy, Unnati Parekh, Nicolas Perez-Nieves, Chunjong Park, Eric Paskie, Liqian Peng, Bryce Petrini, Slav Petrov, Jonas Pfeiffer, Bilal Piot, Martyna Plomecka, Siim Poder, Octavio Ponce, Arijit Pramanik, David Racz, Anish Rajan, Michelle Ramanovich, Anand Rao, Marvin Ritter, Vitor Rodrigues, Evan Rosen, Mikołaj Rybiński, Noveen Sachdeva, Michaël E. Sander, Rohit Sathyanarayana, Sagar Savla, Samuel Schmidgall, Tal Schuster, George Scrivener, Benoit Seguin, Andrew Sellergren, Aliaksei Severyn, Izhak Shafran, Dhruv Shah, Bobak Shahriari, Yuan Shangguan, Ashish Shenoy, Pradeep Shenoy, Rakesh Shivanna, Pauline Sho, Lucas Spangher, Wojciech Stokowiec, Tim Strother, Yao Su, Yinghao Sun, Mukund Sundararajan, Andrea Tacchetti, Mor Hazan Taege, Pouya Tafti, Jean Tarbouriech, Chetan Tekur, Shantanu Thakoor, Rahul Thapa, Madeleine Traverse, Lenart Treven, Tao Tu, Chien Te Tung, Çağlar Ünlü, Petar Veličković, Malini Pooni Venkat, Sagar Gubbi Venkatesh, Vidya Venkiteswaran, Francesco Visin, Alex Vitvitskyi, Kiran Vodrahalli, Weiyi Wang, Xin Wang, Tris Warkentin, Jan Wassenberg, John Wieting, Cindy Wu, Lechao Xiao, Hao Xu, Yuhui Xu, Fuzhao Xue, Arun Yadav, Jun Yan, Antoine Yang, Lin Yang, Ming-Hsuan Yang, Ziyu Ying, Jae Hyeon Yoo, Morteza Zadimoghaddam, Sajjad Zafar, Fred Zhang, Jiageng Zhang, Jianyi Zhang, Xiaofan Zhang, Chao Zhao, David Zhou, Chen Zou

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍新一代Gemma 4开源多模态语言模型，通过密集和专家混合架构提升计算效率与推理能力，提出统一无编码器架构，集成思考模式，改进多方面性能，在多基准测试中有显著提升。

Comments 17 pages, 2 figures, technical report, updated

Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation

并行解码器Transformer：规划引导的潜在协调用于同步并行解码

Logan Robbins

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 并行解码器Transformer通过规划引导的潜在协调机制，实现模型内部的同步并行解码，提升多任务生成效率。

Comments Note: Updated to reflect revised architecture

Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory

学习记忆：基于邻居混合归纳记忆的半参数模型中的可扩展持续学习

Guangyue Peng, Tao Ge, Wen Luo, Wei Li, Houfeng Wang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Microsoft（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究半参数语言模型中记忆缺乏学习能力的问题，提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆（MoNIM），融入模型信息流，经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。

Comments 15 pages, 5 figures

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 28517-28531, Vienna, Austria. Association for Computational Linguistics, 2025

Capacity-Controlled Global Attention for Graph Transformers

具有容量控制的全局注意力用于图变换器

Yang Liu, Dongxin Guo, Tom Zheng, Siu Ming Yiu, Liam Ning, Jikun Wu

机构 * Brain Investing Limited ； The University of Hong Kong（香港大学） ； Stellaris AI Limited 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SigGate-GT，通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束，从而解决过平滑、低秩瓶颈和训练不稳定等问题，提升了多个基准测试的性能。

Comments 13 pages, 2 figures, 15 tables

H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer

H$^{2}$MT: 语义层次感知的层次记忆Transformer

Maryam Haghifam, Zifan He, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出H$^{2}$MT模型，通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入，在推理时实现从粗到细的查询路由，从而在长上下文推理中实现质量与效率的权衡。

Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs

Jianhao Chen, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Zheng Wang, Tieyun Qian

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。

Comments 15 pages, 2 figures

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

深层中的值向量是否需要来自残差流的上下文？

Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

机构 * Independent（独立） ； Drexel University（德雷塞尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。

Comments 13 pages, 5 figures. Code: https://github.com/RiddleHe/nanochat

Private Etymology: Designing Relational Reuse of Shared Symbols in Long-Term Human-AI Interaction

私人词源：设计长期人机交互中共享符号的关系性复用

Miki Ueno

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该论文提出Private Etymology关系溯源模型，整合现有思路形成持久可修正的人机关系符号单元，以支持对话智能体在长期人机交互中安全复用特定二元组的符号表达。

Comments Added a link to the Apple Watch prototype "MikasaWatch" demonstration video on 10 page

DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts

DualKV: 面向高效RL训练的共享提示Flash注意力机制，支持大规模展开和长上下文

Jiading Gai, Shuai Zhang, Xiang Song, Bernie Wang, George Karypis

机构 * Amazon Web Services（亚马逊网络服务） ； Google（谷歌） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 针对RL训练中共享提示重复计算问题，提出DualKV内核，通过融合CUDA前向/反向核和veRL数据流水线重排，消除提示复制，实现1.63-3.82倍策略更新加速。

Berkeley and Heiserman as an Unexhausted Architecture for Embodied Machine Intelligence

伯克利和海斯曼作为具身机器智能的未穷尽架构

Christopher A. Tucker

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 本文以伯克利的《符号逻辑与智能机器》及海斯曼的工作为研究对象，探讨其在具身机器智能方面贡献。他们将逻辑与硬件、行为等联系，超越静态逻辑形式，为具身机器人认知架构方法提供思路，不应被视为历史终点。

Maglev: Sliding Recurrent Memory

Maglev：滑动循环记忆

Bo Liu, Qiang Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出Maglev，一种带固定记忆的循环Transformer架构，通过耦合模型与记忆一致性损失实现训练可并行性，在验证损失及下游预训练基准上优于基线，参数共享可减少内存。

Comments Neural Architecture Research