语言大模型 / LLM

SkillEffect: Checked Lowering for Memory-Bounded Agent Tools

SkillEffect：面向内存受限智能体工具的经校验的降阶机制

Yinuo Wang, Yiyu Shi

机构 * Sichuan University（四川大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出SkillEffect架构，通过经校验降阶运行时与独立校验器，在智能体工具调度时强制实施异构内存关系，可降低峰值内存并提升固定内存上限下的任务完成率。

H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer

H$^{2}$MT: 语义层次感知的层次记忆Transformer

Maryam Haghifam, Zifan He, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出H$^{2}$MT模型，通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入，在推理时实现从粗到细的查询路由，从而在长上下文推理中实现质量与效率的权衡。

Bridging the Gap between Labeled and Unlabeled Data via Unified Flow with Feature Memory Bank

通过带特征记忆库的统一流缩小标注数据与未标注数据之间的差距

Shanwen Wang, Xin Sun, Danfeng Hong, Junyu Dong, Patrick Le Callet

机构 * City University of Macau（澳门城市大学） ； Southeast University（东南大学） ； Ocean University of China（中国海洋大学） ； Nantes Université（南特大学） ； Ecole Centrale Nantes（南特中央理工学院） ； CAPACITES SAS ； CNRS（法国国家科学研究中心） ； LS2N（南特数字科学实验室） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 针对半监督语义分割中伪标签质量差的问题，提出带特征记忆库的统一流方法，结合视觉基础模型与遥感领域教师优化标注与未标注数据，在遥感数据集上优于当前最优方法。

MicroVerse: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations

MicroVerse：用于测量长 horizon 多智能体语言模型模拟中自我构建身份漂移的工具

Sky Ng, Brihi Joshi, Ishan Gupta, Shirley Huang, Zonglin Di, Yun Shen, Qianfeng Wen, Yifan Simon Liu, Ruoqi Gao, Yilan, Fan, Zhiwei Zhang, Muhammad Ahmed Mohsin, Yucheng Lu, Xiaoyi Liu, Heming Liu, Qianyu Zhu, Hanwen Xing, Zhengyang Shan, My Chiffon Nguyen, Guanghui Min, Jianheng, Hou, Yunze, Xiao, Keyang Xuan, Hannah Collison, Jintao Huang, Jiatong Li, Sankalp Jajee, Yunhan Zhao, Bing Hu, Xupeng Chen, Binghang Lu, Weihang Xiao, Aravind Mohan, Bolun Sun, Yunshu Wu, Yuanda Xu, Runyu Zhang, Zheyuan Deng, Xinchen, Tan, Dianzhuo Wang, Yijun Wang, Yixuan He, Koutian Wu, Cheng Cheng, Xiaomin Li, Yuexing Hao

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 MicroVerse 是测量长 horizon 多智能体 LM 模拟中身份漂移的工具，通过 50×50 环境等设计开展实验，发现反自我欺骗自发出现且系统对阈值鲁棒。

Intent-Driven Situation Tracking for User-Centric Multi-Turn Agents

面向以用户为中心的多轮智能体的意图驱动情境跟踪

Meiling Tao, Yiling Tao, Peng Wang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 该研究针对以用户为中心的多轮智能体，提出无需训练的IDSS框架，通过维护明确情境状态提升任务完成度等性能，为智能体情境跟踪提供有效方案。

GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG

GraphLoom：面向多模态KG-RAG的可靠性校准图证据路由

Zafar Ali, Asad Khan, Aalia Malik, Pavlos Kefalas

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Aristotle University（亚里士多德大学） ； Dashub（达舒布） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出GraphLoom框架，通过可靠性校准的图证据路由实现多模态KG-RAG，在ScienceQA等数据集上提升了答案质量与证据忠实度。

On the Principles Behind Neural Network Optimizers

神经网络优化器背后的原理

Yushun Zhang

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG

AI总结 本论文为优化器Adam建立了有原则的基础，通过海森矩阵结构分析其在Transformer上优于SGD的原因，提出内存减半且性能不变的新优化器Adam-mini，还为其他NN优化器提供了新见解。

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

深层中的值向量是否需要来自残差流的上下文？

Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

机构 * Independent（独立） ； Drexel University（德雷塞尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。

Comments 13 pages, 5 figures. Code: https://github.com/RiddleHe/nanochat

The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures

Alexander M. Fichtl, Jeremias Bohn, Josefin Kelber, Edoardo Mosca, Georg Groh

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

Comments 21 pages, 2 figures, 2 tables

When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation

当局部方差最优性不足时：用于动态4比特量化的RoPE对齐Q/K旋转

Shuhan Wang, Yilin Luo, Nan Xu, Chi Wang Cheung

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 本文针对动态4比特量化，研究RoPE对齐的Q/K旋转，推导了相关旋转角度，发现结构化代理最优性在与量化器尺度统计量不匹配时无法降低量化误差。

Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

空间记忆智能体：用于空间智能的基于经验的过程记忆

Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao, Yuling Xi, Hao Chen

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.AI

AI总结 该研究提出SMA框架，让冻结VLM智能体无需外部空间工具，通过无参数更新自进化提升空间推理，在多基准和模型上表现最优，提供了空间自进化的实用路径。

Comments Under Review

Governed Persistent Memory: Source-Bound State Semantics and Fail-Closed Release for Long-Horizon Agents

受控持久内存：长程智能体的源绑定状态语义与故障关闭式释放

Guodong Xu

机构 * Qingdao Guodongxiansheng Network Technology Co., Ltd.（青岛果动先生网络科技有限公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文针对长程智能体内存的矛盾记录问题，提出受控持久内存（GPM）模型，经多组基准测试与服务评估，其在GPM-ReleaseBench、中英文指令分支等场景均实现零不匹配，修复大量基线故障且无退化。

Comments 23 pages, 2 figures, 11 tables. Includes a sealed end-to-end governed-memory service evaluation with an ungoverned local Qwen2.5-7B comparison

MARCH: Scaling Recurrent Memory with Content-Routed State Anchors

MARCH：通过内容路由状态锚点扩展循环记忆

Ming Zhang, Kaisen Yang, Shu Yu, Ermo Hua, Ning Ding, Xia Hu, Bowen Zhou, Chaochao Lu, Youbang Sun

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出MARCH架构，通过内容路由状态锚点扩展循环记忆，在长序列上保持计算效率，经预训练后在多个长程任务中优于线性注意力变体，增强了循环长程记忆能力。

Private Etymology: Designing Relational Reuse of Shared Symbols in Long-Term Human-AI Interaction

私人词源：设计长期人机交互中共享符号的关系性复用

Miki Ueno

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该论文提出Private Etymology关系溯源模型，整合现有思路形成持久可修正的人机关系符号单元，以支持对话智能体在长期人机交互中安全复用特定二元组的符号表达。

Comments Added a link to the Apple Watch prototype "MikasaWatch" demonstration video on 10 page

Reinforcement Learning based DBMS Buffer Pool Auto-Tuning for Optimal Memory Utilization

基于强化学习的数据库管理系统缓冲池自动调优以实现最优内存利用

Yifan Wang, Patrick Royer, Raphaël Féraud, David Delande

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 该研究提出基于强化学习的MicroTune系统，用于DBMS缓冲池自动调优，可在保障SLA合规的同时减少内存浪费，性能优于基线方法。

Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

基础的裂痕：看似微小的架构选择会影响长上下文扩展

Amanda Bertsch, Luca Soldaini, Matthew R. Gormley, Graham Neubig, Hannaneh Hajishirzi, Kyle Lo, Dirk Groeneveld

机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL

AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。

Comments 29 pages; accepted to COLM 2026

Quantum Coordination Advantages in AI State-Tracking Tasks: Semantic Compilation and Latent Memory

人工智能状态跟踪任务中的量子协调优势：语义编译与潜在记忆

Ming Yang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该研究证明AI状态跟踪任务存在推理阶段量子协调优势，提出边界保持语义编译定理，通过问答、需求审计、稳定器对话等应用展示量子与经典方法的内存及协调分离。

Comments Comments and suggestions are welcome on alphaXiv

RotaryQuant: Fitting 120B MoE Models on Consumer Hardware via Fused Compressed-Space Attention

RotaryQuant：通过融合压缩空间注意力在消费级硬件上运行1200亿参数的混合专家模型

Anthony. Lui, Mohamed. Elsaied, N. P. Savani

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 RotaryQuant通过三轴压缩系统及IsoQuant等技术，在消费级硬件上实现1200亿参数MoE模型的高效运行，内存占用低且性能损失极小。

Comments 9 Pages, 9 Tables, Initial submission into NeurIPS 2026

Locating Failure in Multi-Page Visually Rich Document Understanding: An Empirical Attribution

多页视觉丰富文档理解中的故障定位：实证归因

Lewei Xu, Yihao Ding, Zihan Xu, Daniel Yitian Su, Daochang Liu, Siwen Luo, Yifan Peng, Wei Liu

机构 * The University of Western Australia（西澳大利亚大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（威尔康奈尔医学院） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 该研究针对MP-VRDU的错误答案，分离出表示、选择、推理三种故障模式，发现视觉信息不可替代、缺失页面影响准确率等结果，给出固定计算预算下的系统构建指导。

Adversarial Attacks on Deep OCR Systems

针对深度OCR系统的对抗攻击

Wenbo Sun, Hongzong LI, Yanyun Wang, Jiahao MA, Shuxin Zhuang, Rong Feng, Shiqin Tang, Zi Liang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出首个针对生成式OCR视觉语言模型的纯黑盒对抗攻击，将其转化为零阶优化问题，在Deep-OCR上验证了攻击有效性并揭示解码器故障，还表明可控有目标改写更难实现。

DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts

DualKV: 面向高效RL训练的共享提示Flash注意力机制，支持大规模展开和长上下文

Jiading Gai, Shuai Zhang, Xiang Song, Bernie Wang, George Karypis

机构 * Amazon Web Services（亚马逊网络服务） ； Google（谷歌） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 针对RL训练中共享提示重复计算问题，提出DualKV内核，通过融合CUDA前向/反向核和veRL数据流水线重排，消除提示复制，实现1.63-3.82倍策略更新加速。

ConWriter: Transition-Constrained Stateful Long-Form Story Generation with Lightweight Neuro-Symbolic Consistency Control

ConWriter：基于轻量级神经符号一致性控制的带状态长文本故事生成，受过渡约束

Jindong Li, Yang Yang, Zihao Liu, Yutao Yue, Menglin Yang

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 针对现有长故事生成方法易累积各类错误的问题，提出无训练框架ConWriter，通过维护故事状态、验证叙事过渡并结合风险信号实现一致性控制，在ConStory-Bench上完成多模型多任务评估。

Berkeley and Heiserman as an Unexhausted Architecture for Embodied Machine Intelligence

伯克利和海斯曼作为具身机器智能的未穷尽架构

Christopher A. Tucker

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 本文以伯克利的《符号逻辑与智能机器》及海斯曼的工作为研究对象，探讨其在具身机器智能方面贡献。他们将逻辑与硬件、行为等联系，超越静态逻辑形式，为具身机器人认知架构方法提供思路，不应被视为历史终点。

Maglev: Sliding Recurrent Memory

Maglev：滑动循环记忆

Bo Liu, Qiang Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出Maglev，一种带固定记忆的循环Transformer架构，通过耦合模型与记忆一致性损失实现训练可并行性，在验证损失及下游预训练基准上优于基线，参数共享可减少内存。

Comments Neural Architecture Research

Calibrating Transformer Attention via Task-Space Sensitivity Feedback

从虚假焦点到真实精确：基于混淆的对抗性注意力学习在Transformer中

Yawei Liu

机构 * Chinese Academy of Sciences, Computer Network Information Center（中国科学院计算机网络信息中心） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出AFA机制，通过对抗性训练优化Transformer模型的注意力分布，提升情感分析任务的准确性。

Comments 9 pages, 3 figures

OR-Agent: Bridging Evolutionary Search and Structured Research for Automated Algorithm Discovery

OR-Agent：连接进化搜索与结构化研究以实现自动化算法发现

Qi Liu, Ruochen Hao, Can Li, Wanjing Ma

机构 * Key Laboratory of Road and Traffic Engineering of the Ministry of Education（教育部道路与交通工程重点实验室） ； College of Transportation, Tongji University（同济大学交通运输学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 OR-Agent通过结构化树形工作流和进化-系统化构想机制，实现自动化算法发现的高效探索与科学发现。

S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

S-CEReBrO：突破连续脑电图监测中的内存瓶颈

Glenn Anta Bucagu, Thorir Mar Ingolfsson, Yawei Li, Luca Benini

机构 * ETH Zurich（苏黎世联邦理工学院） ； Nanyang Technological University（南洋理工大学） ； University of Bologna（博洛尼亚大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究针对连续EEG监测中Transformer架构的内存瓶颈，提出S-CEReBrO架构，通过窗口交替注意力实现内存恒定，在EEG下游任务中性能领先且效率提升。

Comments This is the pre-rebuttal version of a paper accepted at MICCAI 2026. The camera-ready version will be posted following the embargo

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG：面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University, China（清华大学） ； Kunming University of Science and Technology, China（昆明理工大学） ； NiuTrans Research, Shenyang, China（沈阳NiuTrans研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 提出EfficientGraph-RAG框架，通过显式定义检索状态（TAM、MARS、SMP三个机制）实现结构化状态管理，在多个基准上提升答案质量并降低大模型token消耗。

Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

密集局部依赖会在长序列Transformer训练期间引发注意力对数爆炸和训练不稳定性

Suvadeep Hajra

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖，经实验验证该增长由依赖密度驱动，提出显式建模密集局部依赖的长上下文Transformer设计原则。

UniMem: Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams

UniMem：用于无边界任务流的互补情景到参数记忆

Siyu Xia, Chenheng Zhang, Yanting Wu, Haoxuan Li, Jiajun Chai, Xiaohan Wang, Guojun Yin, Wei Lin, Zhouchen Lin, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Meituan（美团） ； AI Centre, Department of Computer Science, University College London（伦敦大学学院计算机科学系人工智能中心） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 研究针对大语言模型在无边界任务流部署的稳定性 - 可塑性困境，提出UniMem自路由框架，用可学习路由令牌协调互补记忆路径，能按需扩展记忆，实验证明其在长周期流任务序列中优于基线并保持执行保真度。