语言大模型 / LLM

Recursive Harness Self-Improvement

递归工具自我改进

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在模型-工具协同进化中，通过递归工具自我改进（RHI）优化用户构建工具，以提高执行轨迹质量和智能体性能。RHI将工具表示为提示级规范，经成对反馈迭代改进，在多任务中提升了低推理能力智能体性能，降低推理成本。

Comments This work addresses the first half of the model-harness coevolution loop

xHC: Expanded Hyper-Connections

xHC：扩展超连接

Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Xiaoming Shi, Huaijin Wu, Yebin Yang, Zhuo Xia, Shaofeng Zhang, Lin Yao, Yuliang Liu, Yu Cheng, Junchi Yan

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Dots Studio, Xiaohongshu Inc.（小红书公司点点工作室） ； University of Science and Technology of China（中国科学技术大学） ； School of CS, Peking University（北京大学计算机科学学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对超连接（HC）扩展残差流时的性能瓶颈，提出xHC方法，结合时间特征增强与稀疏残差流架构，实现超越N = 4的有效扩展，在MoE模型上有下游改进，还介绍xHC - Flash减少内存流量，让大N残差流扩展用于语言模型预训练更有效实用。

Comments Technical report. Project page: https://github.com/aHapBean/xHC

MemoHarness: Agent Harnesses That Learn from Experience

MemoHarness：从经验中学习的智能体控制层

Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对智能体控制层设计影响行为但改进方法窄且多重用单一全局控制层的问题，提出自适应框架MemoHarness，通过分解控制层、存储经验并检索应用，在多基准测试中优于固定控制层，证明执行经验可构建更具适应性的控制层。

MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations

MemOps：在长期对话中对生命周期内存操作进行基准测试

Xixuan Hao, Zeyu Zhang, Zehao Lin, Yihang Sun, Ziliang Guo, Xichong Zhang, Yuxuan Liang, Feiyu Xiong, Zhiyu Li

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨天轮（上海）科技有限公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长期对话中内存操作评估，引入MemOps基准测试，将对话内存视为操作生命周期，通过可控管道嵌入操作并评估，揭示了当前系统内存操作的问题，推动评估从答案评分转向操作级诊断。

Memory-Conditioned Tool Calling for Camera-First Visual Agents

用于相机优先视觉智能体的内存条件工具调用

Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Jiyun Yao, Hanyong Zhong, Jiahao Zhu

机构 * Chance AI（机遇人工智能公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究在相机优先视觉智能体中个人视觉记忆对工具选择等的影响，采用三层视觉记忆调节大语言模型工具调用循环，通过对800张图像与合成内存块实验发现，移除三层内存块会降低工具查询相关性和端到端效用。

Comments 13 pages, 3 figures, 4 tables. Equal contribution: Xiaofan Wu, Xi Zeng. Corresponding author: xiaofan@chance.vision

Surprise as a Signal for Plasticity and Metacognition

惊喜作为可塑性和元认知的信号

Louis Mouchon

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。

Revocable Learned State via Process Sidecars

通过过程侧边栏实现可撤销的学习记忆

John Sweeney

机构 * Sideplane AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出过程侧边栏方法，通过两系数编辑族修正安全训练后的记忆方向，实现记忆撤销，理论证明其二阶精度优于任务算术编辑。

Comments 23 pages, 2 figures, 6 tables

Structure Before Collapse: Transient semantic geometry in next-token prediction

坍塌前的结构：下一词预测中的瞬态语义几何

Yize Zhao, Isabel Papadimitriou, Christos Thrampoulidis

机构 * The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究下一词预测语言模型在独热标签训练下如何学习语义结构，发现早期训练出现语义聚类但最终会过渡到对称态，通过Gram矩阵分析提出改进模型。

Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents

记忆决定差异：评估不同记忆角色如何塑造对话代理

Yuxin Wang, Paul Thomas, Zhiwei Yu, Yuan Gao, Saeed Hassanpour, Soroush Vosoughi, Robert Sim, Nick Craswell

机构 * Dartmouth College（达特茅斯学院） ； Microsoft（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出对话记忆细粒度分类法，通过用户中心评估框架，揭示不同类型记忆（如澄清记忆、无关记忆）对RAG对话系统响应准确性、个性化及主题相关性的差异化影响。

Towards Version-aware Operations and Transaction Memories for Multi-layer MeMo

面向多层MeMo的版本感知操作与事务记忆

Peiran Li

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出版本感知操作层，将替换、回滚等高级操作编译为MeMo原生原语调用，通过版本CMM和事务CMM支持知识更新，减少重训练需求。

Comments Accepted by MeMo Workshop on Mechanistic Interpretability & Neuro-symbolic Approaches by-design, Rome (Italy), 24/6/2026

Energy-Based Transformers as Predictors of Reading Difficulty

基于能量的Transformer作为阅读难度预测器

Jakub Dotlacil, Ece Takmaz

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出基于能量的Transformer模型中的能量度量作为阅读时间预测器，在三个语料库上显著优于惊奇度，并在关系从句处理中捕捉主/宾语不对称，可能统一多个互补度量。

SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers

SpotAttention: 面向预训练长上下文Transformer的即插即用块稀疏路由

Huzama Ahmad, Se-Young Yun

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。

Comments 24 pages, 10 figures, 9 tables

Learning the ARTS of Search for Automated Discovery

学习搜索的艺术以实现自动发现

Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Université de Montréal and Mila- Quebec AI Institute（蒙特利尔大学和Mila-魁北克人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ARTS方法，利用推理语言模型在假设与实验空间中迭代搜索，通过测试时训练解决上下文长度问题，在22个任务上优于现有算法，相对提升超15.3%。

Collaborative Human-Agent Protocol (CHAP)

协作式人机协议 (CHAP)

Arsalan Shahid, Gordon Suttie, Philip Black

机构 * Brightbeam AI 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CHAP协议，通过结构化事件记录（差异、理由、哈希）和可组合配置文件，解决多人类多智能体协作中人类判断信号丢失的问题。

Dual Dimensionality for Local and Global Attention

局部与全局注意力的双重维度

Zhiyuan Wang, Xuan Luo, Sirui Zeng, Xifeng Yan

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出距离自适应表示（DAR），对局部上下文保留全维度表示，对远距离token使用低维表示，在保持性能的同时减少KV缓存。

Long-Context Modeling via GSS-Transformer Hybrid Architecture with Learnable Mixing

基于可学习混合的GSS-Transformer混合架构的长上下文建模

Kuzey Torlak, Hüseyin Arda Arslan, Anıl Dervişoğlu, Beyza Nur Deniz, Onur Boyar

机构 * Kadıköy Anadolu High School（卡德柯伊安纳多卢高中） ； Politecnico di Torino（都灵理工大学） ； Istanbul Technical University（伊斯坦布尔理工大学） ； Boğaziçi University（博阿齐奇大学） ； IBM Research - Tokyo（IBM 东京研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出并行混合架构PHA，通过可学习混合机制融合GSS、GQA和FFN，在长上下文建模中实现Transformer级困惑度与更高效率。

Comments 16 pages, 9 tables, 4 figures

Blurry Window Attention

模糊窗口注意力

Axel Laborieux, Christos Sourmpis, Juan Gabriel Kostelec, Qinghai Guo

机构 * Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世）） ； Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。

Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs

张量化Engram：在N-gram嵌入中共享潜在变量对大型语言模型有益

Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Yuning Qiu, Qibin Zhao, Danilo Mandic

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出张量化Engram（TN-gram），通过CP分解共享因子压缩n-gram嵌入，减少参数并避免哈希冲突，在多个任务上匹配或超越现有方法。

EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering

EASE-TTT: 面向长上下文问答的基于证据对齐的选择性测试时训练

Xiaopeng Yuan, Zebin Wang, Suwen Wang, Zongxin Yang, Haohan Wang, Yushun Dong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Brion, ASML US LP ； Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。

Comments 13 pages, 4 figures, 3 tables

When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation

当局部方差最优性不足时：用于动态4比特量化的RoPE对齐Q/K旋转

Shuhan Wang, Yilin Luo, Nan Xu, Chi Wang Cheung

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 本文针对动态4比特量化，研究RoPE对齐的Q/K旋转，推导了相关旋转角度，发现结构化代理最优性在与量化器尺度统计量不匹配时无法降低量化误差。

Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

空间记忆智能体：用于空间智能的基于经验的过程记忆

Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao, Yuling Xi, Hao Chen

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.AI

AI总结 该研究提出SMA框架，让冻结VLM智能体无需外部空间工具，通过无参数更新自进化提升空间推理，在多基准和模型上表现最优，提供了空间自进化的实用路径。

Comments Under Review

Governed Persistent Memory: Source-Bound State Semantics and Fail-Closed Release for Long-Horizon Agents

受控持久内存：长程智能体的源绑定状态语义与故障关闭式释放

Guodong Xu

机构 * Qingdao Guodongxiansheng Network Technology Co., Ltd.（青岛果动先生网络科技有限公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文针对长程智能体内存的矛盾记录问题，提出受控持久内存（GPM）模型，经多组基准测试与服务评估，其在GPM-ReleaseBench、中英文指令分支等场景均实现零不匹配，修复大量基线故障且无退化。

Comments 23 pages, 2 figures, 11 tables. Includes a sealed end-to-end governed-memory service evaluation with an ungoverned local Qwen2.5-7B comparison

MARCH: Scaling Recurrent Memory with Content-Routed State Anchors

MARCH：通过内容路由状态锚点扩展循环记忆

Ming Zhang, Kaisen Yang, Shu Yu, Ermo Hua, Ning Ding, Xia Hu, Bowen Zhou, Chaochao Lu, Youbang Sun

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出MARCH架构，通过内容路由状态锚点扩展循环记忆，在长序列上保持计算效率，经预训练后在多个长程任务中优于线性注意力变体，增强了循环长程记忆能力。

Reinforcement Learning based DBMS Buffer Pool Auto-Tuning for Optimal Memory Utilization

基于强化学习的数据库管理系统缓冲池自动调优以实现最优内存利用

Yifan Wang, Patrick Royer, Raphaël Féraud, David Delande

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 该研究提出基于强化学习的MicroTune系统，用于DBMS缓冲池自动调优，可在保障SLA合规的同时减少内存浪费，性能优于基线方法。

Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

基础的裂痕：看似微小的架构选择会影响长上下文扩展

Amanda Bertsch, Luca Soldaini, Matthew R. Gormley, Graham Neubig, Hannaneh Hajishirzi, Kyle Lo, Dirk Groeneveld

机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL

AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。

Comments 29 pages; accepted to COLM 2026

Quantum Coordination Advantages in AI State-Tracking Tasks: Semantic Compilation and Latent Memory

人工智能状态跟踪任务中的量子协调优势：语义编译与潜在记忆

Ming Yang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该研究证明AI状态跟踪任务存在推理阶段量子协调优势，提出边界保持语义编译定理，通过问答、需求审计、稳定器对话等应用展示量子与经典方法的内存及协调分离。

Comments Comments and suggestions are welcome on alphaXiv

RotaryQuant: Fitting 120B MoE Models on Consumer Hardware via Fused Compressed-Space Attention

RotaryQuant：通过融合压缩空间注意力在消费级硬件上运行1200亿参数的混合专家模型

Anthony. Lui, Mohamed. Elsaied, N. P. Savani

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 RotaryQuant通过三轴压缩系统及IsoQuant等技术，在消费级硬件上实现1200亿参数MoE模型的高效运行，内存占用低且性能损失极小。

Comments 9 Pages, 9 Tables, Initial submission into NeurIPS 2026

Locating Failure in Multi-Page Visually Rich Document Understanding: An Empirical Attribution

多页视觉丰富文档理解中的故障定位：实证归因

Lewei Xu, Yihao Ding, Zihan Xu, Daniel Yitian Su, Daochang Liu, Siwen Luo, Yifan Peng, Wei Liu

机构 * The University of Western Australia（西澳大利亚大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（威尔康奈尔医学院） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI

AI总结 该研究针对MP-VRDU的错误答案，分离出表示、选择、推理三种故障模式，发现视觉信息不可替代、缺失页面影响准确率等结果，给出固定计算预算下的系统构建指导。

Adversarial Attacks on Deep OCR Systems

针对深度OCR系统的对抗攻击

Wenbo Sun, Hongzong LI, Yanyun Wang, Jiahao MA, Shuxin Zhuang, Rong Feng, Shiqin Tang, Zi Liang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出首个针对生成式OCR视觉语言模型的纯黑盒对抗攻击，将其转化为零阶优化问题，在Deep-OCR上验证了攻击有效性并揭示解码器故障，还表明可控有目标改写更难实现。

ConWriter: Transition-Constrained Stateful Long-Form Story Generation with Lightweight Neuro-Symbolic Consistency Control

ConWriter：基于轻量级神经符号一致性控制的带状态长文本故事生成，受过渡约束

Jindong Li, Yang Yang, Zihao Liu, Yutao Yue, Menglin Yang

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 针对现有长故事生成方法易累积各类错误的问题，提出无训练框架ConWriter，通过维护故事状态、验证叙事过渡并结合风险信号实现一致性控制，在ConStory-Bench上完成多模型多任务评估。