Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference
编译器优先的状态空间对偶性与可移植的 $O(1)$ 自回归缓存推理
机构 * Imperial College London（帝国理工学院伦敦分校）
AI总结 提出一种基于编译器优先的状态空间对偶性（SSD）结构的推理方法，通过标准JAX原语实现无自定义内核的单源推理路径，在TPU和GPU上达到高硬件利用率，且缓存解码速度比全前缀重计算快27-36倍。
Comments 21 pages, 6 figures. Code available at: https://github.com/CosmoNaught/mamba2-jax
