Ablation, Statistical Inference, and Validation for KV-Cache Compression
KV缓存压缩的消融、统计推断与验证
机构 * Advanced Micro Devices, Inc.(超威半导体公司)
AI总结 研究对Turbo-Quant和SpectralQuant KV缓存压缩进行系统比较,用统计验证方法评估非支配方案,发现基于特征基的方法在重尾数据上因协方差不稳定失败,在结构化模式下表现出色,有效语义维度适应校准预算。
Comments 15 pages, 8 figures, minimum number of citations