Quantization robustness from dense representations of sparse functions in high-capacity kernel associative memory
AI总结 本文研究了基于核逻辑回归(KLR)的高容量联想记忆网络在压缩方面的可行性,旨在揭示其鲁棒表示的几何原理。通过自发对称性破缺和沃尔什分析,提出了一个几何解释框架,并通过量化与剪枝实验验证,发现网络在低精度量化下保持鲁棒,但对剪枝高度敏感。这一现象可由“稀疏函数、密集表示”原理解释,为构建高效硬件实现的核联想记忆系统提供了理论依据。
Comments 11 pages, 9 figures