BaKron: Efficient Quantization with Kronecker-Factored Hessians
BaKron:基于克罗内克因式分解海森矩阵的高效量化方法
机构 * University of California San Diego(加利福尼亚大学圣迭戈分校)
AI总结 BaKron是一种高效神经网络量化算法,通过结合反对角并行与递归分治结构,将计算量从O(m²n²)降至O(mn(m+n)),兼具GPTQ的缩放效率与更丰富的曲率信息,且对基础量化器和海森估计器模块化。