AMD

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

KroQuant：用于扩散Transformer高效训练后量化的克罗内克结构块变换

Yann Bouquet, Alireza Khodamoradi, Kristof Denolf, Mathieu Salzmann

机构 * EPFL（洛桑联邦理工学院） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

AI总结 研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。