Technion - Israel Institute of Technology（以色列理工学院）

Normalized Architectures are Natively 4-Bit

归一化架构本质上是4位的

Maxim Fishman, Brian Chmiel, Ron Banner, Daniel Soudry, Boris Ginsburg

机构 * NVIDIA ； Department of Electrical and Computer Engineering - Technion（技术学院电子工程系） 纠错

AI总结 本文提出归一化架构在4位精度下具有更高的鲁棒性，无需额外干预即可实现稳定训练，通过分析点积发现其在隐藏维度增长时信号噪声比提高，损失景观更平缓。