2605.10989
2026-05-26
cs.LG
cs.AI
SURGE: Surrogate Gradient Adaptation in Binary Neural Networks
SURGE: 二值神经网络中的替代梯度自适应
Haoyu Huang, Boyu Liu, Linlin Yang, Yanjing Li, Yuguang Yang, Xuhui Liu, Canyu Chen, Zhongqian Fu, Baochang Zhang
发表机构
*
National College for Excellent Engineers, Beihang University, Beijing, China(北京航空航天大学优秀工程师学院)
;
School of Artificial Intelligence, Beihang University, Beijing, China(北京航空航天大学人工智能学院)
;
School of Electronic and Information Engineering, Beihang University, Beijing, China(北京航空航天大学电子与信息工程学院)
;
King Abdullah University of Science and Technology, Saudi Arabia(沙特国王 Abdullah 科学技术大学)
;
Huawei Noah’s Ark Lab, China(华为诺亚实验室)
AI总结
针对二值神经网络中梯度失配和固定范围梯度裁剪导致的信息损失问题,提出一种基于理论的可学习梯度补偿框架SURGE,通过双路径梯度补偿器和自适应梯度缩放器实现偏差减少的梯度估计与动态平衡,在图像分类、目标检测和语言理解任务上达到最优性能。