SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning
SingularClip:防止谱崩溃以在持续学习和强化学习中保持可塑性
机构 * University of Toronto(多伦多大学) ; Vector Institute(向量研究所) ; Mila(米拉研究所) ; Polytechnique Montréal(蒙特利尔理工学院)
AI总结 SingularClip是一种定期裁剪权重矩阵奇异值的方法,可缓解训练中因奇异值各向异性增长导致的神经网络可塑性丧失问题,在两类学习任务上性能优于基线。