Yoshua Bengio

Language models recognize dropout and Gaussian noise applied to their activations

语言模型能够识别应用于其激活上的dropout和高斯噪声

Damiano Fornasiere, Mirko Bronzi, Spencer Kitts, Alessandro Palmas, Yoshua Bengio, Oliver Richardson

机构 * LawZero 纠错

AI总结 研究发现语言模型能检测并区分激活上的dropout和高斯噪声，通过多选问题测试不同模型的识别能力，结果表明模型能准确识别扰动类型。