当输入为负时,ReLU梯度为0,参数无法更新导致持续输出0
ReLU输出范围为[0,+∞),导致输出分布左偏影响梯度传播
ReLU对输入尺度敏感,输入过大时会引发梯度爆炸
ReLU在输入为0时不可导,导致优化器无法计算梯度
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题