使用 Leaky ReLU 或 Parametric ReLU (PReLU) 替代 ReLU。
采用更适合 ReLU 的初始化方法,例如 He 初始化。
适当降低学习率(Learning Rate)。
显著增大 L2 正则化项的权重。
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题