首页 > 试题广场 >

在训练深度神经网络时,使用 ReLU 作为激活函数可能会遇到

[单选题]
在训练深度神经网络时,使用 ReLU 作为激活函数可能会遇到“神经元死亡”(Dying ReLU)问题,即神经元在训练过程中变得不再活跃,对任何输入都输出零。以下哪种方法对于缓解此问题的效果最不直接或最不相关?
  • 使用 Leaky ReLU 或 Parametric ReLU (PReLU) 替代 ReLU。
  • 采用更适合 ReLU 的初始化方法,例如 He 初始化。
  • 适当降低学习率(Learning Rate)。
  • 显著增大 L2 正则化项的权重。

这道题你会答吗?花几分钟告诉大家答案吧!