首页 > 试题广场 >

在训练一个非常深的前馈神经网络时,观察到训练过程中部分神经元

[单选题]
在训练一个非常深的前馈神经网络时,观察到训练过程中部分神经元的输出恒为零,导致对应的权重无法更新。这种现象通常被称为“神经元死亡”(Dying ReLU)。下列哪种激活函数的设计初衷主要是为了缓解这个问题?
  • Sigmoid
  • Tanh
  • Leaky ReLU
  • Softmax

这道题你会答吗?花几分钟告诉大家答案吧!