首页 > 试题广场 >

在训练一个非常深的前馈神经网络时,观察到训练过程中某些神经元

[单选题]
在训练一个非常深的前馈神经网络时,观察到训练过程中某些神经元的输出恒为零,导致对应的参数无法更新。这种现象通常被称为“神经元死亡”(Dying ReLU)。以下哪种激活函数的设计初衷最主要是为了缓解这个问题?
  • Sigmoid
  • Tanh
  • Leaky ReLU
  • Hard Sigmoid

这道题你会答吗?花几分钟告诉大家答案吧!