【八股文-机器学习】推导反向传播算法

1. 反向传播基本方程

为了便于计算，我们定义l层的第j个神经元上的误差为:

反向传播基本方程：

• BP1表示了输出层的误差如何计算
• BP2表示了如何根据l+1层的误差来计算上一层也就是l层的误差
• BP3表示了如何根据计算出的每层上每个神经元上的误差来计算参数偏置 的梯度下降方向
• BP4表示了如何根据已经计算出的每层每个神经元上的误差来计算参数权重 的梯度下降方向。

1.1 BP1推导

1.2 BP2推导
采用链式法则

其中

求导即可得：

带入上式即可得到：

通过上述两个式子，进行反向传播依次求取即可完成误差 的全部计算，然后基于计算结果计算参数的梯度下降方向

1.3 BP3推导

采用链式法则将 带入即可得到

1.4 BP4推导
同样采用链式法则

2. 反向传播算法

由上述公式我们可以总结出神经网络训练过程，主要分为前向传播和反向传播两个过程，如下所示：