计算图--反向传播_反向传播 计算图

一、计算图

计算图可以用于表示一个复杂的函数，它通过将复杂函数分解为简单的计算来得到最后的计算结果

下面用一个简单的例子来介绍计算图

为了方便表示，在此说明一下：

• 矩形节点：输入功能或者输出功能

• 圆形节点：接受一个数据的输入并按照节点运算规则计算，并将计算结果输出到下一个节点

函数：$f(x,y,z)=(x+y)z$ 的计算图表示如下：

顺着计算图的箭头方向进行计算的过程被称为前向传播，在这个例子中，前向传播的最后结果是12

看到这里，你可能会奇怪，为什么一个简单函数需要分解为好几步计算，事实上，上面的节点可以反复使用，当函数稍微复杂时，采用公式直接计算就不如上面的简洁明了

更重要的是在神经网络的反向传播算法中，需要计算梯度，这涉及到了导数，一般的人计算稍微复杂的导数都要花上点时间，更不要说计算机了，通过计算图的形式计算梯度，计算机可以快速地得出结果

二、反向传播

1、基本概念

前向传播是通过神经网络不断计算，向前推进，最后在输出层得到计算结果，但是这个计算结果可能与标准结果存在一定的误差，为了衡量这个误差，引入了损失函数的概念，通过损失函数来定义误差的概念，为了减小这个误差，以表达到优化的目的，采用了反向传播算法（Backpropagation Algorithm）来优化每层网络的参数，利用梯度下降算法，可以得到损失函数在局部的最小值，如果这个损失函数是凸函数，那么这个局部最小值就是全局最小值

梯度下降算法迭代公式：
$$w=w-\alpha \frac{\partial J(w,b)}{\partial w}$$

这个公式的难点在于如何计算梯度，因为梯度计算涉及到了求偏导，对于复杂的神经网络来说，求导不是一件容易的事

接下来看一个例子，使用计算图来计算偏导数

注：例子中没有使用偏导符号，是因为在计算图里面，每个节点都是一些最简运算，都是一对一的，所以使用求导运算，为了方便好看，我就没有写偏导符号，直接写求导符号了，这对最后结果没有任何影响，只是表示符号不一样而已

2、例子

以Logistic回归中的预测函数为例：

输出：$\hat{y}=\sigma (z)$

其中：$\sigma (z)=\frac{1}{1+e^{-z}}，z=w^{T}x+b$

为了方便观察，这里我们取：$w^T=[2.00,-3.00]，\ x^T=[-1.00, -2.00]，b=-3.00 $

画出计算图的正向传播过程，如下图所示：

对于反向传播，我们需要使用求导的链式法则：$\frac{d\hat{y}}{d{w}_0}=\frac{d\hat{y}}{dz}\frac{dz}{d{w}_0}$

因此，先从最后的输出开始计算梯度，为了方便表示，这里暂且规定一下，对于每个节点，输入记为$z$，输出记为$y$，节点的运算规则可以表示为：$f$，以$f,z,y$的下标来区分不同的节点

整个计算图所表示的是：$\hat{y}=f(z)=\sigma (w^{T}x+b)=\frac{1}{1+e^{-(w^T+b)}}=\frac{1}{1+e^{-(w_0{x}_0+w_1{x}_1+b)}}$

现在，我们要计算$\frac{d\hat{y}}{d{w}_0}$，这里需要注意的是每步计算尽量减少计算过程

由于是反向传播，规定输出节点为第一个

计算步骤如下：

（1）第一个节点

输出节点：因为输出节点没有运算，输出等于输入，因此：$\hat{y}=y_0=f_0(z_0)=z_0$

导数：$\frac{d\hat{y}}{d{z}_0}=\frac{d{f}_0}{d{z}_0}=1$

$\hat{y}$在第一个节点的导数：$\frac{d\hat{y}}{d{z}_0}=1$

（2）第二个节点

第二个节点的运算：$y_1=f_1(z_1)=\frac{1}{z_1}$

导数：$\frac{d{y}_1}{d{z}_1}=\frac{-1}{z_1^2}$

因为我们通过前向传播，已经计算出了$y_1$的值，可以用$y_1$化简这个式子，$\frac{d{y}_1}{d{z}_1}=-y_1^2$

并且：$z_0=y_1=0.73$

$\hat{y}$在第二个节点的导数：$\frac{d\hat{y}}{d{z}_1}=\frac{d\hat{y}}{d{z}_0}\frac{d{z}_0}{d{z}_1}=\frac{d\hat{y}}{d{z}_0}\frac{d{y}_1}{d{z}_1}=1\ast (-y_1^2)=-0.53$

（3）第三个节点

第三个节点的运算：$y_2=f_2(z_2)=z_2+1$

导数：$\frac{d{y}_2}{d{z}_2}=1$

并且：$z_1=y_2=1.37$

$\frac{d\hat{y}}{d{z}_2}=\frac{d\hat{y}}{d{z}_1}\frac{d{z}_1}{d{z}_2}=\frac{d\hat{y}}{d{z}_1}\frac{d{y}_2}{d{z}_2}$

在上一步中已经计算出了$\frac{d\hat{y}}{d{z}_1}=-0.53$，可以直接使用:

$\hat{y}$在第三个节点的导数：$\frac{d\hat{y}}{d{z}_2}=(-0.53)\ast 1=-0.53$

（4）第四个节点

第四个节点运算为： $y_3=f_3(z_3)=e^{z_3}$

导数：$\frac{d{y}_3}{d{z}_3}=e^{z_3}=y_3$

$\hat{y}$在第四个节点的导数：$\frac{d\hat{y}}{d{z}_3}=\frac{d\hat{y}}{d{z}_2}\frac{d{y}_3}{d{z}_3}=(-0.53)\ast y_3=-0.20$

（5）小结

通过这几步，我想应该可以很好地解释之后的步骤了：

每次计算$\hat{y}$在当前节点的导数时，都会用到链式法则，使用$\hat{y}$在上一节点的导数值（$\frac{d\hat{y}}{d{z}_{i-1}}$）和当前节点的导数值（$\frac{d{y}_i}{d{z}_i}$），因为节点都是一些最简单的运算，因此求解当前节点的导数值是一件很容易的事，并且得到的形式也非常简单。

注意：可以使用输出值$y_i$去替换导数中某些复杂的部分

以下是反向传播计算图：