通俗易懂的反向传播法（python 代码实现）_结合课上编程实例给出计算程序代码(apple、orange前向、反向传播代码以及layer类

目录

 

1. 计算图

1.1 计算图的优点

2. 链式法则

2.1 计算图的反向传播

2.2 什么是链式法则

2.3 链式法则和计算图

2.3 反向传播

2.3.1 加法节点的反向传播

2.3.2 乘法节点的反向传播

2.2.4 苹果例子

3.简单层的实现

3.1 乘法层的实现

3.2 加法层的实现

4 激活函数层的实现

4.1 ReLU层

4.2 Sigmoid层

5 Affine/Softmax层的实现

5.1 Affine层

5.2 批版本的Affine

5.3 Softmax-with-Loss层

6 误差反向传播的实现

---

1. 计算图

计算图将计算过程用图形表示出来。这里说的图形是数据结构图，通过多个节点和边表示（连接节点的直线称为“边”）。
用计算图求解几个常见的问题：

问题1： 太郎在超市买了2个100日元一个的苹果，消费税是10%，请计算支付金额。

问题2： 太郎在超市买了2个苹果、 3个橘子。其中，苹果每个100日元，橘子每个150日元。消费税是10%，请计算支付金额。

综上，用计算图解题的情况下，需要按如下流程进行。
1.构建计算图。
2.在计算图上，从左向右进行计算。
这里的第2歩“从左向右进行计算”是一种正方向上的传播，简称为正向传播（forward propagation）。正向传播是从计算图出发点到结束点的传播。既然有正向传播这个名称，当然也可以考虑反向（从图上看的话，就是从右向左）的传播。实际上，这种传播称为反向传播（backward propagation）。反向传播将在接下来的导数计算中发挥重要作用。

1.1 计算图的优点

优点1：局部计算使各个节点致力于简单的计算，从而简化问题，如下图所示