深度学习 精选笔记（7）前向传播、反向传播和计算图

学习参考：

• 动手学深度学习2.0
• Deep-Learning-with-TensorFlow-book
• pytorchlightning

①如有冒犯、请联系侵删。
②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。
③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都很不错的。

深度学习回顾，专栏内容来源多个书籍笔记、在线笔记、以及自己的感想、想法，佛系更新。争取内容全面而不失重点。完结时间到了也会一直更新下去，已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。所有文章涉及的教程都会写在开头、一起学习一起进步。

前向传播用于计算模型的预测输出，反向传播用于根据预测输出和真实标签之间的误差来更新模型参数。

前向传播和反向传播是神经网络训练中的核心步骤，通过这两个过程，神经网络能够学习如何更好地拟合数据，提高预测准确性。

一、计算图

计算图（Computational Graph）是一种图形化表示方法，用于描述数学表达式中各个变量之间的依赖关系和计算流程。在深度学习和机器学习领域，计算图常用于可视化复杂的数学运算和函数计算过程，尤其是在反向传播算法中的梯度计算过程中被广泛应用。

计算图通常包括两种节点：

• 计算节点（Compute Nodes）：这些节点表示数学运算，如加法、乘法等。计算节点接受输入，并产生输出。
• 数据节点（Data Nodes）：这些节点表示数据或变量，如输入数据、权重、偏置等。

通过连接计算节点和数据节点的边，构建了一个有向图，其中每个节点表示一个操作，边表示数据流向。计算图可以帮助理解复杂的计算过程，特别是在深度学习中涉及大量参数和运算的情况下。

二、前向传播

前向传播（forward propagation或forward pass） 指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。

前向传播（Forward Propagation）：

• 定义：前向传播是指输入数据通过神经网络模型的各层，逐层进行计算并传递至输出层的过程。
• 作用：在前向传播过程中，输入数据经过神经网络的权重和激活函数的计算，最终得到模型的预测输出。
• 目的：前向传播的目的是计算模型对输入数据的预测值，为后续的损失函数计算和反向传播提供基础。

1.前向传播的计算图

假设单隐藏层神经网络中，输入样本是