昇思25天学习打卡营第3天|函数式自动微分

昇思MindSpore快速入门

基于MindSpore的函数式自动微分

1、简介

神经网络的训练主要使用反向传播算法。反向传播顾名思义，将模型前向传播的预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss值，然后沿着网络结构中的反向信息流传播，通过链式求导法则对每枝路线上神经元的参数求偏导，从而实现反向传播计算，利用求得的梯度（gradients），最终更新至模型参数（parameters）:

至于为什么要求导（微分），求梯度，是为了最优化（最小化）使目标函数（损失函数loss function），通常采用梯度下降算法。

Mindspore提供的自动微分（Autograd）能够计算可导函数在某点处的导数值，解决了将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程（不用手动推公式链式求导了，感兴趣的同学可以尝试对一个小型的BP神经网络进行反向传播梯度下降求导计算），大大降低了框架的使用门槛。

MindSpore提供更接近于数学语义的自动微分接口grad和value_and_grad；

2、函数与计算图算例

下面我们根据这个计算图中单个神经元构成的网络结构构造计算函数并进行反向传播参数计算：

在这个模型中，