昇思25天学习打卡营第6天|函数式自动微分

作者：Li_阴宅 | 2024-07-03 11:00:13

踩

今天学习自动微分。

神经网络训练有点类似于负反馈调节，所以需要用到微分运算。
用来计算获得损失和梯度。
求导求微分等等这些操作对于离开数学很久的人是很困难的一个天堑，幸好mindspore框架给我们提供了一系列简单的API屏蔽这些运算过程，我们只需要简单的调用几个API 就可以完成这些复杂运算。

计算的过程简单一点说就是求方程系数的问题，例如我们有一系列的一维数据想x,和结果y，好像平面直角坐标系给了我们一些点，让我们求线性方程 $y = w x + b$ . 听上去感觉还是比较简单的对不对。但现实中我们遇到的绝大多数情况我们的输入数据不是简简单单的一维数据，是多维了，这个时候计算难度的指数级跃升了。

在计算中，多维数据的其中有些维可能是不需要的，但他的值可能比较大，会对我们最终的计算造出影响。这个时候就需要Stop Gradient.把这个梯度截断，消除他对梯度的影响。

其中，一些辅助性的数据。我们可以通过Auxiliary data输出，辅助数据不会影响梯度计算。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/782905