深度学习框架可以自动计算导数：根据设计好的模型，系统会构建一个计算图。当定义一个变量并指定它需要计算梯度时，框架会跟踪所有与该变量有关的计算。然后，当计算一个目标值（通常是损失函数）并调用反向传播函数时。backward（）,框架会沿着这些计算的路径反向传播，使用链式法则来计算每个变量的偏导数。每次调用。backward（）时，新的梯度会加到已有的梯度上。

计算图

正则化与过拟合

L1正则化

L2正则化

Dropout正则化

拉格朗日对偶问题

拉格朗日乘数法

凸优化

对偶问题

KKT条件

Slater条件

积分学

积分学（积分）处理数量的累积，如曲线下的面积，或一个实体的体积。

笔记内容

https://www.yuque.com/g/u42592276/ax6il7/pmfxty3ykhrtq0us/collaborator/join?token=zXNMqhSjjXay6pIO&source=doc_collaborator# 《数学基础——微积分在机器/深度学习上的应用》

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/667137