深度学习之pytorch实战计算机视觉_pytorch计算机视觉实战 pdf

本文旨在对深度学习重要概念进行整理和对pytorch算法进行整理
参考《深度学习之pytorch实战计算机视觉》

损失和梯度

损失值就是预测值与真实之间的误差，梯度就是多元函数的各个参数求导并以向量的形式出现。
梯度更新就是对损失函数求导，
每次计算损失值都是对参与训练的整个数据集而言的。出现了批量梯度下降，即将训练集划分为多个批次，每次计算损失函数选取一个批次并对全局参数进行梯度更新.直到所以批次数据使用完毕就是训练一轮，会使得计算损失函数的时间和训练的复杂度降低，但是很容易导致优化函数的最终结果是全局最优解。还有一个就是随机梯度下降，就是随机选择数据计算损失函数，并对损失函数求导梯度更新，缺点会受到随机训练数据集中噪声数据影响。

激活函数

为什么sigmoid 激活函数出现梯度消失

sigmoid的导数的取值区间是0-0.25，在后向传播每经过一个节点就要乘以sigmoid导数，梯度大小就变为原来的1/4，随着模型层数加深，梯度值就越来越小，甚至会消失。

tanh

输出结果是以0为中心，解决了激活函数在模型优化过程中收敛速度慢的问题，取值为0-1，不够大，所以仍然会出现梯度消失的情况

Relu(Rectified Linear Unit,修正线性单元)

目前使用率最高的激活函数，输出结果小于0激活函数输出为0，否则就是本身，收敛速度非常快，因为Relu输出不是零中心数据，可能默写神经元永远不会被激活，这些神经元对应的参数不能被更新。因为模型参数在初始化的时候被设置为全正或者全负；在反向传播的时候设置学习率过大，收敛较快导致。目前改进版本是Leaky-ReLU,R-ReLU

CNN

参考之前的文章
卷积神经网络
深度卷积神经网络DCNN总结（AlexNet,ZFNet,VGGNet,GooleNet,ResNet）

CNN中重要的组件就是Filter（卷积核），卷积核有三个元素，高度、宽度、深度，高度和宽度一般常用的是33和55，深度根据输入图像的通道数设置，如果是图像是3通道彩色的，就设置为3,如果输入图像是黑白的，就设置为1.
三通道的卷积过程可以看成三个独立的单通道卷积过程，最后三个独立的单通道卷积过程相加即可。

全连接层作用

将输入图像在经过卷积层和池化层操作后提取的核心特征与全连接层定义的权重参数相乘，将输出的参数值输入到softmax激活函数中，激活函数输出的是各个类别的可能性。

pytorch

在学习pytorch框架之前，可以先参考我的python学习笔记专栏和我之前的pytorch文章

python运算符

一些简单的加减乘除这里就不列举，列举常用但是看到不知道是什么的
求幂运算符：**
取整运算符：//
与：and
或：or
非：not
成员运算符：in,返回值为布尔类型。
身份运算符：is ;is not，只有内存地址一样，才返回True，跟==是不同的

python中的类

init():类的初始化方法，在创建实例的时候会调用此方法
self：代表类的实例，在定义类的时候是必须有的，但是调用的时候不必传入参数。

多维数组常用的属性

ndim:数组的维度个数:2行3列的数组维度数ndim是2
shape:数组的维度，2行3列shape是（2,3）
size:数组中元素的总数量，2行3列为6
dtype:数组中元素的类型
itemsize：每个元素字节大小，比如dtype是float64,itemsize为8
数组打印：直接print（数组名字）