二、Pytouch主要模块

目录

 

1、头文件导入

2、Dataset (数据集)

3、nn.Module (模组)

4、torch.optim (优化)

5、网络模型的保存和加载

---

1、头文件导入
 

import torch
import torch.nn as nn
 
from torch.utils.data import DataLoader

2、Dataset (数据集)

在处理任何机器学习问题之前都需要数据读取， 并进行预处理。PyTorch提供了很多工具使得数据的读取和预处理变得很容易。

批量读取数据：

# 参数说明
# myDataset:训练数据
# batch_size: 每次读取数据量
# shuffle: 为True时在每次取数据后会打乱数据。为Flase则不会

dataiter = DataLoader(myDataset, batch_size=10, shuffle=True)

3、nn.Module (模组)

在 PyTorch 里面编写神经网络，所有的层结构和损失函数都来自于 torch.n口，所 有的模型构建都是从这个基类 nn.Module 继承的。

继承模组构建神经网络模板举例（后面详解）：
 

class Net(nn.Module):
    #输入参数包括 输入层数，隐藏层数，输出层数
    def __init__(self, n_feature , n_hidden , n_output):
        super(Net,self).__init__()  #继承Net
        self.hidden = torch.nn.Linear(n_feature , n_hidden) #隐藏层
        self.predict = torch.nn.Linear(n_hidden , n_output)  #预测输出层
 
    def forward(self, x ): #前向传播
        x = F.relu(self.hidden(x)) #x值经过隐藏层输出后经激活函数激活
        x = self.predict(x)  #输出预测值
        return x

通过nn包定义常用损失函数（计算预测值与真实值的损失，方便反向传播）：

loss_fuc1 = nn.L1Loss() #L1Loss取预测值和真实值的绝对误差的平均数即可
loss_fuc2 = nn.MSELoss() #平方损失函数,其计算公式是预测值和真实值之间的平方和的平均数。
loss_fuc3 = nn.SmoothL1Loss() #误差在(-1,1)范围内是MSELoss平方损失，其他情况是L1Loss损失。
loss_fuc4 = nn.BCELoss #二分类用的交叉熵其计算公式较复杂
loss_fuc5 = nn.CrossEntropyLoss() #图像分类神经网络模型中就常常用到该公式。

4、torch.optim (优化)

在反向传递时，我们需要通过修改参数使得损失的数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。（大致了解其作用和思想即可）

1、一阶优化算法：

函数的梯度形成了一个向量场，同时也是一个 方向，这个方向上方向导数最大，且等于梯度。梯度下降的功能是通过寻找最小值，控 制方差， 更新模型参数， 最终使模型收敛。

2、二阶优化算法：

三阶优化算法，使用了二阶导数(也叫做 Hessian 方法)来最小化或最大化损失函 数，主要基于牛顿法。(!!!调用优化的时候将需要优化的参数传入，这些参数都必须是 Variable)

在一个神经网络模型中通用优化步骤：
 

optimizer = torch.optim.RMSprop(net.parameters() , lr = 0.02) #优化神经网络 lr为学习效率
 
optimizer.zero_grad() #优化神经网络时先将网络梯度降为0
loss.backward() #根据真实值与y的均方差反向传播计算梯度
optimizer.step() #以学习效率0.02优化步骤

5、网络模型的保存和加载

当我们训练好一个网络模型时需要保存已经训练好的网络，以方便下次用的时候加载。

保存网络模型（这种方法候加载的时间比较长，同时存储空间也比较大）：

torch.save(net , 'net.pkl' ) #保存训练好的net网络模型,h会生成一个pkl文件保存
net = torch.load('net.pkl') #读取整个网络

保存网络模型参数：

torch.save(net.state_dict(), 'net_params.pkl')  # 只保存网络中的参数 (速度快, 占内存少)
net.load_state_dict(torch.load('net_params.pkl')) #读取参数