PyTorch学习（八）--Load DataSet_python load_dataset

传送门：Load Dataset
本讲主要是数据集的加载过程。视频中对数据集的加载以及shuffle、batch_size、Epoch解释的很清楚。

如图shuffle的作用如下图：

具体过程如代码所示：

注意：
1、Dataset（） 是一个抽象函数，不能直接实例化，所以我们要创建一个自己类，继承Dataset
继承Dataset后我们必须实现三个函数：
init()是初始化函数，之后我们可以提供数据集路径进行数据的加载
getitem()帮助我们通过索引找到某个样本
len()帮助我们返回数据集大小
2、DataLoader（dataset,batch_size=32,shuffle=True,num_workers=0）是用来帮助加载数据，比如设置shuffle（混乱），设置batch_size大小等，因此可以实例化一个DataLoader进行数据集整理
batch_size是一个组中有多少个样本；shuffle表示要不要对样本进行随机排列；num_workers表示我们可以用多少进程并行的运算
一般来说，训练集我们随机排列，测试集不需要随机排列。

# -*- coding: UTF-8 -*-
'''===============================================
@Author ：kidding
@Date   ：2021/2/7 18:19
@File   ：Load_Dataset
@IDE    ：PyCharm
=================================================='''
import torch
import numpy as np
import matplotlib.pyplot as plt
from torch.utils.data import DataLoader,Dataset
'''
1、Prepare DataSet

'''
class DiabetesDataset(Dataset):
    def __init__(self,filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32) #加载训练集
        # shape本身是一个二元组（x,y）对应数据集的行数和列数，这里[0]我们取行数,即样本数
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[:, :-1]) # 取前八列   第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
        self.y_data = torch.from_numpy(xy[:, [-1]]) # 取最后一列    [-1] 最后得到的是个矩阵
    def __getitem__(self, index):
        return self.x_data[index],self.y_data[index]
    def __len__(self):
        return self.len

#实例化DiabetesDataset
dataset = DiabetesDataset('./dataset/diabetes.csv.gz')
train_loader = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=0)

'''
2、Design model
'''
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1 = torch.nn.Linear(8,6)
        self.linear2 = torch.nn.Linear(6,4)
        self.linear3 = torch.nn.Linear(4,1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self,x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))#将上面一行的输出作为输入
        x = self.sigmoid(self.linear3(x))#将上面一行的输出作为输入
        return x

model = Model()

'''
3、construct loss and optimizer
'''
criterion = torch.nn.BCELoss(reduction='mean')
#model.parameters()会扫描module中的所有成员，如果成员中有相应权重，那么都会将结果加到要训练的参数集合上
optimizer = torch.optim.SGD(model.parameters(), lr = 0.1)#lr为学习率，因为0.01太小了，我改成了0.1

Epoch_list =[]  #保存epoch
Loss_list = []  #保存每个epoch对应的loss

'''
4、Training Cycle : forward-->backward-->update
'''

if __name__ == '__main__':
    for epoch in range(10):
        for i,data in enumerate(train_loader,0):
            # repare data
            inputs, labels = data  # 将输入的数据赋给inputs，结果赋给labels
            # Forward
            y_pred = model(inputs) #得到 y_hat
            loss = criterion(y_pred,labels) # 得到Loss
            print("Epoch:", epoch,"i = ",i, "loss ={:.5f}".format(loss.item()))

            Epoch_list.append(epoch)
            Loss_list.append(loss)

            # Backward
            optimizer.zero_grad()   # 梯度置为0
            loss.backward() # 反向传播

            # update
            optimizer.step()    # 更新w和b的值
'''
5、Painting
'''
plt.plot(Epoch_list,Loss_list)
plt.title("SGD")
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.grid(ls='--')  # 生成网格
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92

实现效果：

Loss图像如下：

问题：Loss损失会不断反复横跳。。暂时还在思考我具体原因。有知道的小伙伴可以评论区交流。谢谢！