devbox
菜鸟追梦旅行
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

PyTorch从入门到实践 | (1) PyTorch快速入门_《pytorch机器学习从入门到实践》例子

作者：菜鸟追梦旅行 | 2024-04-03 16:19:34

赞

踩

《pytorch机器学习从入门到实践》例子

PyTorch的简洁设计使得它入门很简单，在深入介绍PyTorch之前，本节将先介绍一些PyTorch的基础知识，使大家能够对PyTorch有一个大致的了解，并能够用PyTorch搭建一个简单的神经网络。

目录

1. Tensor

2. 自动求导：Autograd

3. 神经网络

4. 总结

1. Tensor

Tensor是PyTorch中重要的数据结构，可认为是一个高维数组。它可以是一个数（标量）、一维数组（向量）、二维数组（矩阵）以及更高维的数组。Tensor和Numpy的ndarrays类似，但Tensor可以使用GPU进行加速。Tensor的使用和Numpy的接口十分相似，下面通过几个例子来看看Tensor的基本使用。

  1. from __future__ import print_function
  2. import torch 
  3. torch.__version__

  • Tensor和tensor的区别

在PyTorch中，Tensor和tensor都能用于生成新的张量：

  1. a = torch.Tensor([1,2])
  2. print(a)
  3. b = torch.tensor([1,2])
  4. print(b)

torch.Tensor()是python类，更明确地说，是默认张量类型torch.FloatTensor()的别名，torch.Tensor([1,2])会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。

  1. a=torch.Tensor([1,2])
  2. a.type()

而torch.tensor()仅仅是python函数：https://pytorch.org/docs/stable/torch.html#torch.tensor ，函数原型是：

torch.tensor(data, dtype=None, device=None, requires_grad=False)

其中data可以是：list, tuple, NumPy ndarray, scalar和其他类型。
torch.tensor会从data中的数据部分做拷贝（而不是直接引用），根据原始数据类型生成相应的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor（也可以通过dtype指定）。

  1. a=torch.tensor([1,2])
  2. print(a.type())
  3. b = torch.tensor([1.,2.])
  4. print(b.type())
  5. import numpy as np
  6. c = np.zeros(2,dtype=np.float64)
  7. d = torch.tensor(c)
  8. print(d.type())
  9. e = torch.tensor([2,3],dtype=torch.float64)
  10. print(e.type())

这里再说一下torch.empty()，根据 https://pytorch.org/docs/stable/torch.html?highlight=empty#torch.empty ，我们可以生成指定类型、指定设备以及其他参数的张量，由于torch.Tensor()只能指定数据类型为torch.float32，所以torch.Tensor()可以看做torch.empty()的一个特殊情况。

  1. a = torch.tensor(1) #data可以是一个标量
  2. print(a)  #tensor(1)
  3. print(a.type())
  4. b = torch.Tensor(1) #只是分配了空间 并未初始化
  5. print(b) #tensor([0])
  6. print(b.type)

  1. # 构建 5x3 矩阵，只是分配了空间，未初始化
  2. x = torch.Tensor(5, 3)
  3. print(x)
  4. y = torch.tensor((5,3)) #data可以是元组  y = torch.tensor(5,3)会报错
  5. print(y)
  6. x = torch.Tensor([5,3])
  7. print(x)
  8. x = torch.Tensor([[1,2],[3,4]])
  9. print(x)

  • 随机初始化
  1. # 使用[0,1]均匀分布随机初始化二维数组
  2. x = torch.rand(5, 3)  
  3. x

  1. print(x.size()) # 查看x的形状
  2. #torch.Size 是tuple对象的子类，因此它支持tuple的所有操作，如x.size()[0]
  3. print(x.size()[1], x.size(1)) # 查看列的个数, 两种写法等价
  4. print(x.size()[0], x.size(0)) # 查看行的个数, 两种写法等价

  • 加法的写法
  1. y = torch.rand(5, 3)
  2. # 加法的第一种写法
  3. print(x + y)
  4. # 加法的第2种写法
  5. print(torch.add(x,y))
  6. # 加法的第3种写法 指定加法结果的输出目标为result
  7. result = torch.empty(5,3) #预先分配空间  
  8. #result = torch.Tensor(5,3) empty一种特殊情况 FloatTensor
  9. torch.add(x,y,out=result)
  10. print(result)

  1. #最初的y
  2. print(y)
  3. #第一种加法 不改变y值
  4. y.add(x)
  5. print(y)
  6. #第二种加法 改变y值
  7. y.add_(x)  #将结果赋给y
  8. print(y)


注意，函数名后面带下划线_ 的函数会修改Tensor本身。例如，x.add_(y)和x.t_()会改变 x，但x.add(y)和x.t()返回一个新的Tensor， 而x不变。

  • 索引

tensor可以像numpy数组那样进行各种索引：

  1. print(x)
  2. print(x[:,1]) #第2列
  3. print(x[0,:]) #第一行


Tensor还支持很多操作，包括数学运算、线性代数、选择、切片等等，其接口设计与Numpy极为相似。更详细的使用方法，之后会详细介绍。

  • tensor与ndarray的转化

Tensor和Numpy的数组之间的互操作非常容易且快速。对于Tensor不支持的操作，可以先转为Numpy数组处理，之后再转回Tensor。

  1. a = torch.ones(5) # 新建一个全1的Tensor
  2. print(a)
  3. b = a.numpy()  #转为数组
  4. b

  1. a = np.ones(5) #全1数组 
  2. b = torch.from_numpy(a) # Numpy->Tensor
  3. print(a)
  4. print(b)


        Tensor和numpy对象共享内存，所以他们之间的转换很快，而且几乎不会消耗什么资源。但这也意味着，如果其中一个变了，另外一个也会随之改变。

  1. b.add_(1) # 以`_`结尾的函数会修改自身
  2. print(a)
  3. print(b) # Tensor和Numpy共享内存

  • 获取元素值

如果你想获取某一个元素的值，可以使用scalar.item。 如果tensor是一维的，直接tensor[idx]得到的还是一个tensor: 一个0-dim 的tensor，一般称为scalar.

  1. print(b)
  2. scalar = b[0]
  3. print(scalar)
  4. print(scalar.size())#0-dim
  5. print(scalar.item()) #转为数值

  1. tensor = torch.tensor([2])
  2. print(tensor)
  3. print(scalar)
  4. print(tensor.size(),scalar.size())
  5. print(tensor.item(),scalar.item())  #只有一个元素的1-dim tensor 也可以用item转为数值

  • torch.tensor

和np.array()非常相似。

  1. tensor = torch.tensor([3,4]) # 新建一个包含 3，4 两个元素的tensor
  2. print(tensor)
  3. tensor = torch.tensor(3)  #标量
  4. print(tensor)

  1. tensor = torch.tensor([1,2])
  2. old_tensor = tensor
  3. new_tensor = torch.tensor(old_tensor)
  4. new_tensor[0] = 1111
  5. old_tensor, new_tensor

需要注意的是，torch.tensor()总是会进行数据拷贝，新tensor和原来的数据不再共享内存。所以如果你想共享内存的话，建议使用torch.from_numpy()或者tensor.detach()来新建一个tensor, 二者共享内存。

  1. new_tensor = old_tensor.detach()
  2. new_tensor[0] = 1111
  3. old_tensor, new_tensor

  • GPU tensor
  1. # 在不支持CUDA的机器下，下一步还是在CPU上运行
  2. device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
  3. x = x.to(device)
  4. y = y.to(device)
  5. z = x+y

此外，还可以使用tensor.cuda() /tensor.cpu()的方式将tensor拷贝到gpu/cpu上，但是这种方式不太推荐。

此处可能发现GPU运算的速度并未提升太多，这是因为x和y太小且运算也较为简单，而且将数据从内存转移到显存还需要花费额外的开销。GPU的优势需在大规模数据和复杂运算下才能体现出来。

 

2. 自动求导：Autograd

深度学习的算法本质上是通过反向传播求导数，而PyTorch的autograd模块则实现了此功能。在Tensor上的所有操作，autograd都能为它们自动提供微分，避免了手动计算导数的复杂过程。

要想使得Tensor使用autograd功能，只需要设置tensor.requries_grad=True.

  1. # 为tensor设置 requires_grad 标识，代表着需要求导数
  2. # pytorch 会自动调用autograd 记录操作
  3. x = torch.ones(2, 2, requires_grad=True)
  4.  
  5. # 上一步等价于
  6. # x = torch.ones(2,2)
  7. # x.requires_grad = True
  8.  
  9. x

  1. y = x.sum()
  2. print(y)
  3. print(y.grad_fn)

  1. y.backward()#反向传播 计算梯度
  2. # y = x.sum() = (x[0][0] + x[0][1] + x[1][0] + x[1][1])
  3. # 每个值的梯度都为1
  4. print(x.grad)

grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以反向传播之前需把之前的梯度清零。

  1. y.backward()
  2. print(x.grad)

  1. # 以下划线结束的函数是inplace操作，会修改自身的值，就像add_
  2. x.grad.data.zero_()
  3. y.backward()
  4. x.grad

 

3. 神经网络

Autograd实现了反向传播功能，但是直接用来写深度学习的代码在很多情况下还是稍显复杂，torch.nn是专门为神经网络设计的模块化接口。nn构建于 Autograd之上，可用来定义和运行神经网络。nn.Module是nn中最重要的类，可把它看成是一个网络的封装，包含网络各层定义以及forward方法，调用forward(input)方法，可返回前向传播的结果。下面就以最早的卷积神经网络：LeNet为例，来看看如何用nn.Module实现。LeNet的网络结构如图2-7所示。

这是一个基础的前向传播(feed-forward)网络: 接收输入，经过层层传递运算，得到输出

  • 定义网络

定义网络时，需要继承nn.Module，并实现它的forward方法，把网络中具有可学习参数的层放在构造函数__init__中。如果某一层(如ReLU)不具有可学习的参数，则既可以放在构造函数中，也可以不放，但建议不放在其中，而在forward中使用nn.functional代替。

  1. import torch.nn as nn
  2. import torch.nn.functional as F
  3.  
  4. class Net(nn.Module):
  5.     def __init__(self):
  6.         # nn.Module子类的函数必须在构造函数中执行父类的构造函数
  7.         # 下式等价于nn.Module.__init__(self)
  8.         super(Net, self).__init__()
  9.         
  10.         # 卷积层 '1'表示输入图片为单通道, '6'表示输出通道数，'5'表示卷积核为5*5
  11.         self.conv1 = nn.Conv2d(1, 6, 5) 
  12.         # 卷积层
  13.         self.conv2 = nn.Conv2d(6, 16, 5) 
  14.         # 仿射层/全连接层，y = Wx + b
  15.         self.fc1   = nn.Linear(16*5*5, 120) 
  16.         self.fc2   = nn.Linear(120, 84)
  17.         self.fc3   = nn.Linear(84, 10)
  18.  
  19.     def forward(self, x): 
  20.         # 卷积 -> 激活 -> 池化 
  21.         x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
  22.         x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
  23.         # reshape，‘-1’表示自适应
  24.         x = x.view(x.size()[0], -1) 
  25.         x = F.relu(self.fc1(x))
  26.         x = F.relu(self.fc2(x))
  27.         x = self.fc3(x)        
  28.         return x
  29.  
  30. net = Net()
  31. print(net)

只要在nn.Module的子类中定义了forward函数，backward函数就会自动被实现(利用autograd)。在forward 函数中可使用任何tensor支持的函数，还可以使用if、for循环、print、log等Python语法，写法和标准的Python写法一致。

网络的可学习参数通过net.parameters()返回，net.named_parameters可同时返回可学习的参数及名称。

  1. params = list(net.parameters())
  2. print(len(params))
  3.  
  4. for name,parameters in net.named_parameters():
  5.     print(name,':',parameters.size())

forward函数的输入和输出都是Tensor。

  1. input = torch.randn(1, 1, 32, 32) #(batch_size,channels,height,width)
  2. out = net(input)
  3. out.size()

  1. net.zero_grad() # 所有参数的梯度清零
  2. out.backward(torch.ones(1,10)) # 反向传播

  • 损失函数

nn实现了神经网络中大多数的损失函数，例如nn.MSELoss用来计算均方误差，nn.CrossEntropyLoss用来计算交叉熵损失。

  1. output = net(input)
  2. target = torch.randn(10).view(1,10) #二维行向量
  3. print(target) #target需要是浮点型
  4. criterion = nn.MSELoss()
  5. loss = criterion(output, target)
  6. loss # loss是个scalar


          如果对loss进行反向传播溯源(使用gradfn属性)，可看到它的计算图如下：

当调用loss.backward()时，该图会动态生成并自动微分，也即会自动计算图中参数(Parameter)的梯度：

  1. # 运行.backward，观察调用之前和调用之后的grad
  2. net.zero_grad() # 把net中所有可学习参数的梯度清零
  3. print('反向传播之前 conv1.bias的梯度')
  4. print(net.conv1.bias.grad)
  5. loss.backward()
  6. print('反向传播之后 conv1.bias的梯度')
  7. print(net.conv1.bias.grad)

  • 优化器

在反向传播计算完所有参数的梯度后，还需要使用优化方法来更新网络的权重和参数，例如随机梯度下降法(SGD)的更新策略如下：

手动实现如下：

torch.optim中实现了深度学习中绝大多数的优化方法，例如RMSProp、Adam、SGD等，更便于使用，因此大多数时候并不需要手动写上述代码。

  1. import torch.optim as optim
  2. #新建一个优化器，指定要调整的参数和学习率
  3. optimizer = optim.SGD(net.parameters(), lr = 0.01)
  4.  
  5. # 在训练过程中
  6. # 先梯度清零(与net.zero_grad()效果一样)
  7. optimizer.zero_grad() 
  8.  
  9. # 计算损失
  10. output = net(input)
  11. loss = criterion(output, target)
  12.  
  13. #反向传播
  14. loss.backward()
  15.  
  16. #更新参数
  17. optimizer.step()
  • 数据加载和预处理

在深度学习中数据加载及预处理是非常复杂繁琐的，但PyTorch提供了一些可极大简化和加快数据处理流程的工具。同时，对于常用的数据集，PyTorch也提供了封装好的接口供用户快速调用，这些数据集主要保存在torchvison中。

torchvision实现了常用的图像数据加载功能，例如Imagenet、CIFAR10、MNIST等，以及常用的数据转换操作，这极大地方便了数据加载，并且代码具有可重用性。

下面我们来尝试实现对CIFAR-10数据集的分类，步骤如下:

1）使用torchvision加载并预处理CIFAR-10数据集

2）定义网络

3）定义损失函数和优化器

4）训练网络并更新网络参数

5）测试网络

cifar-10数据加载和预处理：

CIFAR-10是一个常用的彩色图片数据集，它有10个类别: 'airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'。每张图片都是3*32*32，也即3-通道彩色图片，分辨率为32*32。

  1. import torchvision as tv
  2. import torchvision.transforms as transforms
  3. from torchvision.transforms import ToPILImage
  4. show = ToPILImage() # 可以把Tensor转成Image，方便可视化
  5. # 第一次运行程序torchvision会自动下载CIFAR-10数据集，
  6. # 大约100M，需花费一定的时间，
  7. # 如果已经下载有CIFAR-10，可通过root参数指定
  8.  
  9. # 定义对数据的预处理
  10. transform = transforms.Compose([
  11.         transforms.ToTensor(), # 转为Tensor (32,32,3)->(3,32,32) numpy->tensor
  12.         transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), # 归一化 3通道
  13.                              ])
  14.  
  15. # 训练集
  16. trainset = tv.datasets.CIFAR10(
  17.                     root='./data', 
  18.                     train=True, 
  19.                     download=True,
  20.                     transform=transform)
  21.  
  22. trainloader = torch.utils.data.DataLoader( 
  23.                     trainset, 
  24.                     batch_size=4,
  25.                     shuffle=True, 
  26.                     num_workers=2)
  27.  
  28. # 测试集
  29. testset = tv.datasets.CIFAR10(
  30.                     './data',
  31.                     train=False, 
  32.                     download=True, 
  33.                     transform=transform)
  34.  
  35. testloader = torch.utils.data.DataLoader(
  36.                     testset,
  37.                     batch_size=4, 
  38.                     shuffle=False,
  39.                     num_workers=2)
  40.  
  41. classes = ('plane', 'car', 'bird', 'cat',
  42.            'deer', 'dog', 'frog', 'horse', 'ship', 'truck')


Dataset对象是一个数据集，可以按下标访问，返回形如(data, label)的数据。

  1. (data, label) = trainset[100]
  2. print(classes[label])
  3.  
  4. # (data + 1) / 2是为了还原被归一化的数据 之前有一个归一化预处理操作所以要还原  
  5. show((data + 1) / 2).resize((100, 100))

Dataloader是一个可迭代的对象，它将dataset返回的每一条数据拼接成一个batch，并提供多线程加速优化和数据打乱等操作。当程序对dataset的所有数据遍历完一遍之后，相应的对Dataloader也完成了一次迭代。

  1. dataiter = iter(trainloader)
  2. images, labels = dataiter.next() # 返回4张图片及标签 一个batch
  3. print(' '.join('%11s'%classes[labels[j]] for j in range(4)))
  4. show(tv.utils.make_grid((images+1)/2)).resize((400,100))

  • 定义网络

拷贝上面的LeNet网络，修改self.conv1第一个参数为3通道，因CIFAR-10是3通道彩图。

  1. import torch.nn as nn
  2. import torch.nn.functional as F
  3.  
  4. class Net(nn.Module):
  5.     def __init__(self):
  6.         super(Net, self).__init__()
  7.         self.conv1 = nn.Conv2d(3, 6, 5) 
  8.         self.conv2 = nn.Conv2d(6, 16, 5)  
  9.         self.fc1   = nn.Linear(16*5*5, 120)  
  10.         self.fc2   = nn.Linear(120, 84)
  11.         self.fc3   = nn.Linear(84, 10)
  12.  
  13.     def forward(self, x): 
  14.         x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2)) 
  15.         x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
  16.         x = x.view(x.size()[0], -1) 
  17.         x = F.relu(self.fc1(x))
  18.         x = F.relu(self.fc2(x))
  19.         x = self.fc3(x)        
  20.         return x
  21.  
  22. device = torch.device("cuda:0" if t.cuda.is_available() else "cpu") #有GPU使用GPU 没有就使用CPU
  23.  
  24. net = Net()
  25. net.to(device)
  26. print(net)

  • 定义损失函数和优化器
  1. from torch import optim
  2. criterion = nn.CrossEntropyLoss() # 交叉熵损失函数
  3. optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
  • 训练网络

  1. torch.set_num_threads(8)
  2. for epoch in range(2):  
  3.     
  4.     running_loss = 0.0
  5.     for i, data in enumerate(trainloader, 0):
  6.         
  7.         # 输入数据
  8.         inputs, labels = data
  9.         inputs = inputs.to(device)
  10.         labels = labels.to(device)
  11.         # 梯度清零
  12.         optimizer.zero_grad()
  13.         
  14.         # forward + backward 
  15.         outputs = net(inputs)
  16.         loss = criterion(outputs, labels)
  17.         loss.backward()   
  18.         
  19.         # 更新参数 
  20.         optimizer.step()
  21.         
  22.         # 打印log信息
  23.         # loss 是一个scalar,需要使用loss.item()来获取数值，不能使用loss[0]
  24.         running_loss += loss.item()
  25.         if i % 2000 == 1999: # 每2000个batch打印一下训练状态
  26.             print('[%d, %5d] loss: %.3f' \
  27.                   % (epoch+1, i+1, running_loss / 2000))
  28.             running_loss = 0.0
  29. print('Finished Training')

此处仅训练了2个epoch（遍历完一遍数据集称为一个epoch），来看看网络有没有效果。将测试图片输入到网络中，计算它的label，然后与实际的label进行比较。

  1. dataiter = iter(testloader)
  2. images, labels = dataiter.next() # 一个batch返回4张图片
  3. print('实际的label: ', ' '.join(\
  4.             '%08s'%classes[labels[j]] for j in range(4)))
  5. show(tv.utils.make_grid(images / 2 - 0.5)).resize((400,100))

接着计算网络预测的label：

  1. # 计算图片在每个类别上的分数
  2. outputs = net(images)
  3. # 得分最高的那个类
  4. _, predicted = torch.max(outputs.data, 1) #dim=1 每一行代表一个样本的结果  max返回每一行的最大值和最大值所在的索引
  5.  
  6. print('预测结果: ', ' '.join('%5s'\
  7.             % classes[predicted[j]] for j in range(4)))

好像对于这个batch效果不太好。再来看看在整个测试集上的效果。

  1.  
  2. correct = 0 # 预测正确的图片数
  3. total = 0 # 总共的图片数
  4.  
  5.  
  6. # 由于测试的时候不需要求导，可以暂时关闭autograd，提高速度，节约内存
  7. with torch.no_grad():
  8.     for data in testloader:
  9.         images, labels = data
  10.         outputs = net(images)
  11.         _, predicted = torch.max(outputs, 1)
  12.         total += labels.size(0)
  13.         correct += (predicted == labels).sum()
  14.  
  15. print('10000张测试集中的准确率为: %d %%' % (100 * correct / total))


训练的准确率远比随机猜测(准确率10%)好，证明网络确实学到了东西。

 

4. 总结

本节学习的内容：

  • Tensor: 类似Numpy数组的数据结构，与Numpy接口类似，可方便地互相转换。
  • autograd/: 为tensor提供自动求导功能。
  • nn: 专门为神经网络设计的接口，提供了很多有用的功能(神经网络层，损失函数，优化器等)。
  • 神经网络训练: 以CIFAR-10分类为例演示了神经网络的训练流程，包括数据加载、网络搭建、训练及测试。

通过本节的学习，相信读者可以体会出PyTorch具有接口简单、使用灵活等特点。从下一篇博客开始，将深入系统地讲解PyTorch的各部分知识。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号