【深度学习】Pytorch 系列教程（二）：PyTorch数据结构：1、Tensor（张量）： GPU加速（GPU Acceleration）

一、前言

ChatGPT：

  PyTorch是一个开源的机器学习框架，广泛应用于深度学习领域。它提供了丰富的工具和库，用于构建和训练各种类型的神经网络模型。下面是PyTorch的一些详细介绍：

• 动态计算图：PyTorch使用动态计算图的方式进行计算，这意味着在运行时可以动态地定义、修改和调整计算图，使得模型的构建和调试更加灵活和直观。
• 强大的GPU加速支持：PyTorch充分利用GPU进行计算，可以大幅提升训练和推理的速度。它提供了针对GPU的优化操作和内存管理，使得在GPU上运行模型更加高效。
• 自动求导：PyTorch内置了自动求导的功能，可以根据定义的计算图自动计算梯度。这简化了反向传播算法的实现，使得训练神经网络模型更加便捷。
• 大量的预训练模型和模型库：PyTorch生态系统中有许多预训练的模型和模型库可供使用，如TorchVision、TorchText和TorchAudio等，可以方便地加载和使用这些模型，加快模型开发的速度。
• 高级抽象接口：PyTorch提供了高级抽象接口，如nn.Module和nn.functional，用于快速构建神经网络模型。这些接口封装了常用的神经网络层和函数，简化了模型的定义和训练过程。
• 支持分布式训练：PyTorch支持在多个GPU和多台机器上进行分布式训练，可以加速训练过程，处理大规模的数据和模型。

  总体而言，PyTorch提供了一个灵活而强大的平台，使得深度学习的研究和开发更加便捷和高效。它的简洁的API和丰富的功能使得用户可以快速实现复杂的神经网络模型，并在各种任务中取得优秀的性能。

二、实验环境

  本系列实验使用如下环境

conda create -n DL python==3.11
1

conda activate DL
1

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
1

三、PyTorch数据结构

0、分类

• Tensor（张量）：Tensor是PyTorch中最基本的数据结构，类似于多维数组。它可以表示标量、向量、矩阵或任意维度的数组。
• Tensor的操作：PyTorch提供了丰富的操作函数，用于对Tensor进行各种操作，如数学运算、统计计算、张量变形、索引和切片等。这些操作函数能够高效地利用GPU进行并行计算，加速模型训练过程。
• Variable（变量）：Variable是对Tensor的封装，用于自动求导。在PyTorch中，Variable会自动跟踪和记录对其进行的操作，从而构建计算图并支持自动求导。在PyTorch 0.4.0及以后的版本中，Variable被废弃，可以直接使用Tensor来进行自动求导。
• Dataset（数据集）：Dataset是一个抽象类，用于表示数据集。通过继承Dataset类，可以自定义数据集，并实现数据加载、预处理和获取样本等功能。PyTorch还提供了一些内置的数据集类，如MNIST、CIFAR-10等，用于方便地加载常用的数据集。
• DataLoader（数据加载器）：DataLoader用于将Dataset中的数据按批次加载，并提供多线程和多进程的数据预读功能。它可以高效地加载大规模的数据集，并支持数据的随机打乱、并行加载和数据增强等操作。
• Module（模块）：Module是PyTorch中用于构建模型的基类。通过继承Module类，可以定义自己的模型，并实现前向传播和反向传播等方法。Module提供了参数管理、模型保存和加载等功能，方便模型的训练和部署。

1、Tensor（张量）

  Tensor（张量）是PyTorch中用于表示多维数据的主要数据结构，类似于多维数组，可以存储和操作数字数据。

1. 维度（Dimensions）

  Tensor（张量）的维度（Dimensions）是指张量的轴数或阶数。在PyTorch中，可以使用size()方法获取张量的维度信息，使用dim()方法获取张量的轴数。

2. 数据类型（Data Types）

  PyTorch中的张量可以具有不同的数据类型：

• torch.float32或torch.float：32位浮点数张量。
• torch.float64或torch.double：64位浮点数张量。
• torch.float16或torch.half：16位浮点数张量。
• torch.int8：8位整数张量。
• torch.int16或torch.short：16位整数张量。
• torch.int32或torch.int：32位整数张量。
• torch.int64或torch.long：64位整数张量。
• torch.bool：布尔张量，存储True或False。

【深度学习】Pytorch 系列教程（一）：PyTorch数据结构：1、Tensor（张量）及其维度（Dimensions）、数据类型（Data Types）

3. GPU加速（GPU Acceleration）

  GPU（图形处理器）是一种强大的硬件设备，可以并行处理大量数据，加速深度学习任务的执行。在PyTorch中，可以使用GPU加速来进行张量计算。

查看可用gpu

import torch

# 检测系统中是否有可用的GPU
if torch.cuda.is_available():
    # 输出可用的GPU设备数量
    print(f"GPU可用，可用的GPU设备数量：{torch.cuda.device_count()}")
    # 输出每个可用GPU设备的名称
    for i in range(torch.cuda.device_count()):
        print(f"GPU设备 {i}: {torch.cuda.get_device_name(i)}")
else:
    print("GPU不可用")
1
2
3
4
5
6
7
8
9
10
11

张量移动

  要在GPU上执行张量计算，首先需要确保系统具有兼容的GPU并安装了相应的GPU驱动程序和CUDA（Compute Unified Device Architecture）工具包（详见实验环境部分）。接下来，使用以下步骤将张量移动到GPU上：

import torch
 
# 检查GPU是否可用
if torch.cuda.is_available():
    # 创建一个张量并将其移动到GPU上
    tensor = torch.tensor([1, 2, 3])
    tensor = tensor.to('cuda')
    print(tensor)
 
    # 进行张量计算
    result = tensor * 2
    print(result)
 
    # 将张量移回CPU
    result = result.to('cpu')
    print(result)
else:
    print("GPU不可用")
    
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

经典语句device

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
1

import torch


device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

x = torch.tensor([1, 2, 3]).to(device)
result = x * 2
print(result)

1
2
3
4
5
6
7
8
9