devbox
笔触狂放9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

CNN经典网络模型（四）：GoogLeNet简介及代码实现（PyTorch超详细注释版）_googlenet代码

作者：笔触狂放9 | 2024-03-30 03:20:29

赞

踩

googlenet代码

目录

一、开发背景

二、网络结构

三、模型特点

四、代码实现

1. model.py

2. train.py

3. predict.py

4. spilit_data.py

五、参考内容

一、开发背景

GoogLeNet在2014年由Google团队提出， 斩获当年ImageNet(ILSVRC14)竞赛中Classification Task (分类任务) 第一名，VGG获得了第二名，为了向“LeNet”致敬，因此取名为“GoogLeNet”。

GoogLeNet做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多。GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择，从模型结果来看，GoogLeNet的性能也更加优越。

二、网络结构

GoogLeNet 总共有22层，由 9 个 Inception v1 模块和 5 个池化层以及其他一些卷积层和全连接层构成。该网络有3个输出层，其中的两个是辅助分类层，如下图所示：

清晰图见：https://nndl.github.io/v/cnn-googlenet

inception v1结构

传统网络为了减少参数量，减小过拟合，将全连接和一般卷积转化为随机稀疏连接，但是计算机硬件对非均匀稀疏数据的计算效率差。为了既保持网络结构的稀疏性，又能利用密集矩阵的高计算性能，GoogLeNet提出了一种并联结构，Inception网络结构。其主要思想是寻找用密集成分来近似最优局部稀疏连接，通过构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

下图是论文中提出的inception v1结构。Inception块由四条并行路径组成，前三条路径使用窗口大小为1×1、3×3和5×5的卷积层，从不同空间大小中提取信息。中间的两条路径在输入上执行1×1卷积，以减少通道数，减少模型训练参数，从而降低模型的复杂性。第四条路径使用3×3最大汇聚层，然后使用1×1卷积层来改变通道数。这四条路径都使用合适的填充来使输入与输出的高和宽一致，以保证输出特征能在通道维度上进行拼接。最后我们将每条线路的输出在通道维度上连结，并构成Inception块的输出。Inception块的通道数分配之比是在ImageNet数据集上通过大量的实验得来的。如下图所示：

注：CNN参数个数 = 卷积核尺寸×卷积核深度 × 卷积核组数 = 卷积核尺寸 × 输入特征矩阵深度 × 输出特征矩阵深度

辅助分类器（Auxiliary Classifier）

网络主干右边的两个分支就是辅助分类器，他们也能预测图片的类别，其结构一模一样。它确保了即便是隐藏单元和中间层也参与了特征计算，在inception网络中起到一种调整的效果，避免梯度消失。在训练模型时，将两个辅助分类器的损失乘以权重（论文中是0.3）加到网络的整体损失上，再进行反向传播。实际预测时，这两个辅助分类器会被去掉。如下图所示：

三、模型特点

  1. 采用了模块化的结构，方便增添和修改；
  2. 引入Inception结构，在加深的基础上进行加宽，稀疏的网络结构，但能产生稠密的数据，既能改善神经网络表现，又能保证计算资源的使用效率，并且它通过不同窗口大小的卷积层和最大池化层来并行抽取信息，融合不同尺度的特征信息；
  3. 使用1x1的卷积核减少通道数来减少计算量和参数，从而降低模型复杂度；
  4. 添加两个辅助分类器帮助训练，其实这种训练方式可以看作将几个不同深度的子网络合并到一块进行训练，由于网络的卷积核共享，因此计算的梯度可以累加，这样最终的梯度便不会很小甚至消失；
  5. 采用全局平均池化层来代替全连接层，大大减少模型参数，除去两个辅助分类器，网络大小只有VGG的1/20，准确率提高0.6%，实际在最后还是加了一个全连接层，便于对输出进行灵活调整；
  6. Googlenet提出了多尺度融合的网络结构，这种结构非常有意义，在目标检测领域应用非常广泛，目标检测的特征金字塔特征融合的方法和网络结构正是借鉴了Googlenet的思想。

四、代码实现

  • model.py ：定义GoogLeNet网络模型
  • train.py：加载数据集并训练，计算loss和accuracy，保存训练好的网络参数
  • predict.py：用自己的数据集进行分类测试
  • spilit_data.py：划分给定的数据集为训练集和测试集

1. model.py

  1. import torch
  2. import torch.nn as nn
  3. import torch.nn.functional as F
  4.  
  5. # 定义GoogLeNet网络模型
  6. class GoogLeNet(nn.Module):
  7.     # init()：进行初始化，申明模型中各层的定义
  8.     # num_classes：需要分类的类别个数
  9.     # aux_logits：训练过程是否使用辅助分类器，init_weights：是否对网络进行权重初始化
  10.     def __init__(self, num_classes=1000, aux_logits=True, init_weights=False):
  11.         super(GoogLeNet, self).__init__()
  12.         self.aux_logits = aux_logits
  13.  
  14.         self.conv1 = BasicConv2d(3, 64, kernel_size=7, stride=2, padding=3)
  15.         # ceil_mode=true时，将不够池化的数据自动补足NAN至kernel_size大小
  16.         self.maxpool1 = nn.MaxPool2d(3, stride=2, ceil_mode=True)
  17.  
  18.         self.conv2 = BasicConv2d(64, 64, kernel_size=1)
  19.         self.conv3 = BasicConv2d(64, 192, kernel_size=3, padding=1)
  20.         self.maxpool2 = nn.MaxPool2d(3, stride=2, ceil_mode=True)
  21.  
  22.         self.inception3a = Inception(192, 64, 96, 128, 16, 32, 32)
  23.         self.inception3b = Inception(256, 128, 128, 192, 32, 96, 64)
  24.         self.maxpool3 = nn.MaxPool2d(3, stride=2, ceil_mode=True)
  25.  
  26.         self.inception4a = Inception(480, 192, 96, 208, 16, 48, 64)
  27.         self.inception4b = Inception(512, 160, 112, 224, 24, 64, 64)
  28.         self.inception4c = Inception(512, 128, 128, 256, 24, 64, 64)
  29.         self.inception4d = Inception(512, 112, 144, 288, 32, 64, 64)
  30.         self.inception4e = Inception(528, 256, 160, 320, 32, 128, 128)
  31.         self.maxpool4 = nn.MaxPool2d(3, stride=2, ceil_mode=True)
  32.  
  33.         self.inception5a = Inception(832, 256, 160, 320, 32, 128, 128)
  34.         self.inception5b = Inception(832, 384, 192, 384, 48, 128, 128)
  35.  
  36.         # 如果为真，则使用分类器
  37.         if self.aux_logits:
  38.             self.aux1 = InceptionAux(512, num_classes)
  39.             self.aux2 = InceptionAux(528, num_classes)
  40.         # AdaptiveAvgPool2d：自适应平均池化，指定输出（H，W）
  41.         self.avgpool = nn.AdaptiveAvgPool2d((1, 1))
  42.         self.dropout = nn.Dropout(0.4)
  43.         self.fc = nn.Linear(1024, num_classes)
  44.         # 如果为真，则对网络参数进行初始化
  45.         if init_weights:
  46.             self._initialize_weights()
  47.  
  48.     # forward()：定义前向传播过程,描述了各层之间的连接关系
  49.     def forward(self, x):
  50.         # N x 3 x 224 x 224
  51.         x = self.conv1(x)
  52.         # N x 64 x 112 x 112
  53.         x = self.maxpool1(x)
  54.         # N x 64 x 56 x 56
  55.         x = self.conv2(x)
  56.         # N x 64 x 56 x 56
  57.         x = self.conv3(x)
  58.         # N x 192 x 56 x 56
  59.         x = self.maxpool2(x)
  60.  
  61.         # N x 192 x 28 x 28
  62.         x = self.inception3a(x)
  63.         # N x 256 x 28 x 28
  64.         x = self.inception3b(x)
  65.         # N x 480 x 28 x 28
  66.         x = self.maxpool3(x)
  67.         # N x 480 x 14 x 14
  68.         x = self.inception4a(x)
  69.         # N x 512 x 14 x 14
  70.         # 设置.train()时为训练模式，self.training=True
  71.         if self.training and self.aux_logits:
  72.             aux1 = self.aux1(x)
  73.  
  74.         x = self.inception4b(x)
  75.         # N x 512 x 14 x 14
  76.         x = self.inception4c(x)
  77.         # N x 512 x 14 x 14
  78.         x = self.inception4d(x)
  79.         # N x 528 x 14 x 14
  80.         if self.training and self.aux_logits:
  81.             aux2 = self.aux2(x)
  82.  
  83.         x = self.inception4e(x)
  84.         # N x 832 x 14 x 14
  85.         x = self.maxpool4(x)
  86.         # N x 832 x 7 x 7
  87.         x = self.inception5a(x)
  88.         # N x 832 x 7 x 7
  89.         x = self.inception5b(x)
  90.         # N x 1024 x 7 x 7
  91.  
  92.         x = self.avgpool(x)
  93.         # N x 1024 x 1 x 1
  94.         x = torch.flatten(x, 1)
  95.         # N x 1024
  96.         x = self.dropout(x)
  97.         x = self.fc(x)
  98.         # N x 1000 (num_classes)
  99.         if self.training and self.aux_logits:
  100.             return x, aux2, aux1
  101.         return x
  102.  
  103.     # 网络结构参数初始化
  104.     def _initialize_weights(self):
  105.         # 遍历网络中的每一层
  106.         for m in self.modules():
  107.             # isinstance(object, type)，如果指定的对象拥有指定的类型，则isinstance()函数返回True
  108.             # 如果是卷积层
  109.             if isinstance(m, nn.Conv2d):
  110.                 # Kaiming正态分布方式的权重初始化
  111.                 nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
  112.                 # 如果偏置不是0，将偏置置成0，对偏置进行初始化
  113.                 if m.bias is not None:
  114.                     # torch.nn.init.constant_(tensor, val)，初始化整个矩阵为常数val
  115.                     nn.init.constant_(m.bias, 0)
  116.             # 如果是全连接层
  117.             elif isinstance(m, nn.Linear):
  118.                 # init.normal_(tensor, mean=0.0, std=1.0)，使用从正态分布中提取的值填充输入张量
  119.                 # 参数：tensor：一个n维Tensor，mean：正态分布的平均值，std：正态分布的标准差
  120.                 nn.init.normal_(m.weight, 0, 0.01)
  121.                 nn.init.constant_(m.bias, 0)
  122.  
  123. # 基础卷积层（卷积 + ReLU）
  124. class BasicConv2d(nn.Module):
  125.     # init()：进行初始化，申明模型中各层的定义
  126.     def __init__(self, in_channels, out_channels, **kwargs):
  127.         super(BasicConv2d, self).__init__()
  128.         self.conv = nn.Conv2d(in_channels, out_channels, **kwargs)
  129.         # ReLU(inplace=True)：将tensor直接修改，不找变量做中间的传递，节省运算内存，不用多存储额外的变量
  130.         self.relu = nn.ReLU(inplace=True)
  131.  
  132.     # 前向传播过程
  133.     def forward(self, x):
  134.         x = self.conv(x)
  135.         x = self.relu(x)
  136.         return x
  137.  
  138. # Inception结构
  139. class Inception(nn.Module):
  140.     # init()：进行初始化
  141.     def __init__(self, in_channels, ch1x1, ch3x3red, ch3x3, ch5x5red, ch5x5, pool_proj):
  142.         super(Inception, self).__init__()
  143.         # 分支1，单1x1卷积层
  144.         self.branch1 = BasicConv2d(in_channels, ch1x1, kernel_size=1)
  145.         # 分支2，1x1卷积层后接3x3卷积层
  146.         self.branch2 = nn.Sequential(
  147.             BasicConv2d(in_channels, ch3x3red, kernel_size=1),
  148.             # 保证输出大小等于输入大小
  149.             BasicConv2d(ch3x3red, ch3x3, kernel_size=3, padding=1)
  150.         )
  151.         # 分支3，1x1卷积层后接5x5卷积层
  152.         self.branch3 = nn.Sequential(
  153.             BasicConv2d(in_channels, ch5x5red, kernel_size=1),
  154.             # 保证输出大小等于输入大小
  155.             BasicConv2d(ch5x5red, ch5x5, kernel_size=5, padding=2)
  156.         )
  157.         # 分支4，3x3最大池化层后接1x1卷积层
  158.         self.branch4 = nn.Sequential(
  159.             nn.MaxPool2d(kernel_size=3, stride=1, padding=1),
  160.             BasicConv2d(in_channels, pool_proj, kernel_size=1)
  161.         )
  162.     # forward()：定义前向传播过程,描述了各层之间的连接关系
  163.     def forward(self, x):
  164.         branch1 = self.branch1(x)
  165.         branch2 = self.branch2(x)
  166.         branch3 = self.branch3(x)
  167.         branch4 = self.branch4(x)
  168.  
  169.         # 在通道维上连结输出
  170.         outputs = [branch1, branch2, branch3, branch4]
  171.         # cat()：在给定维度上对输入的张量序列进行连接操作
  172.         return torch.cat(outputs, 1)
  173.  
  174. # 辅助分类器
  175. class InceptionAux(nn.Module):
  176.     # init()：进行初始化
  177.     def __init__(self, in_channels, num_classes):
  178.         super(InceptionAux, self).__init__()
  179.         self.averagePool = nn.AvgPool2d(kernel_size=5, stride=3)
  180.         self.conv = BasicConv2d(in_channels, 128, kernel_size=1)
  181.         # 上一层output[batch, 128, 4, 4]，128X4X4=2048
  182.         self.fc1 = nn.Linear(2048, 1024)
  183.         self.fc2 = nn.Linear(1024, num_classes)
  184.  
  185.     # 前向传播过程
  186.     def forward(self, x):
  187.         # 输入：分类器1：Nx512x14x14，分类器2：Nx528x14x14
  188.         x = self.averagePool(x)
  189.         # 输入：分类器1：Nx512x14x14，分类器2：Nx528x14x14
  190.         x = self.conv(x)
  191.         # 输入：N x 128 x 4 x 4
  192.         x = torch.flatten(x, 1)
  193.         # 设置.train()时为训练模式，self.training=True
  194.         x = F.dropout(x, 0.5, training=self.training)
  195.         # 输入：N x 2048
  196.         x = F.relu(self.fc1(x), inplace=True)
  197.         x = F.dropout(x, 0.5, training=self.training)
  198.         # 输入：N x 1024
  199.         x = self.fc2(x)
  200.         # 返回值：N*num_classes
  201.         return x

2. train.py

  1. import os
  2. import sys
  3. import json
  4.  
  5. import torch
  6. import torch.nn as nn
  7. from torchvision import transforms, datasets
  8. import torch.optim as optim
  9. from tqdm import tqdm
  10.  
  11. from model import GoogLeNet
  12.  
  13.  
  14. def main():
  15.     # 如果有NVIDA显卡，转到GPU训练，否则用CPU
  16.     device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
  17.     print("using {} device.".format(device))
  18.  
  19.     data_transform = {
  20.         # Compose()：将多个transforms的操作整合在一起
  21.         # 训练
  22.         "train": transforms.Compose([
  23.             # RandomResizedCrop(224)：将给定图像随机裁剪为不同的大小和宽高比，然后缩放所裁剪得到的图像为给定大小
  24.             transforms.RandomResizedCrop(224),
  25.             # RandomVerticalFlip()：以0.5的概率竖直翻转给定的PIL图像
  26.             transforms.RandomHorizontalFlip(),
  27.             # ToTensor()：数据转化为Tensor格式
  28.             transforms.ToTensor(),
  29.             # Normalize()：将图像的像素值归一化到[-1,1]之间，使模型更容易收敛
  30.             transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]),
  31.         # 验证
  32.         "val": transforms.Compose([transforms.Resize((224, 224)),
  33.                                    transforms.ToTensor(),
  34.                                    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])}
  35.  
  36.     # abspath()：获取文件当前目录的绝对路径
  37.     # join()：用于拼接文件路径，可以传入多个路径
  38.     # getcwd()：该函数不需要传递参数，获得当前所运行脚本的路径
  39.     data_root = os.path.abspath(os.getcwd())
  40.     # 得到数据集的路径
  41.     image_path = os.path.join(data_root, "flower_data")
  42.     # exists()：判断括号里的文件是否存在，可以是文件路径
  43.     # 如果image_path不存在，序会抛出AssertionError错误，报错为参数内容“ ”
  44.     assert os.path.exists(image_path), "{} path does not exist.".format(image_path)
  45.  
  46.     # 加载训练数据集
  47.     # ImageFolder：假设所有的文件按文件夹保存，每个文件夹下存储同一个类别的图片，文件夹名为类名，其构造函数如下：
  48.     # ImageFolder(root, transform=None, target_transform=None, loader=default_loader)
  49.     # root：在指定路径下寻找图片，transform：对PILImage进行的转换操作，输入是使用loader读取的图片
  50.     train_dataset = datasets.ImageFolder(root=os.path.join(image_path, "train"),
  51.                                          transform=data_transform["train"])
  52.     # 训练集长度
  53.     train_num = len(train_dataset)
  54.  
  55.     # {'daisy':0, 'dandelion':1, 'roses':2, 'sunflower':3, 'tulips':4}
  56.     # class_to_idx：获取分类名称对应索引
  57.     flower_list = train_dataset.class_to_idx
  58.     # dict()：创建一个新的字典
  59.     # 循环遍历数组索引并交换val和key的值重新赋值给数组，这样模型预测的直接就是value类别值
  60.     cla_dict = dict((val, key) for key, val in flower_list.items())
  61.     # 把字典编码成json格式
  62.     json_str = json.dumps(cla_dict, indent=4)
  63.     # 把字典类别索引写入json文件
  64.     with open('class_indices.json', 'w') as json_file:
  65.         json_file.write(json_str)
  66.  
  67.     # 一次训练载入32张图像
  68.     batch_size = 32
  69.     # 确定进程数
  70.     # min()：返回给定参数的最小值，参数可以为序列
  71.     # cpu_count()：返回一个整数值，表示系统中的CPU数量，如果不确定CPU的数量，则不返回任何内容
  72.     nw = min([os.cpu_count(), batch_size if batch_size > 1 else 0, 8])
  73.     print('Using {} dataloader workers every process'.format(nw))
  74.     # DataLoader：将读取的数据按照batch size大小封装给训练集
  75.     # dataset (Dataset)：输入的数据集
  76.     # batch_size (int, optional)：每个batch加载多少个样本，默认: 1
  77.     # shuffle (bool, optional)：设置为True时会在每个epoch重新打乱数据，默认: False
  78.     # num_workers(int, optional): 决定了有几个进程来处理，默认为0意味着所有的数据都会被load进主进程
  79.     train_loader = torch.utils.data.DataLoader(train_dataset,
  80.                                                batch_size=batch_size, shuffle=True,
  81.                                                num_workers=nw)
  82.  
  83.     # 加载测试数据集
  84.     validate_dataset = datasets.ImageFolder(root=os.path.join(image_path, "val"),
  85.                                             transform=data_transform["val"])
  86.     # 测试集长度
  87.     val_num = len(validate_dataset)
  88.     validate_loader = torch.utils.data.DataLoader(validate_dataset,
  89.                                                   batch_size=batch_size, shuffle=False,
  90.                                                   num_workers=nw)
  91.  
  92.     print("using {} images for training, {} images for validation.".format(train_num,
  93.                                                                            val_num))
  94.  
  95.     # 模型实例化，将模型转到device
  96.     net = GoogLeNet(num_classes=5, aux_logits=True, init_weights=True)
  97.     net.to(device)
  98.  
  99.     # 定义损失函数（交叉熵损失）
  100.     loss_function = nn.CrossEntropyLoss()
  101.  
  102.     # 定义adam优化器
  103.     # params(iterable)：要训练的参数，一般传入的是model.parameters()
  104.     # lr(float)：learning_rate学习率，也就是步长，默认：1e-3
  105.     optimizer = optim.Adam(net.parameters(), lr=0.0003)
  106.  
  107.     # 迭代次数（训练次数）
  108.     epochs = 30
  109.     # 用于判断最佳模型
  110.     best_acc = 0.0
  111.     # 最佳模型保存地址
  112.     save_path = './googleNet.pth'
  113.     train_steps = len(train_loader)
  114.     for epoch in range(epochs):
  115.         # 训练
  116.         net.train()
  117.         running_loss = 0.0
  118.         # tqdm：进度条显示
  119.         train_bar = tqdm(train_loader, file=sys.stdout)
  120.         # train_bar: 传入数据（数据包括：训练数据和标签）
  121.         # enumerate()：将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在for循环当中
  122.         # enumerate返回值有两个：一个是序号，一个是数据（包含训练数据和标签）
  123.         # x：训练数据（inputs）(tensor类型的），y：标签（labels）(tensor类型）
  124.         for step, data in enumerate(train_bar):
  125.             # 前向传播
  126.             images, labels = data
  127.             # 计算训练值
  128.             logits, aux_logits2, aux_logits1 = net(images.to(device))
  129.             # GoogLeNet的网络输出loss有三个部分，分别是主干输出loss、两个辅助分类器输出loss（权重0.3）
  130.             loss0 = loss_function(logits, labels.to(device))
  131.             loss1 = loss_function(aux_logits1, labels.to(device))
  132.             loss2 = loss_function(aux_logits2, labels.to(device))
  133.             loss = loss0 + loss1 * 0.3 + loss2 * 0.3
  134.             # 反向传播
  135.             # 清空过往梯度
  136.             optimizer.zero_grad()
  137.             # 反向传播，计算当前梯度
  138.             loss.backward()
  139.             # 根据梯度更新网络参数
  140.             optimizer.step()
  141.             # item()：得到元素张量的元素值
  142.             running_loss += loss.item()
  143.  
  144.             # 进度条的前缀
  145.             # .3f：表示浮点数的精度为3（小数位保留3位）
  146.             train_bar.desc = "train epoch[{}/{}] loss:{:.3f}".format(epoch + 1,
  147.                                                                      epochs,
  148.                                                                      loss)
  149.  
  150.         # 测试
  151.         # eval()：如果模型中Batch Normalization和Dropout，则不启用，以防改变权值
  152.         net.eval()
  153.         acc = 0.0
  154.         # 清空历史梯度，与训练最大的区别是测试过程中取消了反向传播
  155.         with torch.no_grad():
  156.             val_bar = tqdm(validate_loader, file=sys.stdout)
  157.             for val_data in val_bar:
  158.                 val_images, val_labels = val_data
  159.                 outputs = net(val_images.to(device))
  160.                 # torch.max(input, dim)函数
  161.                 # input是具体的tensor，dim是max函数索引的维度，0是每列的最大值，1是每行的最大值输出
  162.                 # 函数会返回两个tensor，第一个tensor是每行的最大值；第二个tensor是每行最大值的索引
  163.                 predict_y = torch.max(outputs, dim=1)[1]
  164.                 # 对两个张量Tensor进行逐元素的比较，若相同位置的两个元素相同，则返回True；若不同，返回False
  165.                 # .sum()对输入的tensor数据的某一维度求和
  166.                 acc += torch.eq(predict_y, val_labels.to(device)).sum().item()
  167.  
  168.         val_accurate = acc / val_num
  169.         print('[epoch %d] train_loss: %.3f  val_accuracy: %.3f' %
  170.               (epoch + 1, running_loss / train_steps, val_accurate))
  171.  
  172.         # 保存最好的模型权重
  173.         if val_accurate > best_acc:
  174.             best_acc = val_accurate
  175.             # torch.save(state, dir)保存模型等相关参数，dir表示保存文件的路径+保存文件名
  176.             # model.state_dict()：返回的是一个OrderedDict，存储了网络结构的名字和对应的参数
  177.             torch.save(net.state_dict(), save_path)
  178.  
  179.     print('Finished Training')
  180.  
  181.  
  182. if __name__ == '__main__':
  183.     main()

3. predict.py

  1. import os
  2. import json
  3.  
  4. import torch
  5. from PIL import Image
  6. from torchvision import transforms
  7. import matplotlib.pyplot as plt
  8.  
  9. from model import GoogLeNet
  10.  
  11.  
  12. def main():
  13.     # 如果有NVIDA显卡,转到GPU训练，否则用CPU
  14.     device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
  15.  
  16.     # 将多个transforms的操作整合在一起
  17.     data_transform = transforms.Compose(
  18.         [transforms.Resize((224, 224)),
  19.          transforms.ToTensor(),
  20.          transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
  21.  
  22.     # 加载图片
  23.     img_path = "../tulip.jpg"
  24.     # 确定图片存在，否则反馈错误
  25.     assert os.path.exists(img_path), "file: '{}' dose not exist.".format(img_path)
  26.     img = Image.open(img_path)
  27.     # imshow()：对图像进行处理并显示其格式，show()则是将imshow()处理后的函数显示出来
  28.     plt.imshow(img)
  29.     # [C, H, W]，转换图像格式
  30.     img = data_transform(img)
  31.     # [N, C, H, W]，增加一个维度N
  32.     img = torch.unsqueeze(img, dim=0)
  33.  
  34.     # 获取结果类型
  35.     json_path = './class_indices.json'
  36.     # 确定路径存在，否则反馈错误
  37.     assert os.path.exists(json_path), "file: '{}' dose not exist.".format(json_path)
  38.     # 读取内容
  39.     with open(json_path, "r") as f:
  40.         class_indict = json.load(f)
  41.  
  42.     # 模型实例化，将模型转到device，结果类型有5种
  43.     # 实例化模型时不需要辅助分类器
  44.     model = GoogLeNet(num_classes=5, aux_logits=False).to(device)
  45.     # 载入模型权重
  46.     weights_path = "./googleNet.pth"
  47.     # 确定模型存在，否则反馈错误
  48.     assert os.path.exists(weights_path), "file: '{}' dose not exist.".format(weights_path)
  49.     # 在加载训练好的模型参数时，由于其中是包含有辅助分类器的，需要设置strict=False舍弃不需要的参数
  50.     missing_keys, unexpected_keys = model.load_state_dict(torch.load(weights_path, map_location=device),
  51.                                                           strict=False)
  52.     # 进入验证阶段
  53.     model.eval()
  54.     with torch.no_grad():
  55.         # 预测类别
  56.         # squeeze()：维度压缩，返回一个tensor（张量），其中input中大小为1的所有维都已删除
  57.         output = torch.squeeze(model(img.to(device))).cpu()
  58.         # softmax：归一化指数函数，将预测结果输入进行非负性和归一化处理，最后将某一维度值处理为0-1之内的分类概率
  59.         predict = torch.softmax(output, dim=0)
  60.         # argmax(input)：返回指定维度最大值的序号
  61.         # .numpy()：把tensor转换成numpy的格式
  62.         predict_cla = torch.argmax(predict).numpy()
  63.  
  64.     # 输出的预测值与真实值
  65.     print_res = "class: {}   prob: {:.3}".format(class_indict[str(predict_cla)],
  66.                                                  predict[predict_cla].numpy())
  67.     # 图片标题
  68.     plt.title(print_res)
  69.     for i in range(len(predict)):
  70.         print("class: {:10}   prob: {:.3}".format(class_indict[str(i)],
  71.                                                   predict[i].numpy()))
  72.     plt.show()
  73.  
  74.  
  75. if __name__ == '__main__':
  76.     main()

4. spilit_data.py

  1. import os
  2. from shutil import copy, rmtree
  3. import random
  4.  
  5.  
  6. def mk_file(file_path: str):
  7.     if os.path.exists(file_path):
  8.         # 如果文件夹存在，则先删除原文件夹在重新创建
  9.         rmtree(file_path)
  10.     os.makedirs(file_path)
  11.  
  12.  
  13. def main():
  14.     # 保证随机可复现
  15.     random.seed(0)
  16.  
  17.     # 将数据集中10%的数据划分到验证集中
  18.     split_rate = 0.1
  19.  
  20.     # 指向解压后的flower_photos文件夹
  21.     # getcwd()：该函数不需要传递参数，获得当前所运行脚本的路径
  22.     cwd = os.getcwd()
  23.     # join()：用于拼接文件路径，可以传入多个路径
  24.     data_root = os.path.join(cwd, "flower_data")
  25.     origin_flower_path = os.path.join(data_root, "flower_photos")
  26.     # 确定路径存在，否则反馈错误
  27.     assert os.path.exists(origin_flower_path), "path '{}' does not exist.".format(origin_flower_path)
  28.     # isdir()：判断某一路径是否为目录
  29.     # listdir()：返回指定的文件夹包含的文件或文件夹的名字的列表
  30.     flower_class = [cla for cla in os.listdir(origin_flower_path)
  31.                     if os.path.isdir(os.path.join(origin_flower_path, cla))]
  32.  
  33.     # 创建训练集train文件夹，并由类名在其目录下创建子目录
  34.     train_root = os.path.join(data_root, "train")
  35.     mk_file(train_root)
  36.     for cla in flower_class:
  37.         # 建立每个类别对应的文件夹
  38.         mk_file(os.path.join(train_root, cla))
  39.  
  40.     # 创建验证集val文件夹，并由类名在其目录下创建子目录
  41.     val_root = os.path.join(data_root, "val")
  42.     mk_file(val_root)
  43.     for cla in flower_class:
  44.         # 建立每个类别对应的文件夹
  45.         mk_file(os.path.join(val_root, cla))
  46.  
  47.     # 遍历所有类别的图像并按比例分成训练集和验证集
  48.     for cla in flower_class:
  49.         cla_path = os.path.join(origin_flower_path, cla)
  50.         # iamges列表存储了该目录下所有图像的名称
  51.         images = os.listdir(cla_path)
  52.         num = len(images)
  53.         # 随机采样验证集的索引
  54.         # 从images列表中随机抽取k个图像名称
  55.         # random.sample：用于截取列表的指定长度的随机数，返回列表
  56.         # eval_index保存验证集val的图像名称
  57.         eval_index = random.sample(images, k=int(num*split_rate))
  58.         for index, image in enumerate(images):
  59.             if image in eval_index:
  60.                 # 将分配至验证集中的文件复制到相应目录
  61.                 image_path = os.path.join(cla_path, image)
  62.                 new_path = os.path.join(val_root, cla)
  63.                 copy(image_path, new_path)
  64.             else:
  65.                 # 将分配至训练集中的文件复制到相应目录
  66.                 image_path = os.path.join(cla_path, image)
  67.                 new_path = os.path.join(train_root, cla)
  68.                 copy(image_path, new_path)
  69.                 # '\r'回车，回到当前行的行首，而不会换到下一行，如果接着输出，本行以前的内容会被逐一覆盖
  70.                 # end=""：将print自带的换行用end中指定的str代替
  71.             print("\r[{}] processing [{}/{}]".format(cla, index+1, num), end="")
  72.         print()
  73.  
  74.     print("processing done!")
  75.  
  76.  
  77. if __name__ == '__main__':
  78.     main()

五、参考内容

1.文章

Going Deeper with Convolutionshttps://arxiv.org/abs/1409.4842

含并行连结的网络（GoogLeNet）http://zh-v2.d2l.ai/chapter_convolutional-modern/googlenet.html

2.视频

使用pytorch搭建GoogLeNet网络https://www.bilibili.com/video/BV1r7411T7M5/?spm_id_from=333.788&vd_source=78dedbc0ab33a4edb884e1ef98f3c6b8

GoogLeNet代码（超详细注释）+数据集下载地址：

https://download.csdn.net/download/qq_43307074/86731566?spm=1001.2014.3001.5503

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/338810
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号