李沐动手学深度学习V2-全卷积网络FCN和代码实现_全卷积网络代码

一.全卷积网络FCN

1. 介绍

语义分割是对图像中的每个像素分类，全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换 ，与前面在图像分类或目标检测部分介绍的卷积神经网络不同，全卷积网络通过转置卷积层将中间层特征图的高和宽变换回输入图像的尺寸，因此输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。

2. 模型构造

如下图所示为全卷积网络模型最基本的设计，全卷积网络先使用卷积神经网络抽取图像特征，然后通过 1×1 卷积层将通道数变换为类别个数（1x1卷积层作用：融合相同空间位置上面的通道信息，改变通道数，减少计算量，能够降低对边缘特征位置（锐化）敏感性），最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。 因此，模型输出与输入图像的高和宽相同，且最终输出通道包含了该空间位置像素的类别预测。

下面使用在ImageNet数据集上预训练的ResNet-18模型来提取图像特征，注意ResNet-18模型的最后几层包括全局平均汇聚层和全连接层，而全卷积网络中不需要它们。

import torch
import d2l.torch
import torchvision
from torch import nn
from torch.nn import functional as F
pretrained_net = torchvision.models.resnet18(pretrained=True)
list(pretrained_net.children())
1
2
3
4
5
6
7

接下来创建一个全卷积网络net，它复制了ResNet-18中前面大部分的预训练层，除了最后的全局平均汇聚层和全连接层，给定高为320和宽为480的输入，net的前向传播将输入的高和宽减小至原来的 1/32 ，即10和15。

net = nn.Sequential(*list(pretrained_net.children())[:-2])
num_classes = 21
X =torch.rand(size=(1,3,320,480))
Y = net(X)
Y.shape
1
2
3
4
5

接下来使用$1\times 1$卷积层将输出通道数转换为Pascal VOC2012数据集的类数（21类）。最后需要将特征图的高度和宽度增加32倍，从而将其变回输入图像的高和宽。
卷积层输出形状的计算方法：由于$(320-64+16\times 2+32)/32=10$且$(480-64+16\times 2+32)/32=15$，因此构造一个步幅为$32$的转置卷积层，并将卷积核的高和宽设为$64$，填充为$16$。这是因为需要将经过net前向传播后得到的特征图形状大小(h=10,w=15)变为输入的形状大小(h=320,w=480)，因此需要将特征图高和宽扩大32倍，根据转置卷积的尺寸形状计算方法（上一篇博客转置卷积计算方法：（李沐动手学深度学习V2-转置卷积和代码实现）），需要满足K = 2P+S条件，由于K=64，S = 32，因此P=16。也即是如果步幅为$s$，填充为$s/2$（假设$s/2$是整数）且卷积核的高和宽为$2s$，转置卷积核会将输入的高和宽分别放大$s$倍。

3. 转置卷积初始化

在图像处理中有时需要将图像放大即上采样（upsampling）,双线性插值（bilinear interpolation） 是常用的上采样方法之一，它也经常用于初始化转置卷积层。
为了解释双线性插值，假设给定输入图像，计算上采样输出图像上的每个像素。 首先将输出图像的坐标 (