对于一般的分类CNN网络，如VGG和Resnet，都会在网络的最后加入一些全连接层，经过softmax后就可以获得类别概率信息。但是这个概率信息是1维的，即只能标识整个图片的类别，不能标识每个像素点的类别，所以这种全连接方法不适用于图像分割。而FCN提出可以把后面几个全连接都换成卷积，这样就可以获得一张二维的 feature map，后接 softmax 层获得每个像素点的分类信息，从而解决了分割问题，如图4。

图4

9.3.2 FCN网络结构

FCN对图像进行像素级的分类，从而解决了语义级别的图像分割（semantic segmentation）问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类（全连接层+softmax输出）不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上次采样的特征图上进行逐像素分类。下图是语义分割所采用的全卷积网络（FCN）的结构示意图：

9.3.3 全卷积网络举例

通常CNN网络在卷积层之后会接上若干个全连接层，将卷积层产生的特征图（feature map）映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都得到整个输入图像的一个概率向量。

如上图所示：

（1）在CNN中，猫的图片输入到AlexNet，得到一个长为1000的输出向量，表示输入图像属于每一类的概率，其中在“tabby cat”这一类统计概率最高，用来做分类任务。

（2）FCN与CNN的区别在于把CNN最后的全连接层转换成卷积层，输出的是一张已经带有标签的图片，而这个图片就可以做语义分割。

（3）CNN的强大之处在于它的多层结构能够自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。高层的抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高，所以我们常常可以将卷积层看作是特征提取器。

9.3.4 全连接层和卷积层如何相互转化

两者相互转换的可能性：

全连接层和卷积层之间唯一的不同就是卷积层中的神经元只与输入数据中的一个局部区域连接，并且在卷积列中的神经元共享参数。然而在两类层中，神经元都是计算点积，所以它们的函数形式是一样的。因此，将此两者相互转化是可能的：

（1）对于任一个卷积层，都存在一个能实现和它一样的前向传播函数的全连接层。权重矩阵是一个巨大的矩阵，除了某些特定块，其余部分都是零。而在其中大部分块中，元素都是相等的。

（2）任何全连接层都可以被转化为卷积层。比如VGG16中第一个全连接层是 25088*4096的数据尺寸，将它转化为 512*7*7*4096的数据尺寸，即一个 K=4096 的全连接层，输入数据体的尺寸是 7*7*512 ，这个全连接层可以被等效地看作一个 F=7，P=0，S=1，K=4096 的卷积层。换句话说，就是将滤波器的尺寸设置为和输入数据体的尺寸一致 7*7，这样输出就变为 1*1*4096，本质上和全连接层的输出是一样的。

输出激活数据体深度是由卷积核的数目决定的（K=4096）。

在两种变换中，将全连接层转化为卷积层在实际运用中更加有用。假设一个卷积神经网络的输入是227x227x3的图像，一系列的卷积层和下采样层将图像数据变为尺寸为7x7x512的激活数据体，AlexNet的处理方式为使用了两个尺寸为4096的全连接层。最后一个有1000个神经元的全连接层用于计算分类评分。我们可以将这3个全连接层中任意一个转化为卷积层：

（1）第一个连接区域是[7x7x512]的全连接层，令其滤波器尺寸为F=7,K=4096，这样输出数据体就为[1x1x4096]。
（2）第二个全连接层，令其滤波器尺寸为F=1,K=4096，这样输出数据体为[1x1x4096]。
（3）最后一个全连接层也做类似的，令其F=1,K=1000，最终输出为[1x1x1000]。

9.3.5 为什么传统CNN的输入图片是固定大小

对于CNN，一幅输入图片在经过卷积和pooling层时，这些层是不关心图片大小的。比如对于一个卷积层，outputsize = （inputsize - kernelsize）/ stride + 1，它并不关心inputsize多大，对于一个inputsize大小的输入feature map，滑窗卷积，输出outputsize大小的feature map即可。pooling层同理。但是在进入全连接层时，feature map（假设大小为nxn）要拉成一条向量，而向量中每个元素（共nxn个）作为一个结点都要与下一个层的所有结点（假设4096个）全连接，这里的权值个数是4096 x n x n ，而我们知道神经网络结构一旦确定，它的权值个数都是固定的，所有这个n不能变化，n是conv5的outputsize，所以层层向回看，每个outputsize都要固定，那每个inputsize都要固定，因此输入图片大小要固定。

9.3.6 把全连接层的权重W重塑成卷积层的滤波器有什么好处

这样的转化可以在单个向前传播的过程中，使得卷积网络在一张更大的输入图片上滑动，从而得到多个输出（可以理解为一个label map）。

比如：我们想让 224x224 尺寸的浮窗，以步长为 32 在 384x384 的图片上滑动，把每个经停的位置都带入卷积网络，最后得到 6x6 个位置的类别得分，那么通过全连接层转化为卷积层之后的运算为：

如果 224x224 的输入图片经过卷积层和下采样层之后得到了 [7x7x512] 的数组，那么，384x384的大图片经过同样的卷积层和下采样层之后会得到 [12x12x512] 的数组，然后再经过上面由3个全连接层转化得到的3个卷积层，最终得到 [6x6x1000]的输出（(12-7)/1+1=6），这个结果正是浮窗在原图经停的 6x6 个位置的得分。

一个确定的CNN网络结构之所以要固定输入图片大小，是因为全连接层权值数固定，而该权值数和feature map大小有关，但是FCN在CNN的基础上把1000个结点的全连接层改为含有1000个 1x1 卷积核的卷积层，经过这一层，还是得到二维的feature map，同样我们也不关心这个 feature map的大小，所以对于输入图片的size并没有限制。

如下图所示，FCN将传统CNN中的全连接层转化为卷积层，对应CNN网络FCN把最后三层全连接层转换为三层卷积层：

一个分类网络

变为全卷积网络

End-to-end，pixels-to pixels网络

（1）全连接层转化为全卷积层：在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个不同类别的概率。FCN将这3层表示为卷积层，卷积核的大小（通道数，宽，高）分别为（4096，1，1）、（4096，1，1）、（1000，1，1）。看上去数字上并没有什么差别，但是卷积跟全连接层是不一样的概念和计算过程，使用的是之前CNN已经训练好的权值和偏置，但是不一样的在于权值和偏置都是有自己的范围，属于自己的一个卷积核。

（2）CNN中输入的图像大小是统一固定成 227x227 大小的图像，第一层pooling后为 55x55，第二层pooling后图像大小为 27x27，第五层pooling后的图像大小为 13x13，而FCN输入的图像是 H*W大小，第一层pooling后变为原图大小的1/2，第二层变为原图大小的1/4，第五层变为原图大小的1/8，第八层变为原图大小的1/16。

（3）经过多次卷积和pooling以后，得到的图像越来越小，分辨率越来越低。其中图像到 H/32* W/32的图片是最小是一层时，所产生图叫做heatmap热图，热图就是我们最重要的高维特征图，得到高维特征的heatmap之后就是最重要的一步也是最后的一步对原图像进行upsampling，把图像进行放大几次到原图像的大小。

相较于使用被转化前的原始卷积神经网络对所有36个位置进行迭代计算优化模型，然后再对36个位置做预测，使用转化后的卷积神经网络进行一次前向传播计算要高效得多，因为36次计算都在共享计算资源。这一技巧在实践中经常使用，通常将一张图像尺寸变得更大，然后使用变换后的卷积神经网络来对空间上很多不同位置进行评价得到分类评分，然后求这些分值的平均值。

9.3.7 反卷积层理解

Upsampling 的操作可以看成是反卷积（deconvolutional），卷积运算的参数和CNN的参数一样是在训练FCN模型的过程中通过bp算法学习得到。反卷积层也是卷积层，不关心input的大小，滑窗卷积后输出output。deconv并不是真正的deconvolution（卷积的逆变换），最近比较公认的叫法应该是transposed convolution，deconv的前向传播就是conv的反向传播。

反卷积参数：利用卷积过程filter的转置（实际上就是水平和竖直方向上翻转filter）作为计算卷积前的特征图。

反卷积的运算如下所示：

蓝色是反卷积层的input，绿色是反卷积层的outputFull padding，transposed Full padding，transposed。