深度学习知识【CSPNet网络详解】

CSPNet的贡献

1.增强了CNN的学习能力，能够在轻量化的同时保持准确性。
2.降低计算瓶颈。
3.降低内存成本。

CSPNet介绍

在神经网络推理过程中计算量过高的问题是由于网络优化中的梯度信息重复导致的。CSPNet通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率。

CSPNet不仅仅是一个网络，更是一个处理思想，可以和ResNet、ResNext、DenseNet、EfficientNet等网络结合。

从下图可以看出，CSPNet与其他模型结合后的效果：

CSPNet的结构

作者给出了几种设计思路：

【①密集块（Dense Block）是DenseNet网络结构的核心部分，它是由多个密集连接层（Dense Layer）组成的模块，用于提取图像中的特征信息。 在每个密集块中，所有前面层的输出都会与当前层的输入进行连接，并通过一个非线性变换进行处理。】

上图中的Transition Layer代表过渡层，主要包含瓶颈层( 1 × 1 卷 积 ) 和池化层（可选）。
其中（a）图是原始的DenseNet的特征融合方式。（b）图是CSPDenseNet的特征融合方式。（c）图是Fusion First的特征融合方式。（d）图是Fusion Last的特征融合方式。

Fusion First的方式是对两个分支的feature map先进行concatenation操作，这样梯度信息可以被重用。

Fusion Last的方式是对Dense Block所在分支先进行transtion操作，然后再进行concatenation，梯度信息将被截断，因此不会重复性使用梯度信息。

上图是对Fusion First、Fusion Last和CSP最终结构进行实验对比，我们可以得到如下结论：

使用Fusion First有助于降低计算代价，但是准确率有显著下降。
使用Fusion Last也是极大降低了计算代价，top-1 accuracy仅仅下降了0.1个百分点。
同时使用Fusion First和Fusion Last相结合的CSP所采用的融合方式可以在降低计算代价的同时，提升准确率。
下图是DenseNet的示意图和CSPDenseNet的改进示意图：

改进点在于CSPNet将浅层特征映射为两个部分，一部分经过Dense模块（图中的Partial Dense Block）,另一部分直接与Partial Dense Block输出进行concate。

CSP思想的应用
CSP思想也可以应用到ResNet或者ResNeXt中：

总结
CSPNet和PRN都是一个思想，将feature map拆成两个部分，一部分进行卷积操作，另一部分和上一部分卷积操作的结果进行concate。

从实验结果来看，分类问题中，使用CSPNet可以降低计算量，但是准确率提升很小；在目标检测问题中，使用CSPNet作为Backbone带来的提升比较大，可以有效增强CNN的学习能力，同时也降低了计算量。