YOLOV3论文详解

本文主要介绍了YOLOV3的网络结构和损失函数，其他部分几乎与YOLOV2相差无几。

YOLOV3算法Pytorch实现：https://github.com/codecat0/CV/tree/main/Object_Detection/YOLOV3

1. Introduction

2. The Deal

2.1 Bounding Box Prediction

在YOLOV2后，我们的系统开始使用聚类来确定anchor的尺寸和比例。网络会为每一个bounding box预测4个坐标：$t_x,t_y,t_w,t_h$。如果网格单元相对于图像的左上角的偏移为哦$(c_x,c_y)$，而且anchor的宽高为$p_w,p_h$，那么对应的预测值为：
$$\begin{gathered} b_x=\sigma (t_x)+c_x \\ {b}_y=\sigma (t_y)+c_y \\ {b}_w=p_w{e}^{t_w} \\ {b}_h=p_h{e}^{t_h} \end{gathered}$$

在训练期间，我们采用均方误差作为损失函数。anchor的坐标信息：$(c^x,c^y,p^w,p^h)$，预测框的坐标信息：$(b^x,b^y,b^w,b^h)$，真实框的坐标信息：$(g^x,g^y,g^w,g^h)$，$l$表示预测框与anchor的偏移量，$g$表示真实框与anchor的偏移量。那么损失函数定义如下：
L l o c = ∑ i ∈ p o s ∑ m ∈ { x , y , w , h } ( l i m − g i m ) 2 l i x = b i x − c i x , l i y = b i y − c i y l i w = l o g ( b i w / p i w ) , l i h = l o g ( b i h / p i h ) g i x = g i x − c i x , g i y = g i y − c i y g i w = l o g ( g i w / p i w ) , g i h = l o g ( g i h / p i h ) L_{loc}=\sum_{i \in pos}\sum_{m \in \{x,y,w,h\}}(l_i^m - g_i^m)^2 \\ l_i^x = b_i^x - c_i^x, \quad l_i^y = b_i^y - c_i^y \\ l_i^w = log(b_i^w / p_i^w), \quad l_i^h=log(b_i^h / p_i^h) \\ g_i^x = g_i^x - c_i^x, \quad g_i^y = g_i^y - c_i^y \\ g_i^w = log(g_i^w / p_i^w), \quad g_i^h=log(g_i^h / p_i^h) Lloc​=i∈pos∑​m∈{x,y,w,h}∑​(lim​−gim​)2lix​=bix​−cix​,liy​=biy​−ciy​liw​=log(biw​/piw​),lih​=log(bih​/pih​)gix​=gix​−cix​,giy​=giy​−ciy​giw​=log(giw​/piw​),gih​=log(gih​/pih​)

上式中w、h的均方损失可以对其取平方根与YOLOV1一样，达到对小目标增加权重的效果，毕竟小目标偏移一点相对于大目标偏移一点误差应该更大才对

YOLOV3用逻辑回归预测每一个预测框的置信度，即预测框内是否存在目标的概率。我们为每一个GT box分配一个anchor，如果一个anchor没有被分配给相应GT box，那么该anchor没有目标定位损失和目标类别损失，只有置信度损失。(如果一个未分配GT box的anchor与其他GT box的IOU值超出某一个阈值，我们会忽视它，这个阈值为0.5)。 o i ∈ { 0 , 1 } o_i \in \{0,1\} oi​∈{0,1}表示预测框$i$中是否真实存在目标，${\hat{c}}_i$表示预测框$i$内存在目标的$Sigmoid$概率，其置信度损失如下所示：
$$\begin{gathered} L_{conf}(o,c)=-\sum (o_{i}ln({\hat{c}}_i)+(1-o_i)ln(1-{\hat{c}}_i)) \\ {\hat{c}}_i=Sigmod(c_i) \end{gathered}$$

2.2 Class Prediction

类别预测方面主要是将原来的单标签分类改进为多标签分类，因此网络结构上就将原来用于单标签多分类的 softmax 层换成用于多标签多分类的逻辑回归层。

首先说明一下为什么要做这样的修改，原来分类网络中的 softmax 层都是假设一张图或一个 object只属于一个类别，但是在一些复杂场景下，一个 object 可能属于多个类，比如有的类别中有woman和 person 两个类，这就是多标签分类，需要用逻辑回归层来对每个类别做二分类。逻辑回归层主要用到 Sigmoid函数，该函数可以将输入约束在0~1的范围内，因此当一张图片经过特征提取后的某一类输出经过Sigmoid 函数约束后如果大于 0.5， 就表示属于该类。

对于类别损失，我们使用二值交叉熵损失函数。其中 O i j ∈ { 0 , 1 } O_{ij} \in \{0,1\} Oij​∈{0,1}表示预测框$i$是否真实存在第$j$类目标，${\hat{C}}_{ij}$表示预测框$i$存在第$j$类目标的$Sigmoid$概率
$$\begin{gathered} L_{cls}(O,C)=-\sum _{i\in pos}\sum _{j\in cls}(O_{ij}ln({\hat{C}}_{ij})+(1-O_{ij})ln(1-{\hat{C}}_{ij})) \\ {\hat{C}}_{ij}=Sigmoid(C_{ij}) \end{gathered}$$

2.3 Predictions Across Scales

YOLOV3采用了类似FPN网络提取了3个不同尺度的特征，与FPN不同的是在进行不同尺度特征融合时不是像FPN采用相加而是采用concatenate拼接，最后融合了3个scale，分别是13x13、26x26和52x52，并在这3个scale的特征图进行检测。下文会有详细的网络结构图。

和YOLOV2一样，YOLOV3使用的聚类方法还是K-Means，它能用来确定边界框的先验。在实验中，我们选择了9个聚类和3个尺寸，然后在不同尺寸的边界框上均匀分割维度聚类。在COCO数据集上，这9个聚类分别是：(10×13)、(16×30)、(33×23)、(30×61)、(62×45)、(59×119)、(116 × 90)、(156 × 198)、(373 × 326)。

2.4 Feature Extractor

我们使用一个新的网络来提取特征，它融合了YOLOV2，Darknet-19以及其他新型残差网络，由连续的3x3和1x1卷积层组合而成，当然，其中也添加了一些shortcut connection，因为一共有53个卷积层，所以我们称它 Darknet-53。

这个新网络性能上远超DarkNet-19，准确性与ResNet-101和ResNet-152差不多，但效率更高。

3. YOLOV3网络结构