计算机视觉基础6-目标检测_confidence 视觉

目标检测

区域卷积神经网络R-CNN

目标检测 检测图片中所有物体的类别标签，位置（最小外接矩形，bounding box

模块1：提取物体区域Region proposal 

模块2：对区域分类识别

 RCNN： selective search 

 优先合并四种区域：颜色相近的 纹理相近的 合并后总面积小的 合并后总面积在其BoundingBox中所占比例大的

RCNN:warp

 

 IoU 两个region的交并比

在ImageNet上对CNN模型进行pre-train=>M

在Selective Search生成的所有区域上对M进行fine-tune(微调）=>M`

正样本（N类）：跟Ground-truth重合IoU>=0.5   负样本（1类）：IoU < 0.5

 在M`的Fc7特征上训练线性SVMs分类器=> C

        每个类别（N类）对应一个SVM分类器，正样本：所有Ground-truth区域；负样本：跟ground-truth重合 IoU <0.3的SS区域。  

一个类别对应一个SVM分类器，一个猫的分类器来分类是不是猫。

 SVM训练完成后，如果完全分类正确，所有正样本输出概率都大于0.5，所有负样本的输出概率都小于0.5，但常见的情况是有一部分负样本的数据概率也大于0.5,这些样本被称为False Positives

把这些False Positives收集起来对SVM进行二次训练，经过二次训练的SVM分类准确度会有一定提升。

Fc7特征 第七层全连接特征

RCNN 回归部分：

        在M`的Conv5特征上训练BoundingBox回归模型，提升定位性能，每个类别（N类）训练一个回归模型 将SS提供的Boungdingbox做重新映射P=》G，P的IoU>0.6 本来差异就不大才能拿来做回归

RCNN测试阶段：

        Selective Search 提取 2000区域/图片

        将所有区域膨胀+缩放到227*227

        使用fine-tune过的AlexNet计算2套特征：为每个类别分别执行 Fc7特征->SVM分类器->类别分值，使用非极大值抑制（IoU>=0.5）获取无冗余的区域子集（所有区域安分值从大到小排序，提出冗余：与最大分值区域IoU>=0.5的所有区域，保留该最大分值区域，剩余区域作为新候选集）Conv5特征->boudingbox回归模型->bbox偏差，使用bbox偏差修正区域子集

RCNN性能评价：

True Positive  False positive  False negetive

        mAP:所有类别的平均精度求和除以所以类别数，即数据集中所有类的平均精度的平均值

选出区域之后再进行卷积需要训练大量时间

速度慢的原因：卷积特征重复计算量太大，每张图的区域都会计算CNN特征

两大改进：直接输入整图，所有区域共享卷积计算（一遍），在conv5层输出上提取所有区域特征；引入空间金字塔池化，为不同尺寸的区域在Conv5输出上提取特征，映射到尺寸固定的全连接层上。

SPP-Net训练流程

 多阶段训练  减少特征提取的时间， SPP层之间的所有卷积层参数不能fine-tune（感受野太大，效率太低）

Fast R-CNN  训练测试更快 更高的mAP  实现end-to-end 单阶段训练，采用多任务损失函数 ，所有层都可以fine-tune，不需要离线存储特征文件

引入两个新技术：感兴趣区域池化层RoI pooling layer、多任务损失函数（Multi-task loss）

感兴趣区域池化层RoI pooling layer：空间金字塔池化SPP pooling的单层特例，将RoI区域的卷积特征拆分成H*W网格，每个bin内的所有特征进行Max pooling

寻找一种映射f,是的Regional proposal 拟合ground truth，先做平移，再做缩放，需要学习的是四个变换，将中心点坐标xy和长宽这四个值进行变换。

多任务损失包括

分类器loss   L(p,u) =-logpu   每个RoId的概率分布p Groung truth 类别u

Bounding box回归L1 loss  每个RoI共有N个loss,根据偏差目标和预测偏差来得到loss

Mini Batch sampling 抽样 

        分级抽样法 batch尺寸（128）= 每个batch的图片数量（2）* 每个图像的RoI数量（64）

                充分利用卷积层的共享计算

        RoI分类基于与Ground truth的重叠，物体占25% IoU >=0.5 背景占75% IoU在【0.1，0.5]之内

采用SVD分解加速全连接层计算

Faster RCNN 集成Region Proposal Network 网络

Faster RCNN = Fast R-CNN +RPN

取代离线Selective Search模块 解决性能瓶颈 进一步共享卷积层计算，基于Attention注意机制引导FastRcnn关注区域， Region proposals量少质优 

        

 Anchor box 类型 k=9 

 Anchor 锚点  得到候选框 

RPN网络loss 分为两部分 分类object & non object

        回归部分也是用smooth L1 

Cython 

flow --model cfg/yolo-new.cfg --load   

yolo.weights yolo的权重文件 可以下载 

CNN全卷积趋势 ResNet Googlenet 只剩一个全连接层

        应用两难：检测网络的变换敏感性，分类网络的变换不变性，卷积层越深，不变性越强，对变换越不敏感

R-FCN  特点 score map

适应全卷积化CNN结构，提出全卷积化设计

位置敏感分值图：特殊设计的卷积层，Grid位置信息+类别分值

位置敏感池化：无训练参数，无连接网络的类别推断

R-FCN结构：

 无论物体在哪个位置都能通过同一的卷积层判断出类别来

使用k2(c+1)个通道对（位置、类别）组合进行编码，

R-FCN 多任务损失函数 总损失包括分类损失函数和Boundingbox回归损失函数

R-FCN的训练  OHEM 首先对RPN获得的候选ROI进行排序操作，然后再含有正样本的roi中选择前N个ROI将正负样本的比例维持在1：3范围内，保证每次抽取的样本中都会含有一定的正样本，这样训练可以提高网络的训练能力。

Faster R-CNN的四步训练法，2轮，RPN和R-FCN交叉训练

YOLO one-stage 算法

将物体检测任务当做一个regression问题来处理，拟合出一个特定的张量，包括bbox坐标和物体信息。可以一次得到很多个值，即检测出多个物体

使用一个神经网络直接从一整张图像来预测出boundingbox坐标box中包含物体的置信度和物体的可能性。然后进行非极大值抑制，筛选Boxes

YOLO v1网络j结构： 

最后得到一个7*7*30的张量  30包括B*5+20  5是包括五个值，bbox的长宽 中心点横纵坐标（都归一化到0-1之间)以及confidence   2指的是两个候选框， 20 指的是类别数目

每个栅格还要预测C条件类别概率，即在一个栅格包含一个object前提下，它属于某个类的概率。

条件类别概率是针对每个栅格的，confidence是针对每个bbox的。

在测试阶段将每个栅格的条件类别概率与每个bbox的confidence相乘。

目标函数包括：坐标预测+含有object的bbox的congidence预测+不含object的bbox的confidence预测+类别预测

非极大值抑制：        （只针对bbox，不包括预测类别）

        首先从所有检测框中找到置信度最大的框；然后挨个计算其余剩余框的IOU，如果大于一定的阈值，则就将该框剔除；之后对剩余的检测框重复上述过程吗，直到处理完所有的检测框。

yolo的实际策略是先使用NMS，然后再确定各个box的类别。

优点：检测物体速度很快；假阳性率低；能够学到更加抽象的物体的特征。

不足：检测精度较低于其他astateof the art方法；容易产生物体定位错误；对小物体检测效果不好，尤其是密集的小物体，因为一个栅格只能预测两个物体。

YOLOv2:

七项改进：

        Batch Normalization 提高模型收敛速度 减少过拟合，所有卷积层都用

        High rESOLUTION Classifier  基于imageNet预先努力按模型，大部分分类器输入图像尺寸小于256*256，v2中首先采用448*448分辨率的ImageNet数据finetune使网络适应高分辨率输入；

        Convolutional With Anchor boxes :用 anchor boxes来预测 bbox

        Dimension Clusters :  使用K-means聚类方法类训练bboxes 可以自动找到更好的boxes宽高维度。5个bbox比较好；

        Direct location prediction： 将预测偏移量改变为YOLO的预测gridcell的位置匹配性，将预测值限定在0-1范围内，增强稳定性；（如果预测的框和groundtruth差的比较远就不做拟合了）

        Fine-Grained Features ： 加入passtrough层增加特征，类似于ResNEt,将高分辨率特征和低分辨率特征结合；

Multi-ScaleTraining :模型只包含卷积层和pooling层，因此可以随时改变输入尺寸，每经过10次训练就会随机选择新的图片尺寸进行训练。

YOLOv3:

        Loss不同：将Softmax loss替换成了Logistic loss;

        Anchor bbox prior 不同： v3用了3*3个anchor 提高了IOU；5个改为3*3个（kmeans结果）

        Detection策略不同： v2只有一个detection v3有3个；

        backbone不同：Darknet19=>Darknet-53