赞
踩
selective search是object detection中非常著名的候选框生成方法,对此做一个总结是很有必要的。
首先说下这个算法是怎么来的。
很长一段时间,object在被识别之前都需要先进行划分,这就产生了图像分割。
但是图像本质上是具有层级的,如图a所示,桌子上有碗、碗里有汤匙。我们说的桌子是指桌子本身呢?还是包括桌上所有的东西呢?这就是层级。
此外,我们无法通过单一的策略来进行物体间的分割,有很多理由都可以让两个物体合并。如图b,虽然两个cat的颜色不同,但它们的纹理相同。图c,虽然变色龙的纹理和背景不同,但是颜色相同。图d,虽然轮子和车身的颜色和纹理都不同,但轮子都车身包围了。因此,图像存在分割的模糊性。
最后,还有一个问题,两个不同特征的object很有可能合并为一个object。比如,人脸+毛衣,可以判断为human。
因此,综上,对物体先进行识别是很有必要的!
传统上,是利用exhaustive search(穷举搜索) 对图像上所有的位置进行检测,为了不错过任何可能的object的位置。
但该方法的缺点是:
计算量太大,infeasible。尽管可以通过固定尺度、固定宽高比来减少搜索空间,但需要检测的位置的数量仍然很巨大。
此时,为了解决这个问题,本文提出selective search。用以生成高质量的object的位置。
我们使用bottom-up的层级分组算法进行selective search。
1. 首先,图像中有n个预分割的初始区域。
2. 计算每个region与它相邻region的相似度,此时可以得到n*n的相似矩阵(不相邻region间的相似度可设为NaN--Not a Number)。
3. 将相似度最大的两个区域合并,图像上还有n-1个区域。
4. 重复上面的步骤,直到所有区域合并为一个区域。
5. 我们对这些regions都加上boxes。
其中,我们采用多种策略来做合并:
1. 通过改变颜色空间(如RGB、HSV、Intensity),在改变后的颜色空间上使用层级分组算法。
2. 考虑不同的相似性度量(颜色相似度、纹理相似度、大小相似度、吻合相似度),详细解释各个相似度可参考这篇:4个相似度,最后的相似度是这4个相似度的加权和。
3. 当我们改变了颜色空间,会得到不一样的初始分割区域。
PLUS:相似度的评价已经有了,即4个相似度的加权和。我们可以变的就是改变颜色空间,再次实行层级分组算法,得到更多的结果。
前面我们讲了selective search可以生成proposal boxes,这一部分将阐述如何利用这些boxes进行object recognition。
流程图如下:
正样本:手工标记的GT作为正样本
负样本:在给定图像中形成初始分割区域,然后利用ss得到很多候选框。计算候选框与GT的IoU(交集与并集之比),如果IoU在20%-50%之间,且该候选框与其他已生成的负样本之间的IoU不大于70%,则将该候选框采纳为负样本,否则丢弃。
提取GT和负样本区域的特征。
本文提取的特征包括:SIFT和两个color SIFT特征,它们对检测图像结构最敏感,另外增加Opponent-SIFT和RGB-SIFT。
(这一步不一定对,加入了一些我个人的猜想)
训练采用的是SVM线性分类器,首先是随机初始化参数,Input为候选框。
将提取的候选区域特征输入到SVM中进行软分类(输出不同类别的概率值,取概率最大的作为输出类)。
分别对每个区域的概率值进行排序,将概率值小于0.5的去除,大于0.5的区域,计算其与比他分数更高区域的IoU,若IoU>30%,则把这个区域去除。最后剩下的区域为输出的目标区域。
计算其与GT的loss值,更新参数。
重复这些步骤,直到参数最佳。
因为训练过程中会出现负样本的输出概率也大于0.5,这会导致我们错误地认为他们是object,这些样本成为“False Postive”,我们将这些样本收集起来。
以刚才训练好的SVM参数作为初始参数,进行再训练,以提升测试的准确率。
测试和训练类似,Input图像->SS->特征提取->SVM软分类->概率值排序,剔除小于0.5的框->剩下的框,计算其与分数更高的框的IoU,如果重叠大于30%,则剔除。
最后的框为object,所预测的label对应所属类别。
这里说下两个重要的评价指标用于评价候选框的质量: ABO和MABO
O: 候选框与GT的IoU
BO: 每个GT得到的最大的IoU
ABO:每个class所得到的平均BO
MABO:所有class的ABO
1.https://www.cnblogs.com/zhao441354231/p/5941190.html
2.http://blog.csdn.net/niaolianjiulin/article/details/52950797
3.http://blog.csdn.net/mao_kun/article/details/50576003
4.http://blog.csdn.net/charwing/article/details/27180421
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。