图像检索简介--笔记

作者：小丑西瓜9 | 2024-03-21 23:24:42

踩

图像检索

1. 图像检索入门

文字检索 TBIR
在这里插入图片描述
从内容检索 CBIR

应用场景：

拍照购
服装检索
人脸识别
内容审核

成熟的图像检索不仅是算法问题，也是一个工程问题

不同的检索任务有不同的检索逻辑和排序逻辑；

检索的本质：

特征提取：如何将图像的内容进行有效表示
相似度计算：如何衡量图像的相似性

2. 图像检索特征

2.1 挑战：

相差万里的图像也有可能是相似的；

相同物体检索面临的挑战：

光照变化
角度变化
视角变化
遮挡
背景杂乱

相同物体图像检索是指对查询图像中的某一物体，从图像库中找出包含有该物体的图像。这里用户感兴趣的是图像中包含的特定物体或目标，并且检索到的图片应该是包含有该物体的那些图片。如图所示，给定一幅”蒙娜丽莎”的画像，相同物体检索的目标就是要从图像库中检索出那些包含有”蒙娜丽莎”人物的图片，在经过相似性度量排序后这些包含有”蒙娜丽莎”人物的图片尽可能的排在检索结果的前面。相似物体检索在英文文献中一般称为物体检索(Object Retrieval)，近似样本搜索或检测(Duplicate Search or Detection)也可以归类于相同物体的检索，并且相同物体检索方法可以直接应用到近似样本搜索或检测上。相同物体检索不论是在研究还是在商业图像搜索产业中都具有重大的价值，比如购物应用中搜索衣服鞋子、人脸检索等。
对于相同物体图像检索，在检索相同的物体或目标时，易受拍摄环境的影响，比如光照变化、尺度变化、视角变化、遮挡以及背景的杂乱等都会对检索结果造成较大的影响，图1.3左图给出了这几种变化的例子，此外，对于非刚性的物体，在进行检索时，物体的形变也会对检索结果造成很大的影响。

相似类别图像检索面临的挑战：

类内变化巨大
类间相似干扰

相同类别图像检索
相似图像检索的目标是从图像库中查找出那些与给定查询图像属于同一类别的图像。这里用户感兴趣的是物体、场景的类别，即用户想要获取的是那些具有相同类别属性的物体或场景的图片。为了更好的区分相同物体检索和相同类别检索这两种检索方式区，仍以图1.3左图所举的”蒙娜丽莎”为例，用户如果感兴趣的就是”蒙娜丽莎”这幅画，那么检索系统此时工作的方式应该是以相同物体检索的方式进行检索，但如果用户感兴趣的并不是”蒙娜丽莎”这幅画本身，而是”画像”这一类图片，也就是说，用户所感兴趣的已经是对这幅具体的画进行了类别概念的抽象，那么此时检索系统应该以相同类别检索的方式进行检索。相同类别图像检索目前已广泛应用于图像搜索引擎，医学影像检索等领域。
对于相同类别图像检索，面临的主要问题是属于同一类别的图像类内变化巨大，而不同类的图像类间差异小。如图1.3右图所示，对于”湖泊”这一类图像，属于该类别的图像在表现形式上存在很大的差异，而对于图1.3右图下面所示的”dog” 类和”woman”类两张图像，虽然它们属于不同的类，但如果采用低层的特征去描述，比如颜色、纹理以及形状等特征，其类间差异非常小，直接采用这些特征是很难将这两者分开的，因此相同类别图像检索在特征描述上存在着较大的类内变化和较小的类间差异等挑战。
在这里插入图片描述

相差万里的图像也有可能是相似的

在这里插入图片描述

2.2 图像特征

图像检索：

如果图像相似，则图像特征也相似；

图像全局特征：

图像整体的统计信息等；512维度；
关注图像的全局信息，如：颜色直方图、CNN特征
优点：关注全局信息，特征维度固定
缺点：对尺度变化敏感

图像局部特征：

图像中关键位置，如角点、关键点；N*128维度，N为关键点个数；
关注图像局部信息，如：SIFT关键点
优点：关注图像局部信息，具有尺度不变性
缺点：提取的数量不固定，容易受到文字影响

问：如果使用图像局部特征，如何进行相似度计算？
答：可以使用局部特征点的匹配个数，如果匹配个数较多，则为相似图像；
但如果有N张图像，则两两之间匹配，需要分别计算N*(N-1)/2次；

在这里插入图片描述
词袋模型
词袋模型：统计单词出现的次数；
句子A：[‘我’, ‘爱吃’, ‘菠萝’, ‘苹果’] 句子B：[‘我’, ‘爱吃’, ‘苹果’, ‘香蕉’]
所有的单词空间：[‘我’，‘爱吃’，‘菠萝’，‘苹果’，’香蕉’]
句子A：[1, 1, 1, 1, 0] 句子B：[1, 1, 0, 1, 1]
在这里插入图片描述