计算机视觉_high-level的视觉任务

1.计算机视觉上游任务与下游任务

计算机视觉四大任务：
分类（解决"what"）
定位（解决"where"）
检测（解决"what"和"where"）
分割（实例分割、语义分割和场景分割等像素级别的处理）

（1）上游任务

预训练模型。一般就是利用上游数据上进行预训练，以生成一个包含视觉表征的模型。

（2）下游任务

下游任务是计算机视觉应用程序，用于评估通过自监督学习学习到的特征的质量。当训练数据稀缺时，这些应用程序可以极大地受益于预训练模型。

下游任务更多的是评估任务，相当于项目落地，需要去做具体任务来评价模型好坏。

如目标检测、语义分割

2.low-level与high-level

（1）low-level

把特定降质下的图片还原成质量更高的图片，包括去噪，锐化等操作，客观指标主要是PSNR，SSIM。

Low-level feature：
通常是指图像中的一些小的细节信息，例如边缘（edge),角(corner),颜色(color),像素(pixeles), 梯度(gradients)等，这些信息可以通过滤波器、SIFT或HOG获取。

但是目前泛化性差，换个数据集，同种任务效果就变差。存在客观指标与主观感受不符合，GAP，指标刷很高，人眼观感不佳，落地的问题。缺乏与High-level之间的联系

（2）high-level

分类（classification），定位（location）检测（detection），分割（segmentation）等。相对于low-level，他要求数据质量更高，图片更清晰等。评价指标有IOU,MIOU等。

High level feature：
是建立在low level feature之上的，可以用于图像中目标或物体形状的识别和检测，具有更丰富的语义信息。
通常来说，卷积神经网络中都会使用这两种类型的features: 卷积神经网络的前几层学习low level feature，后几层学习的是high level feature。