计算机视觉——使用OpenCV GrabCut算法从图像中移除背景_cv::grabcut

GrabCut算法

GrabCut算法是一种用于图像前景提取的技术，由Carsten Rother、Vladimir Kolmogorov和Andrew Blake三位来自英国剑桥微软研究院的研究人员共同开发。该技术的核心目标是在用户进行最少交互操作的情况下，自动从图像中分割出前景对象。

在GrabCut算法中，用户只需在图像上用矩形框选出包含前景对象的区域，算法随后会迭代地进行分割，直至得到最佳结果。在这个过程中，若算法错误地将某些前景区域标记为背景或反之，用户可通过在图像上绘制笔触进行修正，指导算法在下一次迭代中进行更准确的分割。

GrabCut算法的工作原理可概括为以下几个步骤：

1. 用户输入：用户在图像上绘制一个矩形框，圈定前景对象。
2. 初始标记：算法使用高斯混合模型（GMM）对框选区域内的像素进行初始标记，区分前景和背景。
3. 图割算法：基于像素的颜色分布，构建一个图，并添加源节点和汇聚节点，像素之间的连接权重基于颜色相似性。
4. 迭代优化：通过迭代方式，利用最小割算法对前景和背景的分割进行优化。
5. 结果修正：用户可根据分割结果进行手动修正，提高分割的准确性。

GrabCut算法因其用户交互少、操作简单且效果良好而在计算机视觉领域得到广泛应用。

GrabCut算法的工作原理

首先，在图像上绘制一个矩形，包含图像的主题，例如一个人或一只狗。矩形外的区域自动被视为背景。在定义的矩形内，背景中的数据被用作区分前景和背景位置的参考。

基于提供的事实，计算机进行初始标记，识别前景和背景中的像素（或进行硬标记）。

简单来说，这种方法使用高斯混合模型（Gaussian Mixture Model, GMM）定义矩形内的区域作为颜色分布模型，每个像素被标记表示其是否为前景、背景或未知。如果您对图像处理有所了解，您会知道每个像素通过梯度与下一个像素相连，因此该模型将鼓励具有相似颜色分布的像素具有相同的标记。

GMM根据提供的数据学习并创建新的像素分布。换句话说，未知像素根据它们与其他硬标记像素的颜色统计关系被标记为可能的前景或可能的背景（类似于聚类）。

这个像素分布被用来创建一个图。像素是图中的节点。两个新节点被添加：源节点和汇聚节点。每个前景像素都连接到源节点，而每个背景像素都连接到汇聚节点。

像素是前景/背景的可能性决定了连接像素到源节点/汇聚节点的边的权重。边的信息或像素相似性决定了像素之间的权重。如果像素之间存在显著的颜色差异，它们之间的边将具有较低的权重。

创建了带有初始权重的图之后，我们使用最小割算法，以产生两组顶点。

然后我们创建一个具有N个顶点的图（N=像素数），并根据顶点（像素）的颜色相似性用边连接它们。之后，我们将向网络中添加两个顶点（用于前景和背景的标签），每个顶点将根据像素与背景或前景的颜色分布匹配的可能性与N个像素相连。

换句话说，GrabCut方法创建了两个标签，一个用于背景，一个用于前景，并使用每个像素的颜色分布将所有像素与其自身连接。

OpenCV C++实现GrabCut算法

1. 读取图像

cv::Mat src = cv::imread(argv[1]);
assert(!src.empty());
1
2

2. 获取边界框

用户通过绘制矩形来提供输入，这个矩形框圈定了图像中的感兴趣区域。矩形外的所有内容都被视为背景，而矩形内的内容被视为未知。用户可以指定特定的前景和背景区域，这些指定将被视为硬标记，意味着在算法执行过程中不会改变这些标记。

void getBoundingBox(cv::Mat& img, cv::Rect& rect) {
    cv::Point pt, pt2;
    int size;
    for(;;) {
        cv::Mat temp = img.clone();
        std::cout << "Insert x1,y1,x2,y2 Point:\n";
        std::cin >> pt.x >> pt.y >> pt2.x >> pt2.y;
        cv::rectangle(temp, pt, pt2, cv::Scalar(0,255,0), 3);
        showImg("boundingBox", temp);
        char choice;
        std::cout << "Do You want to change paramters (y/n)";
        std::cin >> choice;
        if(choice == 'n'){
            rect = cv::Rect(pt.x, pt.y, pt2.x, pt2.y);
            break;
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

cv::Rect boundingBox;
getBoundingBox(src, boundingBox);
1
2

3. 创建高斯混合模型(GMM)

在图像分割技术中，识别并区分图像中的前景和背景像素至关重要。为了实现这一目标，我们采用了一种先进的统计工具——高斯混合模型（GMM）——来对前景和背景进行建模。该模型是一种概率模型，它基于一个核心假设：数据可以被视为多个高斯分布的叠加。

1. 数据预处理与标记：首先，算法会接收到一个感兴趣区域（ROI），并在此区域内识别前景和背景像素。这个过程可能涉及到用户手动提供的硬标记，或者算法自动进行的像素分类。

2. 高斯分布建模：在GMM中，前景和背景的像素颜色分布被假设为两个独立的高斯分布。每个分布都有其独特的特征，包括均值和协方差，这些参数共同定义了分布的形状和分布。

3. 参数学习：通过对ROI内的像素颜色数据进行分析，GMM能够学习并确定每个高斯分布的参数。这一学习过程涉及到对数据的统计特性进行估计，以捕捉前景和背景的颜色分布特征。

4. 概率估计与应用：掌握了这些参数后，对于图像中任意一个像素点，我们都能够计算出它属于前景或背景的概率。这些概率信息是图像分割过程中不可或缺的，它们将在后续的图割（Graph Cut）算法中发挥关键作用，用于构建和优化分割结果。

cv::Mat mask = cv::Mat::zeros(src.rows, src.cols, CV_8UC1);
cv::Mat bgModel, fgModel;
1
2

4. GrabCut算法

在C++中，OpenCV库提供的cv::grabCut函数用于实现GrabCut算法，这是一种基于图形的交互式图像分割技术。该算法通过迭代的方式，结合用户提供的前景和背景的初始估计，来细化分割结果。

以下是cv::grabCut函数的基本参数说明和使用方式：

函数原型

void cv::grabCut(
    InputArray img, InputOutputArray mask,
    Rect rect, InputOutputArray bgdModel,
    InputOutputArray fgdModel, int iterCount,
    int mode = GC_EVAL
);
1
2
3
4
5
6

参数说明

1. img：输入图像，必须是一个三通道的8位图像（CV_8U）。

2. mask：输入输出掩码，是一个单通道的8位图像，用于标记前景和背景。掩码的像素值有以下含义：

   • GC_BGD (0)：明显背景的像素。
   • GC_FGD (1)：明显前景的像素。
   • GC_PR_BGD (2)：可能是背景的像素。
   • GC_PR_FGD (3)：可能是前景的像素。

3. rect：定义感兴趣区域（ROI），是一个矩形（Rect对象），表示包含目标对象的区域。这个参数仅在mode参数设置为GC_INIT_WITH_RECT时使用。

4. bgdModel：背景模型，是一个1行13列的单通道浮点型（CV_32FC1）图像。如果为nullptr，函数将自动初始化它。

5. fgdModel：前景模型，与背景模型类似，也是1行13列的单通道浮点型图像。

6. iterCount：算法需要进行的迭代次数。

7. mode（可选）：分割模式标志，可以是以下值之一：

   • GC_INIT_WITH_RECT：使用提供的矩形初始化状态和掩码，然后根据算法进行迭代更新。
   • GC_INIT_WITH_MASK：使用提供的掩码初始化状态，可以与GC_INIT_WITH_RECT组合使用。
   • GC_EVAL：算法应该继续使用上一次的模型进行迭代。

5. 显示图像

cv::Mat dest;
src.copyTo(dest, mask2);
showImg("dest", dest);
1
2
3

完整代码

#include <iostream>
#include <assert>
#include <opencv2/opencv.hpp>

void showImg(const std::string& name, cv::Mat& img) {
    cv::imshow(name, img);
    cv::waitKey(0);
}

void getBoundingBox(cv::Mat& img, cv::Rect& rect) {
    cv::Point pt, pt2;
    int size;
    for(;;) {
        cv::Mat temp = img.clone();
        std::cout << "Insert x1,y1,x2,y2 Point:\n";
        std::cin >> pt.x >> pt.y >> pt2.x >> pt2.y;
        cv::rectangle(temp, pt, pt2, cv::Scalar(0,255,0), 3);
        showImg("boundingBox", temp);
        char choice;
        std::cout << "Do You want to change paramters (y/n)";
        std::cin >> choice;
        if(choice == 'n'){
            rect = cv::Rect(pt.x, pt.y, pt2.x - pt.x, pt2.y - pt.y);
            break;
        }
    }
}

int main(int argc, char** argv) {
    cv::Mat src = cv::imread(argv[1]);
    assert(!src.empty());

    cv::Rect boundingBox;
    getBoundingBox(src, boundingBox);
    cv::Mat mask = cv::Mat::zeros(src.rows, src.cols, CV_8UC1);
    cv::Mat bgModel, fgModel;

    unsigned int iteration = 5; //根据需要调整参数
    cv::grabCut(src, mask, boundingBox, bgModel, fgModel, iteration, cv::GC_INIT_WITH_RECT);
    cv::Mat mask2 = (mask == 1) + (mask == 3);  // 0 = cv::GC_BGD, 1 = cv::GC_FGD, 2 = cv::PR_BGD, 3 = cv::GC_PR_FGD
    cv::Mat dest;
    src.copyTo(dest, mask2);
    showImg("dest", dest);
    cv::waitKey(0);
    return 0;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46