OpenCV如何模板匹配(59)

 返回:OpenCV系列文章目录（持续更新中......）

上一篇：OpenCV如何实现背投(58)

下一篇 ：OpenCV在图像中寻找轮廓(60)

目标

在本教程中，您将学习如何：

• 使用 OpenCV 函数 matchTemplate()搜索图像贴片和输入图像之间的匹配项
• 使用 OpenCV 函数 minMaxLoc()查找给定数组中的最大值和最小值（以及它们的位置）。

matchTemplate() 和 minMaxLoc() 都是 OpenCV 库中常用的图像处理函数，通常用于模板匹配和特征检测等操作。

matchTemplate() 是一个常用的模板匹配函数，它可以在一个大图像上通过模板匹配方法定位和识别目标区域。该函数的基本思路是，在大图像中滑动一个与目标尺寸相同的小区域，然后利用图像相似度度量方法比较该区域与目标模板的相似度，最后得到相似度矩阵，并在其中选择最佳匹配位置。

minMaxLoc() 则是由 matchTemplate() 调用的一个配套函数，它用于找到匹配模板结果中最佳匹配位置。该函数的基本思想是，在相似度矩阵中找到最大值和最小值，然后根据所需的结果类型返回相应最大/最小值及其位置和相应的匹配模板。

因此，matchTemplate() 和 minMaxLoc() 通常会一起使用。matchTemplate() 函数可以计算出匹配模板的相似度矩阵，并返回最大/最小数值的位置或多个最大/最小值的位置；而 minMaxLoc() 函数则用于确定相似度矩阵中的最大/最小值及位置，以确定匹配区域。这两个函数的联合使用可以实现图像识别、目标跟踪等更加复杂的图像处理和分析操作。

理论

什么是模板匹配？

模板匹配是一种用于查找图像中与模板图像(补丁)匹配（相似）的区域的技术。

虽然补丁必须是一个矩形，但可能不是所有的矩形都是相关的。在这种情况下，可以使用掩码来隔离补丁中应该用于查找匹配项的部分。

它是如何工作的？

• 我们需要两个主要组件：

  1. 源图像(I)：我们希望在其中找到与模板图像匹配的图像
  2. 模板图像(T)：将与源图像进行比较的修补图像

  我们的目标是检测匹配度最高的区域：

• 要识别匹配区域，我们必须通过滑动模板图像将模板图像与源图像进行比较：

• 滑动是指一次移动一个像素（从左到右，从上到下）。在每个位置，都会计算一个指标，以表示该位置的匹配程度（或补丁与源图像的特定区域的相似程度）。
• 对于 T 相对于 I 的每个位置，将指标存储在结果矩阵 R 中。R 中的每个位置 (x，y)都包含匹配指标：

上图是用公制TM_CCORR_NORMED滑动贴片的结果 R。最亮的位置表示匹配度最高。如您所见，红色圆圈标记的位置可能是值最高的位置，因此该位置(由该点形成的矩形作为角，宽度和高度等于补丁图像)被视为匹配。

• 在实践中，我们使用函数 minMaxLoc()在 R 矩阵中找到最高值(或更低值，具体取决于匹配方法的类型）

模板匹配如何工作的？

• 如果匹配需要遮罩，则需要三个组件：
  1. 源图像(I)：我们希望在其中找到与模板图像匹配的图像
  2. 模板图像(T)：将与源图像进行比较的修补图像
  3. 蒙版图像(M)：蒙版，用于遮罩模板的灰度图像
• 目前只有两种匹配方法接受掩码：TM_SQDIFF 和 TM_CCORR_NORMED（有关 opencv 中可用的所有匹配方法的说明，请参见下文）。
• 蒙版的尺寸必须与模板相同
• 蒙版应具有CV_8U或CV_32F深度，以及与模板图像相同的通道数。CV_8U情况下，掩码值被视为二进制值，即零和非零。CV_32F情况下，这些值应落在 [0..1] 范围内，模板像素将乘以相应的蒙版像素值。由于示例中的输入图像具有CV_8UC3类型，因此掩码也被读取为彩色图像。

OpenCV 中可用的匹配方法有哪些？

问得好。OpenCV 在函数 matchTemplate()中实现模板匹配。可用的方法有 6 种：

1、方法=TM_SQDIFF

 

2、方法=TM_SQDIFF_NORMED

3、方法=TM_CCORR

4、方法=TM_CCORR_NORMED

′)2

5、方法=TM_CCOEFF

哪里

6、方法=TM_CCOEFF_NORMED

C++代码：

• 这个程序是做什么的？
  • 加载输入图像、图像补丁（模板）和可选的蒙版
  • 通过将 OpenCV 函数 matchTemplate（） 与前面描述的 6 种匹配方法中的任何一种结合使用来执行模板匹配过程。用户可以通过在跟踪栏中输入其选择来选择方法。如果提供了掩码，则该掩码将仅用于支持掩码的方法
  • 规范化匹配过程的输出
  • 以更高的匹配概率定位位置
  • 在与最高匹配项对应的区域周围绘制一个矩形
• 可下载代码： 点击这里
• 代码一览：

#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>
 
using namespace std;
using namespace cv;
 
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
 
int match_method;
int max_Trackbar = 5;
 
void MatchingMethod( int, void* );
 
const char* keys =
"{ help h| | Print help message. }"
"{ @input1 | Template_Matching_Original_Image.jpg | image_name }"
"{ @input2 | Template_Matching_Template_Image.jpg | template_name }"
"{ @input3 | | mask_name }";
 
int main( int argc, char** argv )
{
 CommandLineParser parser( argc, argv, keys );
 samples::addSamplesDataSearchSubDirectory( "doc/tutorials/imgproc/histograms/template_matching/images" );
 
 img = imread( samples::findFile( parser.get<String>("@input1") ) );
 templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
 
 if(argc > 3) {
 use_mask = true;
 mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
 }
 
 if(img.empty() || templ.empty() || (use_mask && mask.empty()))
 {
 cout << "Can't read one of the images" << endl;
 return EXIT_FAILURE;
 }
 
 namedWindow( image_window, WINDOW_AUTOSIZE );
 namedWindow( result_window, WINDOW_AUTOSIZE );
 
 const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
 createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
 
 MatchingMethod( 0, 0 );
 
 waitKey(0);
 return EXIT_SUCCESS;
}
 
void MatchingMethod( int, void* )
{
 Mat img_display;
 img.copyTo( img_display );
 
 int result_cols = img.cols - templ.cols + 1;
 int result_rows = img.rows - templ.rows + 1;
 
 result.create( result_rows, result_cols, CV_32FC1 );
 
 bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
 if (use_mask && method_accepts_mask)
 { matchTemplate( img, templ, result, match_method, mask); }
 else
 { matchTemplate( img, templ, result, match_method); }
 
 normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
 
 double minVal; double maxVal; Point minLoc; Point maxLoc;
 Point matchLoc;
 
 minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
 
 if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
 { matchLoc = minLoc; }
 else
 { matchLoc = maxLoc; }
 
 rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 
 imshow( image_window, img_display );
 imshow( result_window, result );
 
 return;
}

解释

声明一些全局变量，例如图像、模板和结果矩阵，以及匹配方法和窗口名称：

bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
 
int match_method;
int max_Trackbar = 5;

加载源图像、模板，以及可选的掩码（如果匹配方法支持）：

img = imread( samples::findFile( parser.get<String>("@input1") ) );
 templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
 
 if(argc > 3) {
 use_mask = true;
 mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
 }
 
 if(img.empty() || templ.empty() || (use_mask && mask.empty()))
 {
 cout << "Can't read one of the images" << endl;
 return EXIT_FAILURE;
 }

创建跟踪栏以输入要使用的匹配方法的种类。检测到更改时，将调用回调函数。

const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
 createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

让我们来看看回调函数。首先，它复制源图像：

 Mat img_display;
 img.copyTo( img_display );

执行模板匹配操作。参数自然是输入图像 I、模板 T、结果 R 和 match_method（由 Trackbar 给出），以及可选的蒙版图像 M。

 bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
 if (use_mask && method_accepts_mask)
 { matchTemplate( img, templ, result, match_method, mask); }
 else
 { matchTemplate( img, templ, result, match_method); }

我们对结果进行归一化：

 normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

我们使用 minMaxLoc() 对结果矩阵 R 中的最小值和最大值进行本地化。

 double minVal; double maxVal; Point minLoc; Point maxLoc;
 Point matchLoc;
 
 minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

对于前两种方法（TM_SQDIFF 和 MT_SQDIFF_NORMED），最佳匹配是最低值。对于所有其他值，较高的值表示更好的匹配。因此，我们将相应的值保存在 matchLoc 变量中：

 if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
 { matchLoc = minLoc; }
 else
 { matchLoc = maxLoc; }

显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形：

 rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 
 imshow( image_window, img_display );
 imshow( result_window, result );

结果

1. 使用输入图像测试我们的程序，例如：

和模板图像：

生成以下结果矩阵（第一行是标准方法 SQDIFF、CCORR 和 CCOEFF，第二行是其规范化版本中的相同方法）。在第一列中，最暗的匹配度越好，对于其他两列，位置越亮，匹配度越高。

1. 右边的匹配项如下所示（右边那个人的脸周围的黑色矩形）。请注意，CCORR 和 CCDEFF 给出了错误的最佳匹配，但是它们的规范化版本是正确的，这可能是因为我们只考虑“最高匹配”，而不是其他可能的高匹配。

参考文献：

1、《Template Matching》 -------Ana Huamán