OpenCV处理工业相机Bayer格式数据_opencv bayer

        工业相机为了传输效率和数据的真实性，很多都是用Raw格式，比如从某宝购买的这台JHEM203GC的相机，就只支持Bayer RG8， Bayer RG10数据。

1 Bayer图像

        Bayer图像是彩色Bayer传感器产生的图像数据， 这种传感器每个像素只记录了红，绿，蓝一个分量的数据，如下图所示，按照排列方式分为RGGB，BGGR, GRBG, GBRG四种排列。

        对相机返回的这种Bayer数据，如果需要显示为正常的彩色图像，需要将每个像素丢失的信息插补回来，一般是利用相邻和附近的像素信息进行插值，有许多不同的算法得到的效果也不尽相同。

2 图像转RGB或者BGR

       如调用MVS SDK，可以通过MV_CC_ConvertPixelType实现，代码如下，转换的格式通常为PixelType_Gvsp_BGR8_Packed，就是BGR排列，如果是RGB排列，使用PixelType_Gvsp_RGB8_Packed，这种格式保存为图片或者显示时可能会出现红蓝对调的情况。

int Bayer2BGR(void *handle, unsigned char* pData, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pBgrData)
{
	*pBgrData = 0;
 
	if (NULL == pData)
	{
		return MV_E_PARAMETER;
	}
	unsigned int nDataSizeForBGR = pstImageInfo->nWidth * pstImageInfo->nHeight * 3;
	unsigned char* pDataForBGR = (unsigned char*)malloc(nDataSizeForBGR);
	if (NULL == pDataForBGR)
	{
		return MV_E_BUFOVER;
	}
 
	// ch:像素格式转换 | en:Convert pixel format 
	MV_CC_PIXEL_CONVERT_PARAM stConvertParam = { 0 };
	memset(&stConvertParam, 0, sizeof(MV_CC_PIXEL_CONVERT_PARAM));
 
	stConvertParam.nWidth = pstImageInfo->nWidth;                 //ch:图像宽 | en:image width
	stConvertParam.nHeight = pstImageInfo->nHeight;               //ch:图像高 | en:image height
	stConvertParam.pSrcData = pData;                            //ch:输入数据缓存 | en:input data buffer
	stConvertParam.nSrcDataLen = pstImageInfo->nFrameLen;         //ch:输入数据大小 | en:input data size
	stConvertParam.enSrcPixelType = pstImageInfo->enPixelType;    //ch:输入像素格式 | en:input pixel format
	stConvertParam.enDstPixelType = PixelType_Gvsp_BGR8_Packed; //ch:输出像素格式 | en:output pixel format
	stConvertParam.pDstBuffer = pDataForBGR;                    //ch:输出数据缓存 | en:output data buffer
	stConvertParam.nDstBufferSize = nDataSizeForBGR;            //ch:输出缓存大小 | en:output buffer size
	int nRet = MV_CC_ConvertPixelType(handle, &stConvertParam);
	if (MV_OK != nRet)
	{
		free(pDataForBGR);
		return MV_E_UNKNOW;
	}
 
	*pBgrData = pDataForBGR;
	return MV_OK;
}

3 将buffer转成Mat格式

        采集的图像为直接数组，需要转换成Mat格式来调用OpenCV做进一步的处理。

// convert data stream in Mat format
bool Convert2Mat(void* handle, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pData)
{
    cv::Mat srcImage;
    if ( pstImageInfo->enPixelType == PixelType_Gvsp_Mono8 )
    {
        srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC1, *pData);
    }
    else if ( pstImageInfo->enPixelType == PixelType_Gvsp_RGB8_Packed )
    {
        RGB2BGR(*pData, pstImageInfo->nWidth, pstImageInfo->nHeight);
        srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, *pData);
    }
	else
	{
		unsigned char *pBgrData = 0;
		Bayer2BGR(handle, *pData, pstImageInfo, &pBgrData);
		if (pBgrData)
		{
			srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, pBgrData);
			free(*pData);
 
			*pData = pBgrData;
		}
    }
 
    if ( NULL == srcImage.data )
    {
        return false;
    }
 
#ifdef SAVE
    //save converted image in a local file
    try {
#if defined (VC9_COMPILE)
        cvSaveImage("MatImage.bmp", &(IplImage(srcImage)));
#else
        cv::imwrite("MatImage.bmp", srcImage);
#endif
    }
    catch (cv::Exception& ex) {
        fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
    }
#endif
 
	//show converted image
    try {
#if !defined (VC9_COMPILE)
		cvShowImage("CAM",  &(IplImage(srcImage)));
		cvWaitKey(20);
#else
		cv::imshow("CAM", srcImage);
		cv::waitKey(20);
#endif
    }
    catch (cv::Exception& ex) {
        fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
    }
 
    srcImage.release();
 
    return true;
}

 4 cvtColor一步转换

        使用相机SDK的好处是集成简单，但对于本身需要使用Opencv的工程来说也可以直接使用Opencv的cvtColor， 按照原有的bayer格式选择参数，即可一步把RAW图像转为RGB图像。

cv::Mat bayerImg = cv::Mat(stImageInfo.nHeight, stImageInfo.nWidth, CV_8UC1, pData);
cv::Mat bgrImg;
if(stImageInfo.enPixelType == PixelType_Gvsp_BayerBG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerBG2RGB);
else if(stImageInfo.enPixelType == PixelType_Gvsp_BayerRG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerRG2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGB8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGB2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGR8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGR2RGB);
 
cv::imshow("CAM", bgrImg);
cv::waitKey(20);

5 结果和参考代码

        RAW图像，看上去是黑白的实际上是马赛克图像

       转换后的RGB图像

        参考代码：https://www.jinghangtech.com/media/ug/UG007_OpenCV.zip