赞
踩
这次我们来一段NCNN应用代码中,除了推理外最重要的一部分代码,数据处理:
ncnn::Mat in = ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);
const float mean_vals[3] = {104.f, 117.f, 123.f};
in.substract_mean_normalize(mean_vals, 0);
这一部分代码由两部分组成:
先看名字,from_pixels_resize由两部分组成:
源码中是先进行resize再进行from_pixels。
这个代码支持三种图像类型:单通道的GRAY、三通道的RGB和BGR、四通道的RGBA。源码使用的都是bilinear插值,这里我们挑个简单的单通道GRAY的来看看,函数名字很直观,就叫做resize_bilinear_c1,后面的c1就是chennel 1的意思。具体的代码在mat_pixel.cpp的第1414行,这个我就不细说了,大家可以去看这个文章,这个虽然写的是TNN的,但仔细看下来会发现其实跟NCNN的实现是一样的(变量名也一样)。
这个大体流程就是:
这个计算的细节还是很多的,大家感兴趣的可以去仔细研究一下,这里就不细写了,ncnn的代码为例效率,可能写的不是特别美观。
这个就很简单了,就是开辟一块ncnn::Mat的内存,然后遍历数组一个一个填进去就好了,同样的这里支持单通道、三通道、四通道,而且一些颜色转换RGB2BGR、RGB2GRAY这些都是实现支持的,我们挑一个典型的RGB2GRAY的实现来看,源码在mat_pixel.cpp的第539行,函数名就是from_rgb2gray。
static Mat from_rgb2gray(const unsigned char* rgb, int w, int h) { const unsigned char Y_shift = 8;//14 const unsigned char R2Y = 77; const unsigned char G2Y = 150; const unsigned char B2Y = 29; Mat m(w, h, 1); if (m.empty()) return m; float* ptr = m; int size = w * h; int remain = size; for (; remain > 0; remain--) { *ptr = (rgb[0] * R2Y + rgb[1] * G2Y + rgb[2] * B2Y) >> Y_shift; rgb += 3; ptr++; } return m; }
这个代码很直观,前面就是定义了转换时R、G、B对应要乘的系数,这里作者用的是整数乘法,所以系数放大了28,后面算结果那里要右移回去。后面就是一个暴力for循环,全部遍历把数据塞进去ncnn::Mat就完了。但这里我还想放一下GRAY2RGB的代码,看下很值得注意的细节。
static Mat from_gray2rgb(const unsigned char* gray, int w, int h) { Mat m(w, h, 3); if (m.empty()) return m; float* ptr0 = m.channel(0); float* ptr1 = m.channel(1); float* ptr2 = m.channel(2); int size = w * h; int remain = size; for (; remain>0; remain--) { *ptr0 = *gray; *ptr1 = *gray; *ptr2 = *gray; gray++; ptr0++; ptr1++; ptr2++; } return m; }
从这个可以看出来,获取ncnn::Mat的三个通道的数据,是要用channel索引出来的,这里就是一个需要留意的点,ncnn::Mat的数据存储,channel间的需要对齐,不一定是连续的,也就是不要理所当然的用channel(0)的指针,自己加加加想去访问其他channel的数据,很容易翻车(我就因为这个翻车过),这个我们后面有时间可以好好写一写ncnn的数据排布。
substract_mean_normalize的源码在mat.cpp的第25行,这个代码是支持只mean不norm,只norm不mean,mean和norm都做得,由于这些都大同小异,我就直接贴都做mean和norm的代码了:
void Mat::substract_mean_normalize(const float* mean_vals, const float* norm_vals) { int size = w * h; for (int q = 0; q < c; q++) { float* ptr = data + cstep * q; const float mean = mean_vals[q]; const float norm = norm_vals[q]; int remain = size; for (; remain > 0; remain--) { *ptr = (*ptr - mean) * norm; ptr++; } } }
上面比较核心的就一句:
*ptr = (*ptr - mean) * norm;
就是遍历Mat的所有数据,给他减mean乘norm,要注意这里是乘norm,不是一般说的除方差,方差的倒数才是这里的norm。
https://zhuanlan.zhihu.com/p/456238585
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。