赞
踩
SeetaFace6包含人脸识别的基本能力:人脸检测、关键点定位、人脸识别,同时增加了活体检测、质量评估、年龄性别估计,并且顺应实际应用需求,开放口罩检测以及口罩佩戴场景下的人脸识别模型。
人脸检测,就是输入待检测的图片,输出检测到的每个人脸位置,用矩形表示。
人脸检测器seeta::FaceDetector 的主要接口
- namespace seeta {
- class FaceDetector {
- FaceDetector(const SeetaModelSetting &setting);
- SeetaFaceInfoArray detect(const SeetaImageData &image) const;
- void set(Property property, double value);
- double get(Property property) const;
- }
- }
构造一个检测器的函数参考如下:
- #include <seeta/FaceDetector.h>
- seeta::FaceDetector *new_fd() {
- seeta::ModelSetting setting;
- setting.append("face_detector.csta");
- return new seeta::FaceDetector(setting);
- }
有了检测器,我们就可以对图片检测人脸,检测图片中所有人脸并打印坐标的函数参考如下:
- #include <seeta/FaceDetector.h>
- void detect(seeta::FaceDetector *fd, const SeetaImageData &image) {
- SeetaFaceInfoArray infos = fd->detect(image);
- for (int i = 0; i<infos.size; i++)
- {
- SeetaRect& face = infos.data[i].pos;
- std::cout << "[" << face.x << ", " << face.y << ", "
- << face.width << ", " << face.height << "]: "
- << infos.data[i].score << std::endl;
- }
- }
人脸检测器可以设置一些参数,通过set
方法(set方法只对当次人脸检测器有效)。可以设置的属性有:
- seeta::FaceDetector::PROPERTY_MIN_FACE_SIZE 最小人脸,默认值为20
- seeta::FaceDetector::PROPERTY_THRESHOLD 检测器阈值,默认值为0.90
- seeta::FaceDetector::PROPERTY_MAX_IMAGE_WIDTH 可检测的图像最大宽度,默认值为2000
- seeta::FaceDetector::PROPERTY_MAX_IMAGE_HEIGHT 可检测的图像最大高度,默认值为2000
- seeta::FaceDetector::PROPERTY_NUMBER_THREADS 人脸检测器计算线程数,默认为4
最小人脸是人脸检测器常用的一个概念,默认值为20,单位像素。它表示了在一个输入图片上可以检测到的最小人脸尺度,注意这个尺度并非严格的像素值,例如设置最小人脸80,检测到了宽度为75的人脸是正常的,这个值是给出检测能力的下限。
最小人脸和检测器性能息息相关。主要方面是速度,使用建议上,我们建议在应用范围内,这个值设定的越大越好。SeetaFace采用的是BindingBox Regresion的方式训练的检测器。如果最小人脸参数设置为80的话,从检测能力上,可以将原图缩小的原来的1/4,这样从计算复杂度上,能够比最小人脸设置为20时,提速到16倍。
检测器阈值默认值是0.9,合理范围为[0, 1]。这个值一般不进行调整,除了用来处理一些极端情况。这个值设置的越小,漏检的概率越小,同时误检的概率会提高;
可检测的图像最大宽度和可检测的图像最大高度是相关的设置,默认值都是2000。最大高度和宽度,是算法实际检测的高度。检测器是支持动态输入的,但是输入图像越大,计算所使用的内存越大、计算时间越长。如果不加以限制,一个超高分辨率的图片会轻易的把内存撑爆。这里的限制就是,当输入图片的宽或者高超过限度之后,会自动将图片缩小到限制的分辨率之内。
关键点定位,就是输入待检测的图片,和待检测的人脸位置,输出N个关键点的坐标(图片内)。
这里需要强调说明一下,这里的关键点是指人脸上的关键位置的坐标,在一些表述中也将关键点
称之为特征点
,但是这个和人脸识别中提取的特征概念没有任何相关性。并不存在结论,关键点定位越多,人脸识别精度越高。
一般的关键点定位和其他的基于人脸的分析是基于5点定位的。而且算法流程确定下来之后,只能使用5点定位。5点定位是后续算法的先验,并不能直接替换。从经验上来说,5点定位已经足够处理人脸识别或其他相关分析的精度需求,单纯增加关键点个数,只是增加方法的复杂度,并不对最终结果产生直接影响。
SeetaFace6提供了2个关键点检测模型:
face_landmarker_pts5.csta:5个关键点检测模型,这里检测到的5点坐标循序依次为,左眼中心、右眼中心、鼻尖、左嘴角和右嘴角。 注意这里的左右是基于图片内容的左右,并不是图片中人的左右,即左眼中心就是图片中左边的眼睛的中心。
face_landmarker_pts68.csta:68个关键点检测模型,其坐标位置可以通过逐个打印出来进行区分。
构造关键点定位器:
- #include <seeta/FaceLandmarker.h>
- seeta::FaceLandmarker *new_fl() {
- seeta::ModelSetting setting;
- setting.append("face_landmarker_pts5.csta");
- return new seeta::FaceLandmarker(setting);
- }
根据人脸检测关键点,并将坐标打印出来的代码如下:
- #include <seeta/FaceLandmarker.h>
- void mark(seeta::FaceLandmarker *fl, const SeetaImageData &image, const SeetaRect &face) {
- std::vector<SeetaPointF> points = fl->mark(image, face);
- for (auto &point : points) {
- std::cout << "[" << point.x << ", " << point.y << "]" << std::endl;
- }
- }
演示程序主界面如下图所示,包括获取参数、图片人脸检测+关键点定位、摄像头人脸检测+关键点定位等功能,其中关键点定位支持5点和68点两种模型。
获取参数:初始化人脸检测模型,获取人脸模型的最小人脸、检测器阈值、可检测的图像最大宽度、最大高度、人脸检测器计算线程数等参数。
图片人脸检测+关键点定位:读取一张人脸图片,进行人脸检测和关键点定位;结果显示在左侧(包括人脸框、关键点坐标)。
摄像头人脸检测+关键点定位:启动摄像头,进行实时人脸检测和关键点定位演示,结果显示在左侧(包括人脸框、关键点坐标)。
开发环境:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。