Python3+Dlib+Opencv实现摄像头采集人脸并对表情进行实时分类判读_python opencv 表情识别 完整源码 下载

一. dlib以及opencv-python库安装

1.1 dlib库安装

在Anaconda Prompt下输入以下命令

pip install dlib
1

如果下载失败，可能是网速太慢，多试几次即可。但如果始终不行可以用另一种安装方法
首先需要从网上下载
dlib：http://dlib.net/ 或者 https://github.com/davisking/dlib
下载完成后，解压缩

这时候需要的是dist文件夹中的下面图片中的两个文件夹（这里先不用管，下面已经完成的）：

2、编译
->打开终端，并且定位在dlib文件夹，使用python setup.py install产生上面的文件夹
在运行上面的命令时可能会遇见以下两种问题：
①在运行的时候会出现找不到cmake的问题
解决方法：
当遇见这个问题的时候，说明你的系统环境中并没有cmake，所以这时候需要你在你的电脑上安装cmake编译环境。
->官网下载安装包：https://cmake.org/download/

->下载完成之后，解压缩，然后将cmake的bin文件夹添加在系统环境路径中。

->添加环境变量

然后理论上讲，应该不会出现cmake的错误，但是后面会出现第二个错误
②再次运行python setup.py install，出现could not find boost的问题
解决方法：
->安装boost：下载地址：http://www.boost.org/
->下载相应的版本（可以选择最新的下载）

->下载之后将其解压缩，进入boost_1_66_0文件夹中，找到bootstrap.bat批处理文件，双击运行，等待运行完成后（命令行自动消失）
->在boost_1_66_0\tools\build文件夹下找到以下两个文件：

->然后将这两个文件复制到boost_1_66_0根文件夹下：
->同样开启一个命令行，定位到这个文件夹，运行命令：
b2 install
->利用b2编译库文件：
b2 -a –with-python address-model=64 toolset=msvc runtime-link=static
->之前你cmake下载的64位这里（address-model）写64，如果是32位的就把之前的64改成32
->然后将boost添加到环境变量中：
③运行完成之后，重新运行python setup.py install
3、耐心等待，即可获得上面的dlib中的两个文件夹
4、将其添加到python的lib中：
—>例如我的python环境为python2.7，
—>所以将其放在python2-7文件夹的Python2-7\Lib\site-packages中
—>这时，就已经完成了dlib的配置

1.2 opencv-python库安装

在Anaconda Prompt下输入以下命令

pip install opencv-python
1

但如果一直失败，建议在Anaconda Prompt下输入以下命令

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python
1

二.dlib的68点模型

dlib的68点模型，使用网络上大神训练好的特征预测器，用来进行python代码人脸识别的特征预测。
我已经将其上传至CSDN，有需要的同学可以直接点击链接下载face.dat。

三.Python实现摄像头人脸检测

3.1 python代码

Python实现摄像头人脸检测并对表情进行实时分类判读，python代码如下：

"""
从视屏中识别人脸，并实时标出面部特征点
"""
import sys
import dlib  # 人脸识别的库dlib
import numpy as np  # 数据处理的库numpy
import cv2  # 图像处理的库OpenCv
 
class face_emotion():
    def __init__(self):
        # 使用特征提取器get_frontal_face_detector
        self.detector = dlib.get_frontal_face_detector()
        # dlib的68点模型，使用作者训练好的特征预测器
        self.predictor = dlib.shape_predictor("face.dat")
 
        # 建cv2摄像头对象，这里使用电脑自带摄像头，如果接了外部摄像头，则自动切换到外部摄像头
        self.cap = cv2.VideoCapture(0)
        # 设置视频参数，propId设置的视频参数，value设置的参数值
        self.cap.set(3, 480)
        # 截图screenshoot的计数器
        self.cnt = 0
 
    def learning_face(self):
 
        # 眉毛直线拟合数据缓冲
        line_brow_x = []
        line_brow_y = []
 
        # cap.isOpened（） 返回true/false 检查初始化是否成功
        while (self.cap.isOpened()):
 
            # cap.read()
            # 返回两个值：
            #    一个布尔值true/false，用来判断读取视频是否成功/是否到视频末尾
            #    图像对象，图像的三维矩阵
            flag, im_rd = self.cap.read()
 
            # 每帧数据延时1ms，延时为0读取的是静态帧
            k = cv2.waitKey(1)
 
            # 取灰度
            img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)
 
            # 使用人脸检测器检测每一帧图像中的人脸。并返回人脸数rects
            faces = self.detector(img_gray, 0)
 
            # 待会要显示在屏幕上的字体
            font = cv2.FONT_HERSHEY_SIMPLEX
 
            # 如果检测到人脸
            if (len(faces) != 0):
 
                # 对每个人脸都标出68个特征点
                for i in range(len(faces)):
                    # enumerate方法同时返回数据对象的索引和数据，k为索引，d为faces中的对象
                    for k, d in enumerate(faces):
                        # 用红色矩形框出人脸
                        cv2.rectangle(im_rd, (d.left(), d.top()), (d.right(), d.bottom()), (0, 0, 255))
                        # 计算人脸热别框边长
                        self.face_width = d.right() - d.left()
 
                        # 使用预测器得到68点数据的坐标
                        shape = self.predictor(im_rd, d)
                        # 圆圈显示每个特征点
                        for i in range(68):
                            cv2.circle(im_rd, (shape.part(i).x, shape.part(i).y), 2, (0, 255, 0), -1, 8)
                            # cv2.putText(im_rd, str(i), (shape.part(i).x, shape.part(i).y), cv2.FONT_HERSHEY_SIMPLEX, 0.5,
                            #            (255, 255, 255))
 
                        # 分析任意n点的位置关系来作为表情识别的依据
                        mouth_width = (shape.part(54).x - shape.part(48).x) / self.face_width  # 嘴巴咧开程度
                        mouth_higth = (shape.part(66).y - shape.part(62).y) / self.face_width  # 嘴巴张开程度
                        # print("嘴巴宽度与识别框宽度之比：",mouth_width_arv)
                        # print("嘴巴高度与识别框高度之比：",mouth_higth_arv)
 
                        # 通过两个眉毛上的10个特征点，分析挑眉程度和皱眉程度
                        brow_sum = 0  # 高度之和
                        frown_sum = 0  # 两边眉毛距离之和
                        for j in range(17, 21):
                            brow_sum += (shape.part(j).y - d.top()) + (shape.part(j + 5).y - d.top())
                            frown_sum += shape.part(j + 5).x - shape.part(j).x
                            line_brow_x.append(shape.part(j).x)
                            line_brow_y.append(shape.part(j).y)
 
                        # self.brow_k, self.brow_d = self.fit_slr(line_brow_x, line_brow_y)  # 计算眉毛的倾斜程度
                        tempx = np.array(line_brow_x)
                        tempy = np.array(line_brow_y)
                        z1 = np.polyfit(tempx, tempy, 1)  # 拟合成一次直线
                        self.brow_k = -round(z1[0], 3)  # 拟合出曲线的斜率和实际眉毛的倾斜方向是相反的
 
                        brow_hight = (brow_sum / 10) / self.face_width  # 眉毛高度占比
                        brow_width = (frown_sum / 5) / self.face_width  # 眉毛距离占比
                        # print("眉毛高度与识别框高度之比：",round(brow_arv/self.face_width,3))
                        # print("眉毛间距与识别框高度之比：",round(frown_arv/self.face_width,3))
 
                        # 眼睛睁开程度
                        eye_sum = (shape.part(41).y - shape.part(37).y + shape.part(40).y - shape.part(38).y +
                                   shape.part(47).y - shape.part(43).y + shape.part(46).y - shape.part(44).y)
                        eye_hight = (eye_sum / 4) / self.face_width
                        # print("眼睛睁开距离与识别框高度之比：",round(eye_open/self.face_width,3))
 
                        # 分情况讨论
                        # 张嘴，可能是开心或者惊讶
                        if round(mouth_higth >= 0.03):
                            if eye_hight >= 0.056:
                                cv2.putText(im_rd, "amazing", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX,
                                            0.8,
                                            (0, 0, 255), 2, 4)
                            else:
                                cv2.putText(im_rd, "happy", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
                                            (0, 0, 255), 2, 4)
 
                        # 没有张嘴，可能是正常和生气
                        else:
                            if self.brow_k <= -0.3:
                                cv2.putText(im_rd, "angry", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
                                            (0, 0, 255), 2, 4)
                            else:
                                cv2.putText(im_rd, "nature", (d.left(), d.bottom() + 20), cv2.FONT_HERSHEY_SIMPLEX, 0.8,
                                            (0, 0, 255), 2, 4)
 
                # 标出人脸数
                cv2.putText(im_rd, "Faces: " + str(len(faces)), (20, 50), font, 1, (0, 0, 255), 1, cv2.LINE_AA)
            else:
                # 没有检测到人脸
                cv2.putText(im_rd, "No Face", (20, 50), font, 1, (0, 0, 255), 1, cv2.LINE_AA)
 
            # 添加说明
            im_rd = cv2.putText(im_rd, "S: screenshot", (20, 400), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
            im_rd = cv2.putText(im_rd, "Q: quit", (20, 450), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
 
            # 按下s键截图保存
            if (k == ord('s')):
                self.cnt += 1
                cv2.imwrite("screenshoot" + str(self.cnt) + ".jpg", im_rd)
 
            # 按下q键退出
            if (k == ord('q')):
                break
 
            # 窗口显示
            cv2.imshow("camera", im_rd)
 
        # 释放摄像头
        self.cap.release()
 
        # 删除建立的窗口
        cv2.destroyAllWindows()
 
 
if __name__ == "__main__":
    my_face = face_emotion()
    my_face.learning_face()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154

3.2 运行结果

表情自然，会显示nature
表情愉悦时，会显示happy
除此之外，还能判断是否生气，以及吃惊等表情。
S截图保存、Q退出摄像头人脸识别