Opencv之疲劳检测_基于opencv疲劳检测

项目要求

在一段视频中，通过检测人眨眼的次数来判断他的疲劳程度。

代码实现

1、导入工具包

from scipy.spatial import distance as dist
import numpy as np
import dlib
import cv2
1
2
3
4

2、对脸上的部位进行定义

在关键点定位的官方文档中，提取68个关键点来表示脸上的部位。其中：

• 第1个点到第17个点：脸颊；
• 第18个点到第22个点：右边眉毛；
• 第23个点到第27个点：左边眉毛；
• 第28个点到第36个点：鼻子；
• 第37个点到第42个点：右眼；
• 第43个点到第48个点：左眼；
• 第49个点到第68个点：嘴巴。
  如下图所示：
  

FACIAL_LANDMARKS_68_IDXS = dict([
    ("mouth", (48, 68)),
    ("right_eyebrow", (17, 22)),
    ("left_eyebrow", (22, 27)),
    ("right_eye", (36, 42)),
    ("left_eye", (42, 48)),
    ("nose", (27, 36)),
    ("jaw", (0, 17))
])
1
2
3
4
5
6
7
8
9

3、EAR（eye aspect ratio）计算函数

在论文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。
在包含着人眼的图片中画出六个点，如图所示：

当人眨眼时，这六个点的距离会发生变化，则可以用这六个点的一些距离关系来判断是否有眨眼行为。
定义EAR函数：

def eye_aspect_ratio(eye):
    # 计算距离，竖直的
    A = dist.euclidean(eye[1], eye[5])
    B = dist.euclidean(eye[2], eye[4])
    # 计算距离，水平的
    C = dist.euclidean(eye[0], eye[3])
    # ear值
    ear = (A + B) / (2.0 * C)
    return ear
1
2
3
4
5
6
7
8
9

4、定义得到关键点坐标的函数

具体原因可以参考我的另一篇博文：Opencv之人脸关键点定位。

def shape_to_np(shape, dtype="int"):
    # 创建68*2
    coords = np.zeros((shape.num_parts, 2), dtype=dtype)
    # 遍历每一个关键点
    # 得到坐标
    for i in range(0, shape.num_parts):
        coords[i] = (shape.part(i).x, shape.part(i).y)
    return coords
1
2
3
4
5
6
7
8

5、设置判断参数

如果EAR小于0.3，则判断为闭眼，如果视频中有连续三帧以上都有闭眼，则判断为眨眼行为

# 设置判断参数
EYE_AR_THRESH = 0.3  # ear小于0.3判断为闭眼
EYE_AR_CONSEC_FRAMES = 3  # 连续三帧ear都小于0.3判断为眨眼

# 初始化计数器
COUNTER = 0
TOTAL = 0
1
2
3
4
5
6
7

6、加载dlib库中的人脸检测与关键点定位

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
1
2

7、分别取两个眼睛区域

(lStart, lEnd) = FACIAL_LANDMARKS_68_IDXS["left_eye"]
(rStart, rEnd) = FACIAL_LANDMARKS_68_IDXS["right_eye"]
1
2

8、读取视频

vs = cv2.VideoCapture('test.mp4')
1

9、对每一帧图片进行操作，实现功能

• 读取一帧图片并做预处理操作；
• 检测人脸；
• 获取人脸上的关键点坐标；
• 绘制眼睛区域；
• 计算左右两眼的EAR值，取平均值得到总的EAR值；
• 检查EAR值是否满足阈值，如果满足，眨眼次数加一；
• 将总的眨眼次数写在视频中。

# 遍历每一帧
while True:
    # 预处理
    frame = vs.read()[1]
    if frame is None:
        break

    (h, w) = frame.shape[:2]
    width=1200
    r = width / float(w)
    dim = (width, int(h * r))
    frame = cv2.resize(frame, dim, interpolation=cv2.INTER_AREA)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 检测人脸
    rects = detector(gray, 0)

    # 遍历每一个检测到的人脸
    for rect in rects:
        # 获取坐标
        shape = predictor(gray, rect)
        shape = shape_to_np(shape)

        # 分别计算ear值
        leftEye = shape[lStart:lEnd]
        rightEye = shape[rStart:rEnd]
        leftEAR = eye_aspect_ratio(leftEye)
        rightEAR = eye_aspect_ratio(rightEye)

        # 算一个平均的
        ear = (leftEAR + rightEAR) / 2.0

        # 绘制眼睛区域
        leftEyeHull = cv2.convexHull(leftEye)
        rightEyeHull = cv2.convexHull(rightEye)
        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

        # 检查是否满足阈值
        if ear < EYE_AR_THRESH:
            COUNTER += 1

        else:
            # 如果连续几帧都是闭眼的，总数算一次
            if COUNTER >= EYE_AR_CONSEC_FRAMES:
                TOTAL += 1

            # 重置
            COUNTER = 0

        # 显示
        cv2.putText(frame, "Blinks: {}".format(TOTAL), (10, 30),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

    cv2.imshow("Frame", frame)
    key = cv2.waitKey(10) & 0xFF

    if key == 27:
        break

vs.release()
cv2.destroyAllWindows()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

最终效果

需要源码及视频的朋友可以戳这里下载哦。