聆思CSK6大模型开发板视觉识别类开源SDK介绍_csk6 目标检测

大模型开发板除了语音交互之外，还配套有大模型拍照识图和坐姿检测、人脸识别、活体识别、头肩跟随、手势识别、物体分类等七个线视觉识别方面的交互示例等。

SDK介绍

1、大模型语音交互+拍照识图SDK

SDK功能

• 语音交互：支持按键录音或唤醒后通过语音与大模型进行对话
• 拍照识图：支持通过摄像头拍摄图像并上传给大模型进行识别，支持依据识图内容进行提问
• 图片生成：支持通过语音交互描述画面内容，令大模型生成图片并显示至套件屏幕上

拍照识图

在待机页，点击拍照按钮即可进入取景页面，对准要拍照的物体，点击右侧中间的拍照键完成抓拍，确认画面抓拍正常后（无晃动模糊的情况），点击右侧的 √ 进行提交识别：

识别结果：

2、坐姿检测SDK

算法简介

CSK6 大模型开发套件可检测图像中人物的坐姿情况，并对各种不良的坐姿进行识别，当画面中有坐姿信息时，显示屏上将实时对人物的关键骨骼点进行标注并显示该人物的包含手、身体状态在内的坐姿检测结果，结果包含一下内容：

• 手状态：正常/下垂/撑脸
• 身体状态：正常/趴桌/倾斜/驼背/离席

CSK6 芯片支持运行 坐姿检测 AI算法，具备以下特性：

• 硬件上仅需配合 30W 像素镜头模组，性价比出色
• 纯离线运行算法，无需联网，保障隐私
• 检测准确率 ＞ 97%，响应时间 ＜ 18ms
• 识别距离：推荐 40cm ~ 60cm, 建议不超过 110cm

坐姿检测实物演示

坐姿.mp4

应用运行时，将实时对摄像头前方的人的坐姿进行检测，可通过显示屏观察到摄像头的实时画面及其在画面左侧展示的坐姿检测结果。

3、人脸识别SDK

人脸识别算法简介

人脸识别 算法具备以下特性：

• 支持检测图像中人脸信息，选取画面中分值最高的人脸，返回人脸边界框、人脸标定点、头部姿态角度、人脸识别特征等
• 人脸标定点如图，支持68个关键点检测

• 头部姿态角度如图，支持pitch、roll、yaw三个角度
• 支持特征比较：将检测到的人脸特征值和本地存储的人脸特征值输入算法进行比对， 并返回比对结果

应用场景

离线人脸识别适用于网络条件不稳定、无网、数据安全性要求高、人脸库较小（20人以下）单台设备的人脸识别场景。常见于人脸门禁、小型企业考勤机、自助终端设备等。

算法效果指标数据

识别效果

在1m距离内，测试特征底库10个，人脸识别效果分别为：

使用介绍

人脸识别示例工程的使用

调用人脸识别算法，可以通过开发板上的按键操作进行人脸注册、脸识别，并通过图像预览工具查看摄像头的画面与输出结果。

固件功能说明

程序运行后，默认会在屏幕上显示实时的摄像头画面并在画面中使用方框实时标注出人脸，并通过方框的颜色指示不同的识别状态。

可以按照以下流程进行人脸识别功能的使用：

• Step1：检测到人脸 (屏幕显示黄色框 / 开发板LED亮黄色)
• Step2：按K1按键注册当前人脸特征 (屏幕 registered参数增加1 /开发板LED闪烁蓝色)
• Step3：按K2对当前人脸进行识别比对
  • 识别通过：屏幕显示绿色框 / 开发板LED亮绿色
  • 识别未通过：屏幕显示红色框 / 开发板LED亮红色

LED指示状态

• 黄色：检测到人脸
• 绿色：人脸特征比对通过
• 红色：人脸特征比对未通过

按键功能

• K1：录入当前检测到的人脸特征
• K2：将当然的人脸特征与之前录入的特征进行比较
• K3：开关摄像头红外补光灯(安装红外摄像头时)

4、活体识别

功能说明

需要搭配带补光灯的红外摄像头，结合人脸识别算法，实现对活体的检测。

程序运行后，默认会在屏幕上显示实时的摄像头画面并在画面中使用方框实时标注出人脸，并通过方框的颜色指示不同的识别状态。

1.注册人脸

当LED为黄色时(检测到人脸)，按动K1按键，此时将会录入当前检测到的人脸特征，录入成功后，可看到屏幕上显示的registered 数量增加1，说明本次录入已完成并加入人脸特征库：

2.比对人脸

当LED为黄色时(检测到人脸)，按动K2按键，此时固件会将当前摄像头前检测到的人脸与已录入的人脸特征进行比对，若对比成功(命中已录入的人脸特征)，屏幕中圈中人脸的框将变为绿色，同时开发板上的LED颜色将变为绿色，表示人脸特征比对通过，并在屏幕上显示匹配的人脸特征序号(id)与评分(score)。

若比对不通过，即当前人脸未在人脸特征库中录入过，屏幕中圈中人脸的框将变为红色，同时开发板上的LED颜色将变为红色，表示人脸特征比对通过。

3.串口日志的查看

本示例同样支持串口日志的打印，可通过连接开发板上的DAP_USB 并使用串口工具打开对应的串口设备进行日志查看，默认波特率 115200，伴随着 人脸录入、人脸比对等操作，可看到日志串口有对应的结果输出。