在一块开发板上同时实现大模型语音交互和视觉识别_大模型 语音交互

本次使用聆思CSK6视觉语音大模型开发板除基础的外设外，还提供了摄像头/麦克风/扬声器/屏幕/网络模组等硬件资源，因此很适合进行视觉类、语音类的应用开发。

• 使用聆思 CSK6011A 芯片作为主控，板载 16MB Flash
• 集成摄像头、麦克风、扬声器、屏幕等丰富外设配件
• 配套多模态应用示例，支持快速上手体验大模型语音交互、智能视觉等 AI 应用
• 板载 DAPLINK 调试器，外接一条USB 线即可实现烧录、调试、串口日志查看
• 板载网络模组，支持开发联网类应用

开发板左侧有两个USB接口，分别是用来烧录调试、查看日志和摄像头数据。两个接口均支持对开发板供电。但考虑到一些电脑的一个信息接口可能存在电流不足的问题，因此还配套了电源适配器，可以连接开发板的DC座供电。

支持的AI能力

• 语音唤醒 + 坐姿检测
• 坐姿检测
• 单词评测
• 人脸识别
• 头肩检测 & 手势识别
• 物体分类
• 中英翻译
• 分词
• 啼哭检测

当开发套件联网后，就可以进行大模型语音交互和使用视觉识别能力

上手开发板

接入

1、使用type-c数据线连接电脑和开发板的【DAP_USB】口

2、连接成功后，会在电脑上看到新增的COM口，开发板集成了调试器芯片，因此可以通过这个COM口连接到芯片的日志串口。

3、打开串口日志调试工具，选中识别到的位置，默认使用波特率11520，勾选【加回车换行】。

联网

打开串口后 可以输入WiFi指令，查看支持的网络相关的操作。如果开发版之前没有接入过WiFi网络，我们可以使用wifi connect <name> <password>这条指令来联网。以接入WiFi SSID为wifitest，密码是12345678为例，输入wifi connect wifitest 12345678，发送这条指令后就可以让开发板连接WiFi网络了。

SDK支持的联网指令如下：

• wifi connect
  • 如果系统上电后联网失败，日志无输出，用户可以通过 wifi connect ssid pwd 命令连接到相应的网络 (ssid 为 WIFI 名称，pwd 为密码)
  • 如果系统已经联网成功，使用此命令，会提示已经连接网络
  • 以接入名称为 wifitest，密码为 12345678 的 WIFI 网络为例，使用的联网命令为：wifi connect wifitest 12345678
• wifi disconnect: 断开 WIFI 网络连接
• wifi add ssid pwd: 把 ssid 的网络存储到 flash 分区,添加后设备在自动联网时可自动接入此网络
• wifi delete ssid: 从flash分区中删除ssid网络
• wifi list: 列出flash分区存储的网络列表

大模型语音交互

开发套件接入网络后，可以使用“小聆小聆”用这个唤醒词进行唤醒，并说出问题就可以听到经大模型处理的语音回复。

也支持接入自己的大模型云端应用，实现与该大模型应用进行语音交互，详细操作文档可以私信了解。

坐姿识别

开发套件的SDK还包含离线的坐姿检测算法能力， 坐姿检测算法通过摄像头拍摄的图片和检测结果，支持通过CSK_USB接口传输到电脑或上位机上。

1、我们把连接电脑的数据线接到开发板的【CSK _USB】接口上，连接成功后就可以看到屏幕右下角弹出【检测到CSK View Finde】的提示？如果您使用windows系统，没有弹出提示，可以参照Windows系统使用必读 进行驱动安装。

2、我们点击打开PC工具的网址，找到我们的设备并连接，

3、连接后就可以看到图像采集情况和坐姿的检测情况。

4、此外，当开发板检测到我们出现不良坐姿时，也会通过闪烁开发板上的红色LED灯进行提醒。

使用其他AI能力

开发套件还可以通过更换SDK使用其他AI能力，以使用【单词评测】为例，执行五步即可使用。

1、按 开发文档指引 拉取SDK 代码：

git clone --branch v1.2.0 https://cloud.listenai.com/CSKG962172/duomotai_ap.git

2、初始化SDK

lisa zep init-app
 
lisa zep update

3、编译工程

lisa zep build -b csk6_duomotai_devkit apps\lcd_csps\ -p

4、烧录固件

支持Windows系统和Linux系统，其中的 COMx 代表开发套件连接到 PC 上对应的串口号（可通过设备管理器查看）。例如：COM3。

windows系统：

lisa zep flash -r pyocd --frequency 20000000
 
lisa zep exec cskburn -s \\.\COMx -C 6 -b 1500000 0x000000 build\zephyr\zephyr.bin

linux系统：

lisa zep exec cskburn -s PORT -C 6 0x000000 ./build/zephyr/zephyr.bin -b 1500000

5、运行：

烧录完成后，程序将自动运行，你也可以通过按压开发板上的复位按键(RTS)进行复位运行。

视频讲解

CSK6 视觉语音大模型开发板功能演示与上手指南

其他开发资料

ChatGPT 实践分享 | CSDN
环境搭建 | 聆思文档中心
芯片介绍 | 聆思文档中心
支持简介 | 聆思文档中心
更多视频课程

关于聆思

聆思科技是一家专注提供智能终端系统级（SoC）芯片的高科技企业，目前推出的CSK6系AI芯片已适配Zephyr RTOS。
希望了解更多有关CSK6 AI芯片信息的伙伴也可以+V：cskmoudule

欢迎各位同学与我们进行技术相关的探讨，大家一起进步吧！