热门标签
热门文章
- 1Kali Linux利用MSF入侵安卓手机_kali攻击安卓手机
- 2Docker使用(一) — Linux下Docker安装部署_linux安装docker
- 3免费的在线电影
- 4Docker Desktop配置国内镜像仓库解决docker pull速度慢问题_docker desktop pull
- 5Python|30行代码实现微博热榜爬虫（及可视化进阶）_爬取微博数据的代码
- 6Vue3的几款UI组件库：Naive UI、Element Plus、 Ant Design Vue、Arco Design_ant-design-vue3级联组件
- 7性能测试-JMeter分布式测试及其详细步骤
- 8【iOS ARKit】光照估计
- 9翻译: GPT-4 Vision静态图表转换为动态数据可视化 升级Streamlit 三
- 10zookeeper+Springboot实现服务器动态上下线监听_我需要在springboot项目中感知dubbo服务在zookeeper注册中心的上下线事件
当前位置: article > 正文
AI嵌入式K210项目（18）-卷积人工神经网络硬件加速器 KPU
作者：代码大牛 | 2024-01-28 23:14:20
赞
踩
AI嵌入式K210项目（18）-卷积人工神经网络硬件加速器 KPU
前言
K210内置了丰富的加速器，包括神经网络处理器 (KPU)，AES(高级加密加速器)，APU 麦克风阵列语音数据加速计算处理器，现场可编程 IO 阵列 (FPIOA)，数字摄像头接口 (DVP)，相对于软件可以极大的提高 AES 运算速度，快速傅里叶变换加速器 (FFT)，安全散列算法加速器 (SHA256)。
本文介绍内置的卷积人工神经网络硬件加速器 KPU；
一、K210的KPU
KPU 是通用的神经网络处理器，它可以在低功耗的情况下实现卷积神经网络计算，实时获取被检测目
标的大小、坐标和种类，对人脸或者物体进行检测和分类。使用 kpu 时，必须结合 model compiler。
KPU 是通用神经网络处理器，内置卷积、批归一化、激活、池化运算单元，可以对人脸或物体进行实
时检测，具体特性如下：
• 支持主流训练框架按照特定限制规则训练出来的定点化模型
• 对网络层数无直接限制，支持每层卷积神经网络参数单独配置，包括输入输出通道数目、输入输
出行宽列高
• 支持两种卷积内核 1x1 和 3x3
• 支持任意形式的激活函数
• 实时工作时最大支持神经网络参数大小为 5.5MiB 到 5.9MiB
• 非实时工作时最大支持网络参数大小为（Flash 容量-软件体积）
KPU 的内部结构如下图所示：
对应的头文件 kpu.h
为用户提供以下接口：
• kpu_task_init (0.6.0 以后不再支持，请使用kpu_single_task_init)：初始化kpu 任务句柄，该函数具体实现在model compiler 生成的gencode_output.c 中。
• kpu_run (0.6.0 以后不再支持，请使用kpu_start)：启动KPU，进行AI 运算。
• kpu_get_output_buf (0.6.0 以后不再支持)：获取KPU 输出结果的缓存。
• kpu_release_output_buf (0.6.0 以后不再支持)：释放KPU 输出结果缓存。
• kpu_start：启动KPU，进行AI 运算。
• kpu_single_task_init：初始化kpu 任务句柄。
• kpu_single_task_deinit：注销kpu 任务。
• kpu_model_load_from_buffer：解析kmodel 并初始化kpu 句柄。
• kpu_load_kmodel：加载kmodel，需要与nncase 配合使用。
• kpu_model_free：释放kpu 资源。
• kpu_get_output：获取KPU 最终处理的结果。
• kpu_run_kmodel：运行kmodel。
二、实验过程
本实验代码较多，这里只贴出main.c的内容，其余内容稍后上传到gitee上
#include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h> #include "dvp.h" #include "fpioa.h" #include "lcd.h" #include "ov2640.h" #include "ov9655.h" #include "plic.h" #include "sysctl.h" #include "uarths.h" #include "st7789.h" #include "dvp_cam.h" #include "utils.h" #include "kpu.h" #include "l_conv.h" #include "sleep.h" #include "encoding.h" #include "gpiohs.h" #include "pin_config.h" #include "dvp_cam.h" int key_flag = 0; gpio_pin_value_t key_state = 1; volatile uint8_t g_ai_done_flag; uint8_t g_ai_buf_out[320 * 240 * 3] __attribute__((aligned(128))); /* KPU完成 */ static int kpu_done(void *ctx) { g_ai_done_flag = 1; return 0; } // 卷积 池化 批归一化 激活 输出偏置 float conv_data[9*3*3] ={ //origin //R 0,0,0,0,1,0,0,0,0, 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, //G 0,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0, 0,0,0,0,0,0,0,0,0, //B 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0, }; int demo_index=0; const float conv_data_demo[4][9*3*3] ={ { //origin //R 0,0,0,0,1,0,0,0,0, 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, //G 0,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0, 0,0,0,0,0,0,0,0,0, //B 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, 0,0,0,0,1,0,0,0,0,}, { //edge //R -1,-1,-1,-1,8,-1,-1,-1,-1, 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, //G 0,0,0,0,0,0,0,0,0, -1,-1,-1,-1,8,-1,-1,-1,-1, 0,0,0,0,0,0,0,0,0, //B 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, -1,-1,-1,-1,8,-1,-1,-1,-1,}, { //sharp //R -1,-1,-1,-1,9,-1,-1,-1,-1, 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, //G 0,0,0,0,0,0,0,0,0, -1,-1,-1,-1,9,-1,-1,-1,-1, 0,0,0,0,0,0,0,0,0, //B 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, -1,-1,-1,-1,9,-1,-1,-1,-1,}, { //relievo //R 2,0,0,0,-1,0,0,0,-1, 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, //G 0,0,0,0,0,0,0,0,0, 2,0,0,0,-1,0,0,0,-1, 0,0,0,0,0,0,0,0,0, //B 0,0,0,0,0,0,0,0,0, 0,0,0,0,0,0,0,0,0, 2,0,0,0,-1,0,0,0,-1,}, }; /** * Function hardware_init * @brief 硬件初始化，绑定GPIO口 * @param[in] void * @param[out] void * @retval void * @par History 无 */ void hardware_init(void) { /* 按键 */ fpioa_set_function(PIN_KEYPAD_MIDDLE, FUNC_KEYPAD_MIDDLE); /* LCD */ fpioa_set_function(PIN_LCD_CS, FUNC_LCD_CS); fpioa_set_function(PIN_LCD_RST, FUNC_LCD_RST); fpioa_set_function(PIN_LCD_RS, FUNC_LCD_RS); fpioa_set_function(PIN_LCD_WR, FUNC_LCD_WR); // DVP camera fpioa_set_function(PIN_DVP_RST, FUNC_CMOS_RST); fpioa_set_function(PIN_DVP_PWDN, FUNC_CMOS_PWDN); fpioa_set_function(PIN_DVP_XCLK, FUNC_CMOS_XCLK); fpioa_set_function(PIN_DVP_VSYNC, FUNC_CMOS_VSYNC); fpioa_set_function(PIN_DVP_HSYNC, FUNC_CMOS_HREF); fpioa_set_function(PIN_DVP_PCLK, FUNC_CMOS_PCLK); fpioa_set_function(PIN_DVP_SCL, FUNC_SCCB_SCLK); fpioa_set_function(PIN_DVP_SDA, FUNC_SCCB_SDA); // 使能SPI0和DVP sysctl_set_spi0_dvp_data(1); } /** * Function io_set_power * @brief 设置bank6/bank7电源域1.8V * @param[in] void * @param[out] void * @retval void * @par History 无 */ static void io_set_power(void) { /* Set dvp and spi pin to 1.8V */ sysctl_set_power_mode(SYSCTL_POWER_BANK6, SYSCTL_POWER_V18); sysctl_set_power_mode(SYSCTL_POWER_BANK7, SYSCTL_POWER_V18); } /* 转化图像数据格式，因为摄像头输出到AI的是RGB888格式，而显示屏需要RGB565格式 */ void rgb888_to_565(uint8_t *src_r, uint8_t *src_g, uint8_t *src_b, uint16_t *dst, uint32_t len) { uint32_t i; for (i = 0; i < len; i += 2) { dst[i] = (((uint16_t)(src_r[i + 1] >> 3)) << 11) + (((uint16_t)src_g[i + 1] >> 2) << 5) + (((uint16_t)src_b[i + 1]) >> 3); dst[i + 1] = (((uint16_t)(src_r[i] >> 3)) << 11) + (((uint16_t)src_g[i] >> 2) << 5) + (((uint16_t)src_b[i]) >> 3); } } /* 在原来图像的基础上增加数据（字符） */ void lcd_ram_cpyimg(char *lcd, int lcdw, char *img, int imgw, int imgh, int x, int y) { int i; for (i = 0; i < imgh; i++) { memcpy(lcd + lcdw * 2 * (y + i) + x * 2, img + imgw * 2 * i, imgw * 2); } return; } /* 左上角显示模式 */ void draw_text(void) { char string_buf[8 * 16 * 2 * 16]; //16个字符 char title[20]; switch (demo_index) { case 0: sprintf(title, " origin "); lcd_ram_draw_string(title, (uint32_t *)string_buf, BLUE, BLACK); lcd_ram_cpyimg((char *)g_display_buf, 320, string_buf, strlen(title) * 8, 16, 0, 0); break; case 1: sprintf(title, " edge "); lcd_ram_draw_string(title, (uint32_t *)string_buf, BLUE, BLACK); lcd_ram_cpyimg((char *)g_display_buf, 320, string_buf, strlen(title) * 8, 16, 0, 0); break; case 2: sprintf(title, " sharp "); lcd_ram_draw_string(title, (uint32_t *)string_buf, BLUE, BLACK); lcd_ram_cpyimg((char *)g_display_buf, 320, string_buf, strlen(title) * 8, 16, 0, 0); break; case 3: sprintf(title, "relievos"); lcd_ram_draw_string(title, (uint32_t *)string_buf, BLUE, BLACK); lcd_ram_cpyimg((char *)g_display_buf, 320, string_buf, strlen(title) * 8, 16, 0, 0); break; default: break; } } /* 按键中断回调 */ int key_irq_cb(void *ctx) { key_flag = 1; key_state = gpiohs_get_pin(KEYPAD_MIDDLE_GPIONUM); return 0; } /* 初始化按键 */ void init_key(void) { // 设置按键的GPIO模式为上拉输入 gpiohs_set_drive_mode(KEYPAD_MIDDLE_GPIONUM, GPIO_DM_INPUT_PULL_UP); // 设置按键的GPIO电平触发模式为上升沿和下降沿 gpiohs_set_pin_edge(KEYPAD_MIDDLE_GPIONUM, GPIO_PE_BOTH); // 设置按键GPIO口的中断回调 gpiohs_irq_register(KEYPAD_MIDDLE_GPIONUM, 1, key_irq_cb, NULL); } /** * Function main * @brief 主函数，程序的入口 * @param[in] void * @param[out] void * @retval void * @par History 无 */ int main(void) { hardware_init(); io_set_power(); /* 设置系统时钟和DVP时钟 */ sysctl_pll_set_freq(SYSCTL_PLL0, 800000000UL); sysctl_pll_set_freq(SYSCTL_PLL1, 300000000UL); sysctl_pll_set_freq(SYSCTL_PLL2, 45158400UL); uarths_init(); /* 系统中断初始化 */ plic_init(); /* 使能系统全局中断 */ sysctl_enable_irq(); /* 初始化显示屏，并显示一秒图片 */ printf("LCD init\r\n"); lcd_init(); lcd_draw_picture_half(0, 0, 320, 240, gImage_logo); sleep(1); /* ov摄像头初始化 */ int OV_type; OV_type=OVxxxx_read_id(); /* 初始化摄像头 */ if(OV_type == OV_9655) { ov9655_init(); } else if(OV_type == OV_2640) { ov2640_init(); } else { return 0;//打不开摄像头，结束 } /* 按键初始化*/ init_key(); /* kpu初始化 */ kpu_task_t task; conv_init(&task, CONV_3_3, conv_data); printf("KPU TASK INIT, FREE MEM: %ld\r\n", get_free_heap_size()); printf("Please press the keypad to switch mode\r\n"); while (1) { while (g_dvp_finish_flag == 0) ; /* 开始运算 */ conv_run(&task, g_ai_buf_in, g_ai_buf_out, kpu_done); while (!g_ai_done_flag) ; g_ai_done_flag = 0; g_dvp_finish_flag = 0; /* 转化成LCD支持的RGB565格式 */ rgb888_to_565(g_ai_buf_out, g_ai_buf_out + 320 * 240, g_ai_buf_out + 320 * 240 * 2, (uint16_t *)g_display_buf, 320 * 240); /* 左上角写字母提示是哪个模式 */ draw_text(); /* 显示图像 */ lcd_draw_picture(0, 0, 320, 240, g_display_buf); if (key_flag) //使用按键选择的卷积核 { if (key_state == 0) //按下 { msleep(20); //延迟去抖 key_flag = 0; demo_index = (demo_index + 1) % 4; memcpy((void *)conv_data, (void *)(conv_data_demo[demo_index]), 3 * 3 * 3 * 3 * sizeof(float)); conv_init(&task, CONV_3_3, conv_data); } else //弹起 { msleep(20); //延迟去抖 key_flag = 0; } } } return 0; }
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
代码完成后，进行编译
cd build
cmake .. -DPROJ=kpu -G "MinGW Makefiles"
make
- 1
- 2
- 3
- 4
- 5
编译完成后，在build文件夹下会生成kpu.bin文件。
使用type-C数据线连接电脑与K210开发板，打开kflash，选择对应的设备，再将程序固件烧录到K210开发板上。
实验结果：烧录固件完成后，系统会自动弹出一个终端窗口，并且打印一些初始化的信息，此时我们看显示器的已经显示了摄像头当前采集的画面，而且左上角还有一个‘origin’的单词，当我们按下keypad中间的键时，模式切换，LCD显示的画面会变化，除了原始画面，还有其他三种模式可以显示，每按一次keypad都可以切换一次模式。
总结
K210芯片内置了卷积人工神经网络硬件加速器KPU，它可以在低功耗的情况下实现卷积神经网络计算，实时获取被检测目
标的大小、坐标和种类，对人脸或者物体进行检测和分类；
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/blog/article/detail/42129
推荐阅读
- 在Linux上安装Redis的详细步骤可以阅读。Redis学习笔记1：基础Redis学习笔记1：基础安装在Linux上安装Redis的详细步骤可以阅读这里。命令行客户端与服务端一同安装的还有命令行客户端redis-cli，可以通过以下方式用... [详细]
赞
踩
- 题目描述给你二叉树的根结点root，请你将它展开为一个单链表：展开后的单链表应该同样使用TreeNode，其中right子指针指向链表中下一个结点，而左子指针始终为null。展开后的单链表应该与二叉树先序遍历顺序相同。样例描述思路前序遍历先... [详细]
赞
踩
- 文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-basedQA），基于文档的问答系统（Documen-basedQA），以及基于FAQ的问答系统（Community-QA）等。像对于问题的内容，需要进行相似度匹... [详细]
赞
踩
- 在前面的k8s基础学习中，我们学习了各种资源的搭配运用，以及命令行，声明式文件创建。这些都是为了k8s管理员体会k8s的框架，内容基础。在真正的生产环境中，大部分的公司还是会选用图形化管理工具来管理k8s集群，大大提高工作效率。在二进制搭建... [详细]
赞
踩
- 基于Python生态环境，由APScheduler技术构建定时采集数据、预测数据服务，与Flask整合为web服务应用，构建简易任务监控解决方案。PythonFlask与APScheduler构建简易任务监控1.FlaskWebFlask诞... [详细]
赞
踩
- importVuefrom"vue"//标签添加自动聚焦的功能//用法:Vue.directive("fofo",{inserted(el){fo(el)},update(el){//指令所在的标签被更新时候,触发fo(el)})funct... [详细]
赞
踩
- 本文章主要是源自实际项目开发项目的总结，一些思考是参考了看过的文章，做了一篇总结，demo是跑过的，可以放心食用。目录一.组件通信1.父组件向子组件通信2.子组件向父组件通信3.跨级组件通信4.兄弟组件通信5.无嵌套关系的组件通信二、避免重... [详细]
赞
踩
- Stm32f103VET6拥有512KB的Flash存储器和64KB的SRAM存储器，而stm32f103c8t6则只有64KB的Flash存储器和20KB的SRAM存储器。stm32f103VET6采用的是100引脚的LQFP封装，而st... [详细]
赞
踩
- 实例库文件版本：符号对照表：实例程序段：总结：按以上实例是可以轮询起来的读写均正常，但是存在一个BUG：每一个MBUS_MSG轮询完成位Done为1后，Error会出现错误代码：6，即Modbus正忙于处理另一请求，某一时间只能有一条MBU... [详细]
赞
踩
- 基于模板的图像生成描述方法是指利用预定义的文本模板，结合从图像中提取的关键信息，来生成描述图像内容的自然语言句子。这种方法通常依赖于固定的句子结构或模式，其中的空白部分由从图像中识别出的实体、属性或动作来填充。深度学习与图像描述生成——图像... [详细]
赞
踩
- kali这方面不说了,meterpreter也略过,做个关于mimikatz的笔记.mimikatz模块,能获取对方机器的密码(包括哈希和明文).渗透模块怎么进的也不说了,方式太多,我用的是ms17-010进去meterpreter后get... [详细]
赞
踩
本文介绍如何利用visualstudio新建一个winform程序_winformwinform文章目录前言：第1步、打开MicrosoftVisualStudio（简称vs），本人这里使用的是VisualStudio2017专业版，如下图... [详细]赞
踩
一、违法软件类型1、棋牌类赌博游戏2、色情类应用3、涉及金融类软件4、爬虫类软件5、区块链货币二、甄别是否合法1、查看有没有正规的版号2、查看应用内的货币能否提现3、概率购物【Android逆向】程序员高危开发方向(违法软件类型|赌博游戏|... [详细]赞
踩
- 本文仅供学习使用B站：DR_CAN。[足式机器人]Part2Dr.CAN学习笔记-KalmanFilter卡尔曼滤波器Ch05-1+2本文仅供学习使用本文参考：B站：DR_CANDr.CAN学习笔记-KalmanFilter卡尔曼滤波器Ch... [详细]
赞
踩
- importtensorflowastffromkeras.layersimport*importkeras.backendasKfromtensorflow.python.opsimportcontrol_flow_opsfromtens... [详细]
赞
踩
- 第一步，我们要通过plus.android.requestPermissions(['android.permission.READ_CALL_LOG','android.permission.WRITE_CALL_LOG','androi... [详细]
赞
踩
- 背景：scrapy启动了多个爬虫，每个爬虫都有读写文件的pipeline。发生了这一问题.原因：超出了进程同一时间最多可开启的文件数.解决办法：ulimit-n2048，将数目提高，mac默认是256，linux是1024，自行体会....... [详细]
赞
踩
- 可变数据类型，与不可变数据类型是指向同一个内存地址的，python的赋值是只是把变量的内存地址赋值给另一个变量，这一点可以使用python的内建方法id()来进行测试，对于你给的例子：我们假设'QH'这个字符串在内存中的地址是a,'LJQ'... [详细]
赞
踩
- torch.zeros_torch.zerostypetorch.zerostype分类目录：《深入浅出Pytorch函数》总目录相关文章：·深入浅出Pytorch函数——torch.Tensor·深入浅出Pytorch函数——torch.... [详细]
赞
踩
- article
" href="/blog/article/detail/41312" target="_blank">Dubbo 的集群容错模式：Broadcast Cluster_<dubbo:service cluster="broadcast" />
赞
踩
相关标签
