嵌入式AI在linux芯片平台上的部署方案，选型。_嵌入式支持 onnx

作者：菜鸟追梦旅行 | 2024-02-26 00:13:54

踩

嵌入式支持 onnx

简述
ONNX是一种AI神经网络模型的通用中间文件保存方法(可以理解成AI世界的XML)，各种AI框架，Inference引擎，甚至OpenCV里面的dnn onnx相关的模块都可以解析ONNX文件并生成特定平台和运行框架所支持的神经网络模型。ONNX本身不是AI神经网络运行框架，只是AI神经网络模型通用中间描述文件格式
GitHub链接
https://github.com/onnx/onnx
编程语言
C++ / Python
热度
5星

简述
TensorRT是NVIDIA家的开源AI神经网络Inference引擎，支持解析和转换ONNX格式的神经网络模型部署到支持CUDA的GPU上运行。目前TensorRT仅支持在NVIDIA家的产品部署AI神经网络模型，支持的平台有NVIDIA各种支持CUDA 9.0以上的显卡，嵌入式SOC平台(Jetson TX1/TX2/Nano/Xavier 等)
GitHub链接
https://github.com/NVIDIA/TensorRT
编程语言
C++
热度
3星

简述
MNN是阿里家开源的一款嵌入式Linux/Android平台的嵌入式AI神经网络Inference引擎。它在系统底层对ARM CPU代码进行系统级优化，可以调配ARM CPU + GPU的算力资源进行AI神经网络Inference运算。由于后发优势，加上贾扬清大神入职阿里的加成，目前业界评价MNN对很多AI神经网络在性能上的优化目前要优于ncnn, 这是后发优势，也许ncnn会进一步升级赶上。目前由于MNN开源时间还不长，star数目小于ncnn
GitHub链接
https://github.com/alibaba/MNN
编程语言
C++ / 少量 C语言
热度
4星

简述
ncnn是腾讯家开源的一款嵌入式跨平台平台的嵌入式AI神经网络Inference引擎。它在系统底层对ARM CPU代码进行系统级优化，可以调配ARM CPU + GPU的算力资源进行AI神经网络Inference运算。ncnn比MNN开源更早，不过它看起来更专注于Android平台，对Android系统平台优化得更好
GitHub链接
https://github.com/Tencent/ncnn
编程语言
三分之二 C++ / 三分之一 C语言
热度
5星

简述
TVM是青年学者陈天奇主导的跨平台基于编译方法部署的AI神经网络部署的方法。TVM项目的想法是做AI神经网络界的LLVM神经网络编译器，通过跨平台交叉编译的方法，将AI神经网络编译成目标平台的运行库，然后在tvm runtime运行。tvm runtime本身不依赖其它第三方库。
GitHub链接
https://github.com/dmlc/tvm
编程语言
C++ / Python
热度
4星半

简述
TensorFlow Lite是一款用于部署在移动设备上基于TensorFlow框架训练的的AI神经网络模型的一个工具。由于Android TensorFlow TensorFlow Lite都是Google家的产品，所以TensorFlow对Google家的Android设备有天然兼容性和生态，目前在Android平台使用比较多
链接
https://www.tensorflow.org/lite
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite
编程语言
C++ / Python
热度
6星

简述
ArmNN是Arm公司开源的基于arm嵌入式设备的inference框架，在Arm Cortex-A CPUs、Arm Mali GPUs、Arm Machine Learning processor都可以达到很高的加速效果。不过可惜的是，由于缺乏文档及教程，该框架在国内推广的程度不高，目前Github的更新迭代速度也不快。相对于其他AI神经网络Inference框架如NCNN、Tengine、MNN等等，ArmNN的知名度显得很小。不过有用户反馈ArmNN对ARM芯片上的算力进行统一管理和加速的效果很好，是一个被低估的框架
GitHub链接
https://github.com/ARM-software/armnn
编程语言
C++
热度
2星

简述
Tengine 是OPEN AI LAB公司开发的针对ARM公司中高端应用级CPU Cortex-A系列(参考CPU Cortex-A72) 开发的AI神经网络Inference引擎。同时支持Linux和Android系统，目前项目更新迭代速度并不快
GitHub链接
https://github.com/OAID/Tengine
编程语言
C++ / 少量 C语言
热度
2星半

简述
Tengine 是OPEN AI LAB公司开发的针对ARM公司中低端实时控制级 Cortex-M 开发的AI神经网络Inference引擎，纯C语言打造，支持RTOS系统，是目前少有的支持嵌入式裸机和RTOS系统的AI神经网络Inference引擎
GitHub链接
https://github.com/OAID/Tengine-lite
编程语言
C语言
热度
1星

简述
Mace是小米公司开发的一款支持ARM Cortex-A 系列手机级CPU的神经网络AI Inference引擎。能够同时管理调度CPU 和 GPU的算力，支持Windows, Linux, Android等多个系统，对高通手机开发平台的支持和优化做得比较出色。
编程语言
C++ / 少量 Python和C语言
GitHub链接
https://github.com/XiaoMi/mace
热度
3星半

简述
Paddle-Mobile是百度家的一款嵌入式AI神经网络Infrence框架，中文名叫飞桨，高性能支持ARM CPU，支持Mali GPU，支持Andreno GPU，支持苹果设备的GPU Metal实现，支持ZU5、ZU9等FPGA开发板，支持树莓派等arm-linux开发板。目前在中文开源资料比较丰富
GitHub链接
https://github.com/PaddlePaddle/paddle-mobile
编程语言
C++ / 少量 C语言
热度
4星

简述
dnn 是opencv里面用于deep learning AI神经网络inference的一个模块(据说有training的功能，但是一般不用)。dnn模块从opencv 3.1开始就在opencv_contrib库里面，在3.3版中，它被提到了主仓库中。新版OpenCV dnn模块目前支持Caffe、TensorFlow、Torch、PyTorch等深度学习框架。从3.4开始，dnn模块开始支持onnx格式的AI神经网络模型部署。
opencv dnn模块相比于其它AI神经网络 Inference引擎优点在于它依托于Opencv这个传统的计算机视觉库，有大量的传统视觉，图像预处理和后处理相关的api函数可以用，并且格式兼容。另外dnn只依赖于opencv, 不依赖其它的库，所以可以和opencv一起部署的嵌入式Linux(不是Ubuntu, Debian, Android这种发行版系统)最小系统上，可以运用到各种更细分的领域。
当然opencv dnn赶上时代潮流，进入opencv主仓库的时间比较晚，支持的AI神经网络模型并不算多，速度和计算精度性能优化不是特别好，版本迭代速度也不快，相比于其它家互联网公司主推的AI Inference引擎，其对gpu, cpu统一计算资源管理优化程度可能也不算特别好。不过从Opencv 4.x以后的版本看，dnn模块越来越受官方重视，建议大家尝试4.x以后的版本。
GitHub链接
https://github.com/opencv/opencv/tree/master/modules/dnn
编程语言
C++ / 少量 C语言
热度
3星半

简述
Dlib是一个现代C++语言编写的工具包，包含机器学习算法和工具，用于用C++创建复杂的软件来解决现实世界中的问题。它被广泛应用于工业和学术界，包括机器人、嵌入式设备、移动电话和大型高性能计算环境。
Dlib 在传统机器学习领域的算法库非常丰富，但是深度学习领域进入比较晚，支持的模型不算最新。不过Dlib在人脸识别领域，关键点识别做得还是不错，并且可以和OpenCV的Mat格式进行转换兼容，这样配合Opencv做人脸识别应该是不错的选择。不过Dlib的中文资料略少。
GitHub链接
https://github.com/davisking/dlib
编程语言
C++
热度
3星半

链接：https://www.jianshu.com/p/d4425b65c6e6

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/142517?site