devbox
知新_RL
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

移动端推理引擎通用性小测_移动端的开源推理引擎

作者：知新_RL | 2024-04-07 05:05:08

赞

踩

移动端的开源推理引擎

移动端推理引擎通用性小测

推理引擎

引擎公司Commit id(或Tag)链接使用方法
MNN阿里巴巴2.6.0https://github.com/tensorflow/tensorflow/tree/v2.13.0-rc1https://mnn-docs.readthedocs.io/en/latest/start/overall.html
TensorFlow Lite谷歌v2.13.0-rc1https://github.com/tensorflow/tensorflow/tree/v2.13.0-rc1https://tensorflow.google.cn/lite/performance/benchmarks?hl=zh-cn
Paddle Lite百度v2.13-rchttps://github.com/PaddlePaddle/Paddle-Lite/tree/v2.13-rchttps://github.com/PaddlePaddle/Paddle-Lite/blob/v2.13-rc/README.md
NCNN腾讯20230517https://github.com/Tencent/ncnn/tree/20230517https://github.com/Tencent/ncnn/wiki/how-to-build
TNNfbe15fe6e7eb3858fd356b6d189a48821d2e9d49https://github.com/Tencent/TNN/tree/fbe15fe6e7eb3858fd356b6d189a48821d2e9d49https://github.com/Tencent/TNN/blob/fbe15fe6e7eb3858fd356b6d189a48821d2e9d49/doc/cn/get_started.md
MindSpore Lite华为v2.0.0-rc1https://github.com/mindspore-ai/mindspore/tree/v2.0.0-rc1https://www.mindspore.cn/lite/docs/en/master/use/build.html

测试模型

类别模型地址输入尺寸
视觉分类MobileNet-V2https://github.com/onnx/models/blob/main/vision/classification/mobilenet/model/mobilenetv2-10.onnx1,3,224,224
ResNet50-V1https://github.com/onnx/models/blob/main/vision/classification/resnet/model/resnet50-v1-7.onnx1,3,224,224
SqueezeNet-V1.1https://github.com/onnx/models/blob/main/vision/classification/squeezenet/model/squeezenet1.1-7.onnx1,3,224,224
检测分割FasterRCNN-12https://github.com/onnx/models/blob/main/vision/object_detection_segmentation/faster-rcnn/model/FasterRCNN-12.onnx3,224,224
超分辨率SuperResolution-10https://github.com/onnx/models/blob/main/vision/super_resolution/sub_pixel_cnn_2016/model/super-resolution-10.onnx1,1,224,224
文本GPTGPT-2https://github.com/onnx/models/blob/main/text/machine_comprehension/gpt-2/model/gpt2-10.onnx1,8,56
BertBertsquad-12https://github.com/onnx/models/blob/main/text/machine_comprehension/bert-squad/model/bertsquad-12.onnxinput_ids:0=1,256 input_mask:0=1,256 segment_ids:0=1,256 unique_ids_raw_output___9:0=1

模型支持情况

CPU 运行

模型MNNTensorFlow LitePaddle LiteTNNMindSpore LiteNCNN
MobileNet-V2OOOXOO
ResNet50-V1OOOOOO
SqueezeNet-V1.1OOOOOO
FasterRCNN-12OXXXXX
SuperResolution-10OOOOOO
GPT-2OXXXOX
Bertsquad-12OXXXXX

GPU 运行 (OpenCL 或 Vulkan)

模型MNNTensorFlow LitePaddle LiteTNNMindSpore LiteNCNN
MobileNet-V2OXOXOO
ResNet50-V1OXOOOO
SqueezeNet-V1.1OOOOOO
FasterRCNN-12XXXXXX
SuperResolution-10OOOXOO
GPT-2OXXXXX
Bertsquad-12OXXXXX

结论与后续

CPUGPU视觉文本
MNN7/76/75/52/2
Paddle-Lite4/74/74/50/2
TNN3/73/73/50/2
Mindspore-Lite5/73/74/51/2
NCNN4/74/74/50/2
Tensorflow-Lite4/72/74/50/2
  • MNN 全部模型均支持CPU运行，但GPU 跑 FasterRCNN12 出现错误（已于 2.6.2 修正）
  • 其他推理引擎对 视觉类模型支持较好，文本类模型支持较弱。
  • 带控制流的ONNX模型仅 MNN 转换运行成功
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/376560
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号