当前位置:   article > 正文

【YOLOv8量化】普通CPU上加速推理可达100+FPS

yolov8量化

NNCF介绍

OpenVINO2023版本衍生出了一个新支持工具包NNCF(Neural Network Compression Framework – 神经网络压缩框架),通过对OpenVINO IR格式模型的压缩与量化更好的提升模型在OpenVINO框架上部署的推理性能,github。

https://github.com/openvinotoolkit/nncf
  • 1

安装NNCF

pip install nncf
  • 1

NNCF关键特性

训练后压缩算法支持权重压缩与量化,训练时压缩算法支持感知量化、混合精度量化、二值、稀疏、过滤剪枝、运动剪枝等算法。图示如下:
在这里插入图片描述

YOLOv8量化压缩

基于NNCF实现YOLOv8预训练模型的训练后量化压缩(PTQ),实现INT8量化YOLOv8模型生成。首先需要使用YOLOv8命令行工具导出OpenVINO格式模型,命令行如下:

yolo export model=yolov8n.pt format=openvino

然后基于YOLOv8框架的函数构建一个YOLOv8模型对应的COCO数据集的Validator,相关的代码如下:
在这里插入图片描述
官方给出的代码里面是有个ValidatorClass,但是我发现YOLOv8框架早已经不支持,这里其实主要是构建自己的Dataset跟DataLoader而已,简单粗暴的点是可以自己直接构建,就是要写点代码。我发现了YOLOv8框架里面有个DetectionValidator是可以用的,于是我就用这个,然后直接给一个图像文件夹就可以获取dataloader实例了。准备好验证数据以后,就是最后一步了,启动模型INT8量化,相关的代码如下:
在这里插入图片描述
这样就可以完成PTQ量化模型的生成。最后这部分的代码,其实在GITHUB的官方教程上是有说明跟给出的,我这里再贴一下:
在这里插入图片描述
在这里插入图片描述
就是说,实际上针对自定义数据集,你自己构建一个DataLoader即可。
量化版YOLOv8推理测试

基于YOLOv8 INT8量化模型,OpenVINO C++ SDK在不同的部署与加速方式下,最终的测试结果如下:
YOLOv8+OpenVINO2023.1 异步推理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从此,我又相信YOLOv8+OpenVINO了。

特别说明

OpenVINO20023.1版本测试。
学会使用最新版本OpenVINO框架实现模型加速,请看本人新书
《OpenCV应用开发:入门、进阶与工程化实践》
第十五章相关内容!!!!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/1013317
推荐阅读
相关标签
  

闽ICP备14008679号