基于PaddleX2.0-PicoDet实现高压输电线路绝缘子缺陷检测_palipali2线路检测3

转自AI Studio，原文链接：基于PaddleX2.0-PicoDet实现高压输电线路绝缘子缺陷检测 - 飞桨AI Studio

PaddleX2.0快速上手PP-PicoDet模型训练

---

一、项目背景

电力不仅关系国家经济安全而且与人类社会进步密切相关,而绝缘子作为一种广泛应用于高压输电线路中起到电气绝缘和导线连接的重要设备,由于长期暴露在恶劣环境中可能引起绝缘子磨损、自爆等故障,也可能引起一系列级联故障,对电力系统安全稳定运行构成了严重威胁。相对于传统的输电线路巡检方式,无人机自主巡检技术以其操作简单、安全可靠等优点逐渐被人们所青睐。与此同时,随着计算机的计算能力不断提升,机器学习特别是深度学习方法在处理这种复杂计算机视觉任务取得了不错的成绩,被广泛应用于即时视觉翻译、无人驾驶、视频监控等领域,为我们的输电线路绝缘子故障检测提供了新思路,但当前用深度学习的方法对输电线路绝缘子故障检测仍然处在起步阶段,考虑到绝缘子这类背景较为复杂,缺陷故障处尺寸较小等特点开展了以下工作: 本项目使用PaddleX快速实现PP-Picodet绝缘子缺陷目标检测算法,该算法改善分类分数和定位精度之间不匹配的问题,出色的完成了绝缘子故障检测任务。

二、PaddleX 介绍

PaddleX 集成飞桨智能视觉领域图像分类、目标检测、语义分割、实例分割任务能力，将深度学习开发全流程从数据准备、模型训练与优化到多端部署端到端打通，并提供统一任务API接口及图形化开发界面Demo。开发者无需分别安装不同套件，以低代码的形式即可快速完成飞桨全流程开发。PaddleX 经过质检、安防、巡检、遥感、零售、医疗等十多个行业实际应用场景验证，沉淀产业实际经验，并提供丰富的案例实践教程，全程助力开发者产业实践落地。

模型丰富: 包含目标检测、实例分割、人脸检测、关键点检测、多目标跟踪等250+个预训练模型，涵盖多种全球竞赛冠军方案。

使用简洁： 模块化设计，解耦各个网络组件，开发者轻松搭建、试用各种检测模型及优化策略，快速得到高性能、定制化的算法。

端到端打通: 从数据增强、组网、训练、压缩、部署端到端打通，并完备支持云端/边缘端多架构、多设备部署。

高性能: 基于飞桨的高性能内核，模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。

三、PP-PicoDet算法介绍

PaddleX中推出了最新系列的移动端SOTA模型：PP-PicoDet，具体技术细节可以阅读arXiv文章，PP-PicoDet的特色如下：

• 精度高：PicoDet-S仅1M参数量以内，416输入COCO mAP达到30.6；PicoDet-L仅3.3M参数量以内，640输入COCO mAP达到40.9。是全网新SOTA移动端检测模型。
• 速度快：PicoDet-S-320在SD865上可达150FPS；PicoDet-L-640模型接近服务器端模型精度前提下，在移动端可达20FPS实时预测。
• 部署友好：支持Paddle Inference、Paddle Lite；支持快速导出为ONNX格式，可用于Openvino、NCNN、MNN部署；支持Python、C++、Android 部署。

具体的指标对比如下图所示：

四、项目内容

---

该项目内容主要包括环境的配置，数据的准备，配置文件的修改，模型训练，模型评估，模型推理测试等

4.1环境配置

安装PaddleX的依赖,这里使用的Paddle版本为paddlepaddle-gpu2.3

In [ ]

!unzip -oq /home/aistudio/data/data122549/insulator.zip

In [2]

!pip install paddlex

4.2准备数据集

由于相关的数据集较少，数据集里面包括600张高压输电线路缺损的绝缘子图片，使用Labelme进行标注，生成voc格式数据集。

4.3划分数据集

下面这段代码，只需要一行代码就可以将数据集进行划分

In [ ]

!paddlex --split_dataset --format voc --dataset_dir insulator/ --val_value 0.2

2022-05-17 21:58:26 [INFO]	Dataset split starts...
2022-05-17 21:58:26 [INFO]	Dataset split done.
2022-05-17 21:58:26 [INFO]	Train samples: 480
2022-05-17 21:58:26 [INFO]	Eval samples: 120
2022-05-17 21:58:26 [INFO]	Test samples: 0
2022-05-17 21:58:26 [INFO]	Split files saved in insulator/

4.4开始训练

In [2]

import paddlex as pdx
from paddlex import transforms as T
 
# 定义训练和验证时的transforms
# API说明：https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/transforms/transforms.md
train_transforms = T.Compose([
    T.RandomCrop(), T.RandomHorizontalFlip(), T.RandomDistort(),
    T.BatchRandomResize(
        target_sizes=[576, 608, 640, 672, 704], interp='RANDOM'), T.Normalize(
            mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
 
eval_transforms = T.Compose([
    T.Resize(
        target_size=640, interp='CUBIC'), T.Normalize(
            mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
 
# 定义训练和验证所用的数据集
# API说明：https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/datasets.md
train_dataset = pdx.datasets.VOCDetection(
    data_dir='insulator/',
    file_list='insulator/train_list.txt',
    label_list='insulator/labels.txt',
    transforms=train_transforms,
    shuffle=True)
 
eval_dataset = pdx.datasets.VOCDetection(
    data_dir='insulator/',
    file_list='insulator/val_list.txt',
    label_list='insulator/labels.txt',
    transforms=eval_transforms,
    shuffle=False)
 
# 初始化模型，并进行训练
# 可使用VisualDL查看训练指标，参考https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/visualdl.md
num_classes = len(train_dataset.labels)
model = pdx.det.PicoDet(num_classes=num_classes, backbone='ESNet_l')
 
# API说明：https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/apis/models/detection.md
# 各参数介绍与调整说明：https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/parameters.md
model.train(
    num_epochs=100,
    train_dataset=train_dataset,
    train_batch_size=16,
    eval_dataset=eval_dataset,
    pretrain_weights='COCO',
    learning_rate=.01,
    warmup_steps=24,
    warmup_start_lr=0.005,
    save_interval_epochs=1,
    lr_decay_epochs=[6, 8, 11],
    use_ema=True,
    save_dir='output/picodet_esnet_l',
    use_vdl=True)

2022-05-17 23:11:24 [INFO]	[TRAIN] Epoch=100/100, Step=10/30, loss_vfl=0.254778, loss_bbox=0.141798, loss_dfl=0.144734, loss=0.541310, lr=0.000001, time_each_step=1.01s, eta=0:0:20
2022-05-17 23:11:33 [INFO]	[TRAIN] Epoch=100/100, Step=20/30, loss_vfl=0.220718, loss_bbox=0.106215, loss_dfl=0.138743, loss=0.465676, lr=0.000000, time_each_step=0.9s, eta=0:0:8
2022-05-17 23:11:43 [INFO]	[TRAIN] Epoch=100/100, Step=30/30, loss_vfl=0.199835, loss_bbox=0.107801, loss_dfl=0.129731, loss=0.437366, lr=0.000000, time_each_step=0.98s, eta=0:0:0
2022-05-17 23:11:43 [INFO]	[TRAIN] Epoch 100 finished, loss_vfl=0.23382486, loss_bbox=0.1168754, loss_dfl=0.13827847, loss=0.48897874 .
2022-05-17 23:11:44 [WARNING]	Detector only supports single card evaluation with batch_size=1 during evaluation, so batch_size is forcibly set to 1.
2022-05-17 23:11:44 [INFO]	Start to evaluate(total_samples=120, total_steps=120)...
2022-05-17 23:11:52 [INFO]	Accumulating evaluatation results...
2022-05-17 23:11:52 [INFO]	[EVAL] Finished, Epoch=100, bbox_map=90.191388 .
2022-05-17 23:11:52 [INFO]	Current evaluated best model on eval_dataset is epoch_4, bbox_map=90.9090909090909
2022-05-17 23:11:53 [INFO]	Model saved in output/picodet_esnet_l/epoch_100.

4.5训练可视化

最终训练结果map=90.91，训练的效果非常不错，可以达到应用级的效果 

4.6模型测试

使用模型进行预测，同时使用pdx.det.visualize将结果可视化，可视化结果将保存到./output/picodet_esnet_l下，其中threshold代表Box的置信度阈值，将Box置信度低于该阈值的框过滤不进行可视化。

In [3]

import paddlex as pdx
model = pdx.load_model('output/picodet_esnet_l/best_model')
image_name = 'insulator/JPEGImages/0069.jpg'
result = model.predict(image_name)
pdx.det.visualize(image_name, result, threshold=0.5, save_dir='./output/')

4.7模型测试结果可视化

---

可以发现模型很好的检测出了高压输电线路中的绝缘子缺陷

五、项目总结

1、绝缘子作为输电线路中电气绝缘和机械支撑的重要装置,常年裸露在复杂的自然环境下,极容易发生故障,严重的话将会影响输电线路的安全稳定运行。因此,在电力巡检时要重点监测电气绝缘子的状态。本项目为了提高电力巡检的效率,实现无人机航拍图像中绝缘子的智能化检测,引入了深度学习的方法,基于PaddleX-PicoDet实现了绝缘子的目标定位检测与自爆缺陷检测工作。

2、在模型部署方面，PaddleX提供了C++ inference部署方案，在GitHub中提供了C#部署Demo，欢迎大家学习参考https://github.com/PaddlePaddle/PaddleX