用yolov4-tiny检测在电力输电线20种鸟类，灵活运用训练trick，实验较为完备，数据处理丰富度值得参考_鸟类目标检测综述

Detection of bird species related to transmission line faults based on lightweight convolutional neural network

Abstract

• 输电线路高效防鸟害是电网运行维护面临的长期挑战。本文提出了一种将轻量级卷积神经网络(CNN)、图像处理和目标检测相结合的方法来检测与输电线路故障相关的典型鸟类。构建了威胁输电线路安全的20种鸟类图像数据集。结合分阶段训练、马赛克数据增强、余弦退火和标签平滑，构建并训练了YOLOv4-tiny算法模型。通过调整训练过程的参数，在测试集上的平均精度(mAP)可以达到92.04%。然后，根据测试结果和性能指标，与Faster RCNN、SSD、YOLOv4等方法进行比较，验证了所提方法的有效性。利用运动模糊、散焦模糊、对比度和亮度调节等图像预处理方法模拟了实际工程应用场景。该方法能够高效地检测出栖息在输电线路周围的鸟类，有助于对电网因鸟引起的停电进行差别化预防。

• 论文地址：Detection of bird species related to transmission line faults based on lightweight convolutional neural network - Qiu - 2022 - IET Generation, Transmission & Distribution - Wiley Online Library

• 南昌大学信息工程学院 (ncu.edu.cn)

INTRODUCTION

• 随着电网的大规模建设和生态环境的改善，鸟类活动与输电线路之间的矛盾逐渐引起人们的关注。鸟类故障已成为继雷击和外力破坏之后，输电线路中断的第三大原因。据统计，2010 - 2019年，中国国家电网公司110 (66)kV及以上输电线路共发生鸟类活动相关故障2374起，占输电线路故障总数的10.4%。此外，与鸟类有关的停电仍呈上升趋势。

• 鸟类造成的主要故障包括鸟粪、筑巢、鸟身短路、啄木鸟停飞等。与鸟类相关的一些典型中断案例如下图所示。

  • 

  • (a)绝缘子表面的鸟粪，(b)绝缘子上方横臂上的鸟巢，©大鸟触电导致短路，(d)鸟啄复合绝缘子

• 鸟粪故障是指鸟粪的导电通道引起的输电线路跳闸;以及附着的鸟粪引起绝缘子表面闪络。巢断和鸟短路断是由相对相或相对地放电引起的，这种放电是由于鸟巢材料或鸟体减少绝缘距离而发生的。

• 啄型故障是指复合绝缘子因鸟啄型外壳或护套引起的绝缘子损坏或闪络。在输电走廊周围栖息的鸟类对输电线路安全构成不同程度的威胁。一些鸟类以输电线路为最佳觅食地，在输电塔或线路上站立或筑巢，可能造成鸟类粪便或筑巢中断。有些鸟类，如麻雀，喜欢栖息在电力线或塔上，但它们不容易引起故障。不同的鸟类可能造成不同的断层类型，它们的预防措施也不应该完全相同。

• 针对鸟类故障问题，人们对防鸟装置进行了大量的研究，如防鸟针、防鸟盾、防鸟箱等。Taklaja通过改进绝缘体结构来避免鸟类粪便引起的闪络，从而缩短了鸟类的停留时间。Yang通过研究鸟流引起绝缘子闪络的机理，讨论了防鸟装置的保护半径。Kuang提出了一种合理的护鸟挡板结构设计方案，并验证了其对电场分布的影响。大规模安装防鸟装置需要巨大的投资。

• 然而，根据经验和SGCC的统计结果，防鸟装置防止了一些与鸟有关的中断，但性能没有达到预期。材料老化、安装不规范、鸟类适应等往往导致防鸟装置失效，无法长期有效解决鸟损问题。此外，有些装置盲目驱赶鸟类，甚至对一些稀有珍贵鸟类造成伤害，如黑云杉、白云杉等，对生态环境造成不良影响。因此，有必要识别栖息在输电线路周围的鸟类，判断其风险等级和可能引起的故障类型，从而采取差异化和高效的预防措施，减少鸟类引起的故障，节省不必要的投资。

• 近年来，随着卷积神经网络(CNN)的发展，目标检测得到了广泛的研究和应用，与传统方法相比，其对目标识别的效果有了显著提高。目前常用的目标检测算法有R-CNN、Faster R-CNN、SSD、YOLOv3等，已应用于绝缘子缺陷、缺针缺陷等电气设备的检测。对于鸟类的识别与检测，Tian提出了航拍视频中捕捉飞鸟的glance and stare detection (GSD)框架;该算法利用放大算法生成区域建议，并利用三维卷积神经网络提取自适应深度时空特征。Sharma提出了一种基于YOLOv3的印度家麻雀检测方法，并与Tiny-YOLO、YOLOv2和Mask-RCNN同时进行了比较，结果表明，YOLOv3可以达到92%的检测准确率。Li提出了一种基于超分辨率(super-resolution, SR)的鸟类检测方法，在Faster RCNN中引入了VDSR、FSRCNN和DRRN三种方法进行鸟类检测，提高了精度。邹提出了一种基于YOLOv3的传输线周围鸟类数量检测方法，该方法采用扩展卷积取代原有卷积层，通过比例因子计算置信度得分，并对NMS算法进行优化，检测准确率达到86.31%。一般来说，以往对鸟类识别的研究通常集中在鸟类生态学领域，或者作为一个案例来验证图像识别或目标检测算法的有效性。对可能对电网造成安全隐患的有害鸟类的识别研究较少。

• 因此，为了解决上述问题，本文引入了一种轻量级的传输线鸟类CNN检测方法。构建了与输电线路故障相关的20种典型鸟类的图像数据集，并进行了图像处理，模拟了实际工程场景。结合多种训练方法，建立YOLOv4-tiny轻量化检测模型，学习鸟类图像的特征。根据性能评价指标，将鸟类检测结果与其他目标检测算法进行比较。该方法可以对与输电线路中断相关的20种典型鸟类进行差异检测。平均精度(mAP)和帧数每秒(FPS)分别达到92.04%和40。它可以用来识别输电线路周围的鸟类，为防鸟装置的安装提供参考，从而减少与鸟类有关的停电。

IMAGE PROCESSING

Transmission line related bird image dataset

• 与输电线路故障有关的鸟类种类随地理环境和气候条件的不同而不同。根据国家电网委员会的调查和统计结果，可能造成输电线路故障的鸟类有40种是高危鸟类，50种是低危鸟类。本文选取20种典型鸟类进行研究，并建立了图像数据集，包括黑狐蝠、黑尾Sturnus nigricollis、绢尾Sturnus sericeus、cristatellus、Picapica、白狐蝠、Asio otus、中国Streptopelia chinensis、Cuculus canorus、Otis tarda、Ceryle rudis、Upupa epops、Anser cygnoides、Hirundo rustica、Oriolus chinensis、Corvus macrohynchos、Alcedo atthis、Egretta garzetta、Ardeola bacchus、Garrulax canorus。其中，黑凤仙花和凤仙花是中国国家一级保护动物，也是威胁架空输电线路的高危鸟类。上述数据集中的一些鸟类图像样本如下图所示。

  • 

  • 与传送带有关的典型鸟类图像(a)黑狐蝠，(b)黑狐蝠，©黄狐蝠，(d) cristatellus， (e) Picapica， (f)白狐蝠，(g) canorus， (h) Hirundo rustica， (i) Alcedo atthis， (j) Egretta garzetta

• 在实际工程中，对传输线上的鸟类图像进行采集是一件不容易的事情。为了提高鸟类检测模型的鲁棒性，需要在数据集中增加更多的图像样本。因此，我们从互联网上收集了一些图像，包括不同照明强度、背景、拍摄角度和物体大小的情况。每种鸟类包含400张图像，总共8000张图像样本。这样训练出来的模型对不同场景有更好的适应性。然后，使用MRLaber标记工具对鸟类图像进行矩形标记，包括类别和位置。位置信息包含在鸟类目标周围矩形框的坐标(xmin, xmax, ymin, ymax)中。

Bird image pre-processing

• 在动态目标下获取的图像通常有较大的光线、角度和背景变化，直接影响模型的检测精度。本文对鸟类图像进行了处理，模拟了在实际工程应用中可能影响检测精度的因素，包括图像运动模糊、离焦模糊、对比度和亮度调整。

Motion blur

• 在拍摄过程中，相机相对于目标移动，导致图像模糊。然而，图像模糊的本质是与点扩散函数(PSF)卷积的结果，即

  • $$g(x,y)=f(x,y)\ast b(x,y)+n(x,y)$$

  • 其中，f(x, y) 和g(x, y)分别表示输入图像，运动模糊后，h(x, y)为对原始图像进行卷积的PSF模糊函数，n(x, y)为加性噪声函数。因此，运动模糊图像是一个清晰的图像与运动模糊函数卷积的结果。运动模糊函数的一般形式可以表示为

  • $$b(x,y)=\frac{1}{L}if\sqrt{x^2+y^2}\le \frac{L}{2}and\frac{x}{y}=-tan(\varphi )$$

  • 其中L和φ是运动模糊的长度和方向。

Defocus blur

• 由于无人机等图像采集设备的抖动，鸟类目标可能无法准确对焦，导致图像离焦模糊。与图像运动模糊相似，离焦模糊是清晰图像与离焦函数 $b_r(x,y)$ 卷积的结果。离焦模糊的数学表达式为

  • $$b_r(x,y)=\frac{1}{\pi r^2}\sqrt{x^2+y^2}\le rother0$$

  • 其中r为散焦模糊的半径。

• 通过运动和离焦模糊图像验证了检测模型在工程应用中的鲁棒性。运动模糊的长度(L)设置为10像素，方向(φ) w为15◦。散焦模糊半径r设为5像素。以黑鲈为例，运动模糊和散焦模糊处理后的图像如下图所示。

  • 

  • 运动模糊和散焦模糊后的鸟类图像(a)原始图像，(b)选定区域，©运动模糊后的图像，(d)散焦模糊后的图像（bcd有什么明显的变化吗？）

Contrast and brightness adjustment

• 不同时间和天气条件下的图像会导致目标和背景的光照强度不同。采用线性变换对鸟类图像的对比度和亮度进行调整，模拟其对检测精度的影响，可以表示为

  • $$g_n(x,y)=\alpha f(x,y)+\beta f_0+\gamma$$

  • 其中f(x, y) 和 gn(x, y)为原始图像和调整后的图像，f0为与f(x, y)大小相同的零像素图像，α和γ用于调整对比度和亮度，β为零像素图像的倍数，β = 1-α。

• 根据【Detection and evaluation method of transmission line defects based on deep learning】α设为0.4、0.6、0.8、1.0、1.2、1.4，γ设为−20、−10、0、20、40。在原图像γ = 0或者α = 1的基础上，将γ < 0 或α < 1的图像模拟为多云天气或午后光照条件;γ > 0或α > 1的图像是模拟晴天或清晨光照条件。以Ciconia nigra图像为例，在α和γ两个极值下，对比度和亮度调整后的图像如下图所示。

  • 

  • 对比度和亮度调整后的鸟类图像(a) α = 1.0， γ = 0， (b) α = 1.4， γ = 40， © α = 0.4， γ = - 20

TRANSMISSION LINE RELATED BIRD DETECTION METHOD

Basic principle of YOLOv4-tiny algorithm

• 目标检测模型的基本结构是一个CNN，它是一种基于卷积运算的深度学习网络，主要由卷积层、池化层、全连接层和输出层组成。卷积层通过卷积核提取输入图像的特征，最后几个卷积层可以提取图像最显著的特征，即语义特征。池化层利用池化函数对卷积层提取的特征图进行下采样。

• 常用的池化操作有max-pooling和average pooling，它们可以减少特征维数，从而减少参数数量和计算量，避免过拟合。激活函数用于增加输入和输出之间的非线性。全连接层对提取的特征进行汇总，输入softmax层进行分类，softmax层将输出目标的位置和类别。

• 常用的基于深度CNN的目标检测算法可以分为两阶段框架，如Faster RCNN，和一阶段框架，如SSD和YOLO。在这些算法中，YOLOv4是最近提出的精度最优的目标检测模型。但是YOLOv4的应用对计算资源的要求很高。为了使目标检测模型轻量化，引入了YOLOv4-tiny算法对鸟类物种进行检测，大大减少了计算量，与原有的YOLOv4模型相比，检测速度更快。

• 下图是基于YOLOv4-tiny算法的鸟类检测方法示意图。检测过程主要包括图像数据集构建、图像预处理、YOLOv4-tiny模型的训练、鸟类图像的检测。其中，最关键的部分是yolov4微型模型的构建和训练。

  • 

• YOLOv4-tiny是基于YOLOv4的轻量级目标检测模型，简化了网络结构，减少了参数，使其更适合电网中智能检测设备的实际部署。下图是YOLOv4-tiny模型与YOLOv4的网络结构对比图。它的结构可以分为三个部分:骨干(CSPDarkNet53-tiny)、颈部(FPN)和头部(YOLO-head)。

  • 

  • YOLOv4-tiny模型与YOLOv4模型的网络结构对比(a) YOLOv4结构，(b) YOLOv4-tiny结构

• 检测原理可归纳为:(i)通过CSPDarkNet53-tiny特征提取网络从输入图像中提取一系列不同大小的特征图;采用FPN网络融合不同尺度的特征;(iii)根据不同比尺(13 × 13和26 × 26)的融合特征图，利用YOLO-head预测鸟类目标的类别和位置。

Network structure

• 在YOLOv4模型中，SPP模块、PANet模块和CSP模块的X残差模块是导致模型参数增大的关键因素。为了实现更快的检测，如上图所示，YOLOv4-tiny模型改变了许多结构。网络结构的修改总结如下:

  • 首先，对于YOLOv4的CSPDarkNet53, YOLOv4-tiny减少了CSP模块的数量，将X残差模块简化为单个残差模块，并使用CBL (Conv, BN, Leaky_ReLU)和多池化层来实现特征通道的压缩，从而减少特征提取网络中的参数数量。骨干CSPDarkNet53-tiny通过将Mish激活函数改为Leaky_ReLU激活函数，从CBM模块切换到CBL模块。Leaky_ReLU激活函数的计算原理可以表示为

  • $$Leak{y}_{R}eLU=x_{p}if{x}_p>0otherw{x}_p$$

  • 其中xp表示上一层的输出，ω为xp≤0时对应曲线的斜率，本文设为0.1。

  • YOLOv4-tiny模型还减少了CSP网络模块中残差单元的数量。在YOLOv4中，每个CSP模块中都有X个小残差模块，每个小残差模块都以前一层的输出作为输入，通过CBM模块后再将通道与特征拼接起来。最后，将CSP的大残留路由与小残留模块的输出连接起来，这是一种跨级部分连接(cross-stage partial connection, CSP)。然而，在YOLOv4-tiny中，CSP模块只有一个小的残差模块。

  • 其次，对于YOLOv4的SPP和PANet, YOLOv4-tiny删除了SPP网络，将SPP网络前后的CBL模块简化为一个，用FPN网络代替PANet，这样可以减少深浅特征融合时的参数数量。

  • YOLOv4的颈部包含一个SPP模块和一个PANet模块。SPP模块的原理是用5 × 5、9 × 9、13 × 13和1 × 1滤波器通过最大池化层连接通道。PANet模块是基于FPN的特征融合模块，如下图所示。可以发现，PANet和FPN模块的原理是深层和浅层之间的特征融合。FPN是上采样后的深层特征信息与浅层特征信息的融合。除了这样一个过程之外，PANet还具有下采样后的浅层特征信息与深层特征信息的特征融合。其目的是增强提取的特征信息。

  • 

  • FPN的结构与PANet的比较

  • 此外，YOLOv4-tiny将三个尺度特征(52 × 52,26 × 26,13 × 13)简化为两个尺度特征(26 × 26,13 × 13)，从而减少了提取特征所带来的计算次数。经过FPN模块后，可以得到不同尺度的特征图。然后，将融合后的特征映射重构为13 × 13 × 75和26 × 26 × 75，多尺度检测示意图如下图所示。对于一个尺度特征图，如13 × 13，将使用三个锚点进行检测，每个锚点将使用25个参数进行预测，其中包括4个预测边界框的坐标参数，1个预测边界框的置信度分数和每个类别的20个概率分数参数。

  • 

  • 多尺度检测原理图

Training method

• 为了提高模型的精度和泛化能力，引入了分阶段训练、Mosaic数据增强、余弦退火和标签平滑等方法对模型进行训练。

Stage-wise training

• 在训练模型时，对预训练模型的参数进行迁移进行学习的效果比随机初始化参数要好，并且对参数进行合理的冻结和微调，既提高了训练效率，又避免了由于训练集小而导致的过拟合。采用以下两个步骤进行分阶段训练:(i)在Pascal VOC数据集上加载YOLOv4-tiny的训练权值，冻结前249层，只训练完全连接层的参数。(ii)在第一阶段的训练中，使用冻结操作将选中的层的参数冻结，其它层的参数以更大的学习率进行训练。在第二阶段，将之前冻结的层解冻，以较小的学习率训练模型。在训练过程中，采用动态学习率策略对各层参数进行微调。

Mosaic data augmentation

• 传统的数据增强包括光学变换和几何变换。而马赛克数据增强是一种基于CutMix的改进方法。该方法的实现是在传统的图像增强后，随机读取四幅图像并将其拼接成一幅图像。其目的是在丰富图像背景的同时，提高模型对小目标的检测性能。马赛克数据增强的效果如下图所示。

  • 

  • 马赛克增强原理图

Cosine annealing

• 为了防止模型在训练过程中陷入局部最小值，需要设置学习率调整策略，余弦退火就是其中之一。学习率可以通过余弦退火函数来降低，表示为

  • $${\eta }_t={\eta }_{min}^i+\frac{1}{2}({\eta }_{max}^i-{\eta }_{min}^i)[1+cos(\frac{T_{cur}}{T_I}\pi )]$$

  • 其中，${\eta }_{max}^i$ 和 ${\eta }_{min}^i$ 分别为学习率的最大值和最小值， $T_{cur}$ 和Ti分别为一个epoch的当前迭代次数和总迭代次数。这种下降模式可以与学习率相配合，以一种非常有效的计算方法获得较好的结果。

Label smoothing

• 对于多重分类，标签通常采用独热编码，如三分类任务，如果一个标签是第二类，则独热编码为[0,1,0]。但是，这会导致模型更加关注softmax预测结果中接近1的概率值，容易导致过拟合。针对这一问题，引入标签平滑对分类标签进行平滑处理，表示为

  • $$y_K^{LS}=y_K(1-\epsilon )+\epsilon /K$$

  • 式中，$y_K^{LS}$为标签平滑后的标签， $y_K$ 为一个热点标签，K为类别数，ε为标签平滑的值，本文设为0.01。然后将原来的one-hot编码标签替换为$y_K^{LS}$进行模型训练。

IMPLEMENTATION AND ANALYSIS

Evaluation indicators

• 在目标检测领域，常用平均精度(mAP)和每秒帧数(FPS)作为评价检测精度和速度的指标。此外，本文还引入了行人检测中使用的平均缺失率(mean miss rate, mMR)来反映模型的缺失检测结果。通过以上三个指标来判断训练后的模型的性能。

Mean average precision

• mAP表示所有类别的平均精度(AP)值的平均值。AP为查准率和查全率曲线下的面积，可计算为

  • $$precision=\frac{TP}{TP+FP},recall=\frac{TP}{TP+FN}$$

  • 其中TP为正确检测的数量，TP+FP为模型检测到的目标总数，TP+FN为实际检测到的目标总数。

• 以0、0.1、…、0.9、1.0 11个查全率水平为横坐标，以每个查全率水平下的最大查全率为纵坐标，形成一条查全率-查全率曲线，该曲线下的面积为AP值。设K为类别总数，则mAP可由下式计算

  • $$mAP=\frac{1}{K}\sum _{i=1}^{K}A{P}_i$$

Frame per second

• FPS是一秒钟内检测到的图像总数，反映了模型检测的速度。较高的检测速度可以满足工程应用中实时检测的需要。FPS值受计算设备性能影响较大，因此仅用于不同模型之间的对比分析。

Mean miss rate

• mMR是所有类别的对数平均脱靶率(MR)的平均值。各类别MR的计算公式为

  • $$MR=e^{(ln(x_1)+...+ln(x_i)+...+ln(x_M))/M}$$

  • 式中，M为检测模型检测到的某一类图像总数;mMR值越低，漏检结果越少。

Model training and optimization process

• 构建YOLOv4-tiny算法模型后，按照下图所示流程图对其进行训练和测试。配置环境包括:Nvidia GeForce GTX1660Super，内存16G, cuda10和cudn7.4.1.5。但在此过程中影响模型检测精度的因素很多，必须对模型参数进行优化。具体描述如下。

  • 

Clustering of anchors

• 传统的锚点选择方法难以提高精度，因此本文采用YOLOv2中的锚点计算方法，并使用K-means聚类算法对训练集中人工标记的真实边界盒进行聚类，从而获得最佳锚点大小。然后根据平均IoU选择6个锚点预测边界框，提高检测精度。聚类的距离函数公式为

  • $$d(box,centroid)=1-IoU(box,centroid)$$

  • 式中，box表示训练样本中标注的边界框，centroid表示聚类中心的个数，这里设为9。本文锚固尺寸为[10 14、23 27、37 58、81 82、135 169、344 319]。

Comparison of training methods

• 比较了上述三种训练技术，包括马赛克数据增强、余弦退火和标签平滑，以提高网络的性能。使用上述锚大小，设置训练样本集与测试样本集的比例为9:1，对比结果如下表所示。可以看出，三种训练方法的组合具有最好的mAP效果。

  • 

  • 不同训练方法的比较

Selection of NMS threshold

• 非最大抑制(Non-maximum suppression, NMS)是目标检测领域必要的后处理过程，其目的是消除同一目标上的冗余预测框。网管阈值的选择直接影响网络检测的准确性。当以上三种训练方法同时使用时，NMS阈值对mAP的影响曲线如下图所示。当网管阈值为0.4时，检测成功次数比0.5的条件少8次，检测错误次数比0.5的条件少133次，未检测次数比0.5的条件多8次。综合分析，本文选择NMS阈值为0.4。

  • 

  • Influence of NMS threshold value on mAP

Training and test samples

• 对比分析了不同比例的训练样本和测试样本对检测结果的影响。在训练样本中，取10%作为验证集，在每个训练epoch后对模型进行验证。上图a和上图b分别展示了训练、验证和测试样本集的分布细节，以及不同样本比例对mAP和mMR值的影响。当比例为9:1时，模型的mAP最高，mMR最低，对应的是较好的准确率和较低的脱靶率。

  • 

  • 样本分布及其对模型性能指标的影响(a)样本分布，(b)影响曲线

Comparisons with other detection methods

• 经过对训练过程的分析，最终用于模型训练和测试的参数如下表所示。为了验证所提出的YOLOv4tiny模型的有效性，构建了几种主流目标检测算法进行对比分析，包括Faster RCNN、SSD、YOLOv3、SSD- mobilenet和YOLOv4。使用相同的训练和测试数据集进行案例研究，通过比较性能指标的结果来评估不同算法的优点。

  • 

  • YOLOv4-tiny模型参数

• 首先从检测结果中统计检测成功次数、漏检次数和误检次数进行对比分析，结果如下表所示。测试样本图像总数为800，其中包含1134个鸟类对象。由下表可以看出，YOLOv4、YOLOv4-tiny和SSD在成功检测次数和漏检次数上都优于其他方法。YOLO相关模型在误检次数上优于其他模型。

  • 

  • 不同方法的检测结果

• 利用检测结果的预测边界框和类别信息，结合真值边界框和类别信息，计算并比较上述目标检测方法的mAP和mMR性能指标，如下表所示。top -5为20种鸟类中top 5 ap的mAP值。T1和T2分别表示加载目标检测模型的时间和检测800个测试样本图像的总时间。可以看出，YOLOv4具有最好的mAP，但其FPS低于其他检测方法。YOLOv4-tiny对鸟类的检测mAP可达92.04%，仅比YOLOv4低0.16%，高于其他检测方法。此外，YOLOv4-tiny具有最高的FPS，几乎是YOLOv4的三倍。在这些目标检测算法中，其计算时间最短，T1 = 2.27 s, T2 = 19.85 s。

  • 

  • 不同目标检测方法的性能指标

• 实际工程应用通常需要高实时性的检测，轻量级的YOLOv4-tiny检测方法牺牲了一点点精度，获得了大大提高的检测速度，在实际部署中可以降低对检测设备的性能要求。为了进一步改进mAP，可以采用一些可能的方法。通过数据增强和图像预处理，可以提高图像样本的数量和质量。利用CNN具有更强的特征提取能力、多尺度检测和注意机制，可以改进目标检测模型结构。此外，mAP还可以通过采用更多的训练技术如自对抗训练(SAT)和交叉小批归一化(CmBN)等来改进。

Verification of robustness

• 在实际环境中，无人机、视频监控或摄像机采集到的鸟类图像通常具有复杂多样的背景。影响探测精度的主要因素包括时间、天气、图像采集设备的晃动、鸟类目标的运动等。因此，引入了一些图像预处理方法来模拟实际工程环境，并使用处理后的鸟类图像来验证上述鸟类检测方法的泛化能力和鲁棒性。

Detection results of blurred images

• 传输线上的鸟类是运动目标，采集到的图像可能出现运动模糊和散焦模糊现象。因此，将运动模糊和散焦模糊图像作为测试样本，验证训练好的YOLOv4-tiny模型的有效性。以4只白凤花站在发射塔上筑巢的图像为例，以上6种方法的目标检测结果如下图所示。可以看出，YOLO方法比ssd和Faster RCNN对多鸟的检测更有效，特别是在目标重叠的情况下。对于运动模糊和散焦模糊图像，YOLOv4-tiny仍然可以准确地检测到四种目标，而其他方法存在检测错误和漏检的情况。结果表明，在实际应用中，所提出的YOLOv4-tiny模型是可行的，并且在检测运动模糊和离焦模糊鸟类图像方面优于其他方法。

  • 

  • 不同方法对模糊图像的检测结果

Detection results under different contrasts and brightness

• 采用对比度和亮度调节方法模拟检测过程中由于时间和天气等因素造成的光照不均匀情况，验证检测模型对光强变化的鲁棒性。

• 式(4)中α和γ分别为0.4和- 20时，鸟类图像非常暗，α和γ分别为1.4和40时，鸟类图像非常亮。在上述两种光照条件下，以含有3只cristatelluses的图像为例，YOLOv4-tiny模型与其他方法的检测结果对比如下图所示。

  • 

  • 不同对比度和亮度下的图像检测结果

• 发现对比度和亮度的变化会导致YOLOv4、YOLOv3、SSD和Faster RCNN的误检和漏检，而YOLOv4-tiny可以在不同的光环境下准确检测到三种鸟类目标。此外，使用YOLOv4-tiny模型检测不同α、γ值下的图像，测试样品的mAP结果如表5所示。当α = 0.4和γ =−20时，即极暗条件下，模型的mAP最低，为84.41%。而当α = 1.0和γ = 0时，mAP最高，达到92.04%。可以看出，YOLOv4-tiny模型对于不同时间和天气条件下获取的鸟类图像具有较高的检测精度，并且与其他方法相比具有更好的检测效果，漏检率和误检率都更低。

Detection results of bird images partially covered by other objects

• 图像样本中的鸟类目标可以被传输线或鸟巢材料的组件覆盖。四幅部分覆盖鸟类目标图像的检测结果如下图所示。由下图a、b、c可以看出，所提出的yolov4微型模型可以正确检测和识别部分被输电塔角钢覆盖的黑斑图、Picapica、Cuculus canorus。此外，下图d所示的5只博西尼亚犬被准确检测到，而4只目标被巢严重覆盖，只有头部暴露在外面。这些结果进一步验证了所提方法的有效性。但需要注意的是，当鸟目标被隐藏，没有足够的图像特征时，模型会输出错误或漏检的检测结果。

  • 

  • Detection results of images with bird target covered by components of transmission tower or the nests (a) Sturnus nigricollis, ( b ) Picapica, © Cuculus canorus, ( d ) Ciconia boyciana

• 在实际工程应用方面，YOLOv4-tiny模型将用于开发手机APP，并部署在传输线大数据分析系统上。在实际应用场景中，输电线路检测员可以将采集到的图像上传到APP中，APP会显示鸟类识别结果，并提供可能出现的故障类型、风险等级和防范措施。上传至APP的鸟类图像也可以传输到后台的大数据分析系统中，从而增加图像样本集，进一步提高所提出的轻量级CNN模型的训练效果。因此，该算法的实施将有利于防止传输线的鸟类故障。

CONCLUSIONS

• 本文提出了一种基于轻量级卷积神经网络(CNN) YOLOv4-tiny的传输线故障相关鸟类检测方法，并通过对20种可能威胁传输线安全的鸟类进行检测研究，验证了该方法的有效性。可以得出以下结论:

  • 采用分阶段训练、马赛克数据增强、余弦退火和标签平滑等方法对yolov4微小目标检测模型进行训练后，效果最佳。通过调整锚点大小、NMS阈值和样本比例，可以得到最优的检测模型。

  • 与Faster RCNN、SSD、YOLOv3和YOLOv4算法相比，YOLOv4-tiny模型具有更少的误检和漏检。从性能指标上看，YOLOv4-tiny的mAP为92.04%，FPS为40张/秒。

  • YOLOv4-tiny模型对鸟类图像进行运动模糊、散焦模糊、对比度和亮度调节等预处理，模拟实际工程操作场景，具有较高的检测精度。该方法可为输电线路因鸟故障的差别化、精准化预防提供技术参考。