电气设备的稳定运行对于电网安全具有十分重要的意义。由于变电站中的电气设备大多处在室外环境,容易出现表计破损、硅胶变色等各类外部缺陷,如果不能及时发现,极易造成电力事故,致使电网瘫痪。因此,需要对电气设备的外部缺陷进行实时检测来保障电网安全,但传统的人工巡检方式很难及时发现设备的异常状态[1]。随着变电站巡检机器人、无人机巡检等技术的快速发展,人工巡检方式也被逐渐取代,智能化巡检已经成为当前的研究热点。
对于缺陷的检测目前还存在以下难点:一方面,目标检测模型参数量大、运算量高,对于硬件设备有很高的要求,很难在资源有限的移动设备上进行部署;另一方面,电气设备所处环境复杂,设备种类多,使得采集到的视频和图像背景繁杂,同时电气设备缺陷数据集稀少,不能对特征进行很好提取,识别效果差。因此,将目标检测模型轻量化,同时提高巡检机器人、无人机等移动端设备的检测精度,解决复杂背景下特征提取问题,对于电气设备外部缺陷的检测尤为重要。
目前,常用的目标检测算法有RCNN(region convolutional neural networks)、YOLO(you only look once)、SSD(single shot detector)等[2]。Girshick[3]在RCNN的基础上提出了Fast R-CNN模型;李文璞等[4]对变压器等7种电气设备进行识别,通过改进Faster RCNN模型来提高识别精度;林刚等[5]通过改进Faster RCNN提出了一种输电线巡检图像多目标检测方法,在提高检测精度的同时使得每张图片的处理时间达到56 ms。虽然RCNN系列算法识别精度很高,但由于其模型参数量和计算量较大,在进行部署时对移动端设备要求较高,因此实际部署时往往不采用这类算法。Redmon等[6]提出YOLO单阶段算法;朱惠玲等[7]对YOLOv3进行参数优化,在变电设备红外图像检测中平均精度均值达95.97%;陈婷等[8]使用改进的YOLOv4算法对变电站缺陷进行检测;王佰川等[9]将YOLOv4算法轻量化,实现了配电线路绝缘子与避雷器的缺陷检测。YOLOv5算法[10]相比之前的版本在检测精度与推理速度上都有很大提升,具有体积小、检测精度高、实时性好等优点,更加适用于此类实时检测,部署在移动端设备上检测效果更好。
本文以5种常见电气设备外部缺陷为例,在YOLOv5基础上进行改进,通过引入EfficientViT网络[11]、SimAM注意力机制[12]、Soft-NMS结构[13]等模块实现模型轻量化以及精度的提高。将改进后的模型进行训练,最后使用模型评估指标进行结果分析与模型评估。
1 YOLOv5算法原理
YOLOv5在精度和速度等方面都是YOLO系列中表现较好的算法,已经被广泛应用到了电力领域各种缺陷检测中。YOLOv5算法包括Input、Backbone、Neck和Head这4部分。
在Input部分,YOLOv5通过对数据集进行剪裁、缩放、拼接等方式来提高小目标检测的精度。采用自适应锚框计算解决输入图片大小尺寸不一的问题,同时通过自适应图片缩放技术来减少模型计算量,解决信息冗余的问题。在Backbone部分,主要采用了C3模块和Conv卷积模块来提取图像特征。在Neck部分中,采用特征金字塔网络与路径聚合网络来对特征进行融合[14],同时将得到的特征图输出到Head部分。Head部分主要对不同维度特征图进行预测,采用CIOU_Loss损失函数来判断检测框与真实框之间的差异[15]。
2 轻量化YOLOv5模型
为了让检测模型更加轻量化,减小模型的体积,提高复杂背景下电气设备缺陷检测精度,采用3种优化策略来对原模型进行改进,改进后的YOLOv5如图1所示。
图1 改进的YOLOv5
Figure 1 Improved YOLOv5
2.1 引入EfficientViT网络
将YOLOv5的主干网络改进成EfficientViT网络,该网络具有一种新的轻量级多尺度注意力模块,能实现全局感受野和多尺度学习,该模型最先用于语义分割,但由于其具有较强的视觉特征提取能力,在目标检测领域也表现出强大的性能。
EfficientViT主干网络的结构图如图2所示,主要由Input Stem和4个阶段构成,Input Stem主要进行特征抽取,在Stage3和Stage4中插入EfficientViT Module模块,引入轻量级多尺度注意力(multi-scale attention,MSA)。P2、P3和P4分别表示Stage2、Stage3和Stage4的输出,形成特征图金字塔,同时将这3个阶段的特征输出到Head层进行预测。
图2 EfficientViT网络结构图
Figure 2 EfficientViT network structure diagram
EfficientViT Module部分包括轻量级MSA模块和MBConv模块,其结构图如图3所示。轻量级MSA主要对上下文信息进行提取,而MBConv模块主要对局部信息进行提取。MSA平衡了性能和效率2个方面,使用基于ReLU的注意力来实现全局感受野,在移动设备上性能更好。使用EfficientViT网络取代YOLOv5的主干网络可以降低模型的参数量和计算量,使得模型在硬件资源有限的边缘设备上部署也具有很好的性能表现[16]。
图3 EfficientViT Module结构图
Figure 3 EfficientViT Module structure diagram
2.2 SimAM注意力机制
变电站中复杂背景会对电气设备外部缺陷检测造成一定干扰,为增强模型学习特征的能力,在YOLOv5结构的Neck部分中添加注意力机制,对Neck部分进行改进,提升模型鲁棒性。注意力机制通常分为通道注意力机制和空间注意力机制[17],本文所采用的无参数注意力机制SimAM则是将上述2个注意力机制相结合,其结构如图4所示。
图4 SimAM注意力机制
Figure 4 SimAM attention mechanism
该模块在空间和通道维度的基础上直接对特征图推导3D注意力权重,不会向网络中增加参数量,也不局限于特定网络,兼具轻量化和灵活性的特点[18]。SimAM是在人脑注意力基础上提出的,通过能量函数来分析不同神经元之间的线性可分性,进而计算每个神经元的注意力权重[19]。能量函数的定义如下:
(1)
式中:t为目标神经元;λ为常数;μ、σ2定义为
(2)
(3)
式中:xi为周围神经元;M为每个通道神经元个数。
由式(1)可知,能量越低,目标神经元与周围神经元的区别越大,神经元重要性越高。将权值通过sigmoid函数进行归一化,通过式(4)对输入特征进行增强,输出最后的特征图。
(4)
SimAM可在不增加网络参数的前提下找到设备缺陷特征中的重要神经元,将重要特征提取出来,抑制背景特征,有效解决复杂背景下特征提取的问题。
2.3 引入Soft-NMS
在模型预测过程中,通常通过非极大值抑制(non-maximum suppression,NMS)操作来对检测框进行筛选[20-21],将交并比大于设定阈值的框进行删除。由于变电站中电气设备布局较为密集,拍摄到的图片往往出现设备重叠现象,导致生成的检测框重叠在一起,使用NMS来筛选容易发生误判,而采用Soft-NMS可以避免这一现象。Soft-NMS通过减小交并比大于设定值的框的置信度来完成检测框的选取,将获得的交并比数值取高斯指数后与原得分相乘,最后通过加权的方式选出真正的检测框。Soft-NMS的公式为
(5)
式中:IOU为交并比;B为置信度最高的检测框;bi为第i个检测框;Si为第i个检测框的置信度。IOU越大,对其取指数运算后所得数值越小,且该数值小于1,因此再与Si相乘后使得检测框得分越低,经过不断循环、不断排序,最终筛选出所需的目标框。
3 基于轻量化YOLOv5的缺陷检测
3.1 训练环境搭建
模型训练之前需要搭建所需的训练环境。本文选用的环境配置为Windows系统、AMD EPYC 7371处理器、RTX A5000显卡、28 G内存、Python3.8.10、Pytorch1.9.0、CUDA11.1。
3.2 数据集预处理
通过变电站实地拍摄与网络获取等方式共获得电气设备外部缺陷原始图片1 242张,由于缺陷数据集较少,在进行模型训练时容易出现过拟合现象,因此需要在已收集到的数据集上进行扩充,通过几何变换、像素变换、背景替换等操作对缺陷数据集进行图像预处理,实现数据增强。具体方式包括:缩放、翻转、任意角度旋转、降低或提高亮度、增强或减弱对比度、添加高斯噪声、图像背景替换等。部分数据增强方式如图5所示。
图5 数据增强示例
Figure 5 Examples of data enhancement
经过数据增强后的电气设备外部缺陷图像数据集共有3 442张图片,数据集示例如图6所示。将数据集划分成训练集、验证集和测试集,比例为6∶2∶2。变电站中的电气设备外部缺陷种类很多,以常见的5种电气设备外部缺陷为例制作缺陷标签,分别是表计破损、变压器漏油、呼吸器破损、硅胶变色、箱门闭合异常。使用LabelImg软件对构建好的缺陷数据集进行数据标注,各类电气设备外部缺陷标签数量分布如下:表计破损550个、变压器漏油836个、呼吸器破损455个、硅胶变色1 148个、箱门闭合异常766个,各类标签数量总计3 755个。
图6 电气设备外部缺陷数据集示例
Figure 6 Example of external defect data set for electrical equipment
3.3 模型训练
对预处理后的数据集进行模型训练,利用迁移学习的知识,使用预训练权重,保证主干部分的权值不会太随机。在模型训练过程中,应预先设置网络的超参数,以获得最优的实验结果。超参数的设置对网络模型的性能影响很大,在缺陷检测模型训练过程中,所设置的超参数如下:学习率lr0设置为0.01,迭代次数Epoch为100,batch-size为16,优化器选用SGD。
超参数设置完成之后,输入电气设备缺陷图片进行检测,通过对输入图片进行特征提取,边界框预测、边界框筛选等操作输出预测结果,依据改进后的YOLOv5电气设备外部缺陷检测算法流程运行项目代码完成模型训练。具体算法如下。
算法1 电气设备外部缺陷检测。
输入:电气设备缺陷图片;
输出:带有标注的缺陷图片。
① 加载改进后的YOLOv5目标检测模型
② 读取输入图像并进行图像预处理
③ 提取图像特征并输出特征图
④ 利用特征图对每个网格单元进行预测
⑤ for 有缺陷目标 in 网格单元:
⑥ 预测缺陷目标的类别、位置
⑦ 生成预测的边界框
⑧ end
⑨ 使用Soft-NMS对预测得到的边界框进行筛选
⑩ 输出预测结果,包括目标的类别、置信度和位置信息
4 结果分析
4.1 评估指标
模型评估指标包括:精确率(Precision)、召回率(Recall)、平均精度均值(mAP)、模型参数量、模型计算量、帧率,以及P-R曲线等[22]。其中,P-R曲线的横坐标为Recall,纵坐标为Precision。P-R曲线与坐标轴所包围面积的大小为平均精度值,曲线越靠近右上角,面积越大,平均精度值越高。而mAP值就是对所有缺陷类别的平均精度值取平均值[23],公式如下:
(6)
4.2 实验结果分析
为了让模型更加轻量化,采用了一种较新的轻量级网络EfficientViT来代替YOLOv5的主干网络,目前应用较多的主流轻量级网络结构还有MobileNetV3、EfficientFormerV2、PoolFormer等,将EfficientViT与这几种网络进行实验对比,如表1所示。MobileNetV3网络和EfficientFormerV2网络相比其他模型参数量和计算量都很小,但是mAP值较低,识别效果较差。PoolFormer网络虽然mAP值高,但计算量和参数量成倍增加,且检测速度较低,不能满足轻量化的要求。EfficientViT网络相比MobileNetV3网络和EfficientFormerV2网络识别精度高,同时计算量是PoolFormer网络的近1/3,因此,在综合考虑模型计算量、识别精度、推理速度等因素后,选用EfficientViT作为改进后模型的主干网络。
表1 不同主干网络实验结果对比
Table 1 Comparison of experimental results of different backbone networks
YOLOv5主干网络mAP@0.5参数量/M计算量/GFLOPs帧率/(帧·s-1)EfficientViT0.8165.69.870MobileNetV30.7643.56.389EfficientFormerV20.7864.18.261PoolFormer0.84312.631.451
除了引入EfficientViT网络作为主干网络之外,还在YOLOv5算法的Neck部分引入SimAM无参数注意力机制,同时加入Soft-NMS进行目标框筛选,在模型轻量化的同时提高了模型的检测精度,使其更适用于移动端的部署。针对YOLOv5模型的不同改进方式进行消融实验,同时与其他算法进行对比,在对模型训练100个Epoch后,实验对比结果如表2所示。
表2 消融实验结果对比
Table 2 Comparison of ablation results
网络模型PrecisionRecallmAP@0.5参数量/M计算量/GFLOPs帧率/(帧·s-1)YOLOv50.8610.8410.8527.015.8112YOLOv70.8800.8030.84036.5103.4123YOLOv5+EfficientViT0.8470.7680.8165.69.870YOLOv5+EfficientViT+SimAM0.8700.7910.8405.69.868YOLOv5+EfficientViT+SimAM+Soft-NMS0.8710.7920.8645.69.865
由消融实验对比结果可知,在缺陷检测数据集上,YOLOv5的mAP值和参数量都要优于YOLOv7算法,因此选用YOLOv5模型进行一系列的改进。改进主干网络后的模型相较于YOLOv5模型mAP值降低了3.6百分点,但模型参数量和计算量相较于原网络都有大幅度减小,模型体积更小。在改进主干网络的基础上又引入无参数注意力机制SimAM,使得模型mAP值提高了2.4百分点。为进一步提高检测精度,在以上改进的基础上又加入了Soft-NMS,模型mAP值又提高了2.4百分点,但帧率有所下降。通过以上几种优化策略对原模型进行改进,最终模型的mAP值为86.4%,与改进前相比提高1.2百分点,参数量减少了20%,计算量减少了38%;模型大小为11 MB,相较于原模型的13.7 MB减少了19.7%,同时具备轻量和精准的特点。虽然帧率降低为65 帧/s,但依然具有较快的推理速度,基本满足外部缺陷实时检测要求。
如图7所示,从模型的P-R曲线中可以得到所有外部缺陷的mAP值,根据AP值的定义可知,改进后模型的AP值较高,从而mAP值也较高,识别效果更好。其中,变压器漏油缺陷和呼吸器破损缺陷的mAP值在改进前后变化较大,提升明显。硅胶变色缺陷和箱门闭合异常缺陷在改进前后mAP值没有发生明显变化。在改进后的模型中,表计破损和箱门闭合异常的识别精度较高,mAP值分别稳定在97.7%和93.9%。
图7 P-R曲线对比
Figure 7 Comparison of P-R curves
使用改进前后的模型来对外部缺陷进行识别对比,检测结果如图8所示。通过图8中置信度的数值大小可以对模型识别的准确程度进行评估。由图8可知,变压器漏油和硅胶变色缺陷在改进后识别置信度提升明显,表计破损缺陷和箱门闭合异常缺陷在改进前后识别置信度变化不大。
图8 设备外部缺陷检测结果对比
Figure 8 Comparison of equipment external defect detection results
5 结论
本文针对目标检测模型不够轻量化,识别精度低等问题对YOLOv5模型进行改进,以表计破损、变压器漏油、呼吸器破损、硅胶变色、箱门闭合异常这5种常见电气设备外部缺陷为研究对象,提出了一种轻量化YOLOv5模型。改进过程中,将主干网络替换为EfficientViT网络,模型参数量减少了20%,计算量减少了38%;在Neck中加入SimAM注意力机制,解决变电站复杂背景下识别精度差的问题;同时将NMS改进为Soft-NMS,减少缺陷误检现象发生。改进后的模型相比原模型mAP值提高了1.2%,在保证轻量化的同时提升了检测精度。同时模型占用内存小,对于模型部署到移动端具有一定的优势,能够满足变电站电气设备外部缺陷实时检测的需求。
[1] 齐冬莲, 韩译锋, 周自强, 等. 基于视频图像的输变电设备外部缺陷检测技术及其应用现状[J]. 电子与信息学报, 2022, 44(11): 3709-3720.
QI D L, HAN Y F, ZHOU Z Q, et al. Review of defect detection technology of power equipment based on video images[J]. Journal of Electronics &Information Technology, 2022, 44(11): 3709-3720.
[2] 何国立, 齐冬莲, 闫云凤. 一种基于关键点检测和注意力机制的违规着装识别算法及其应用[J]. 中国电机工程学报, 2022, 42(5): 1826-1837.
HE G L, QI D L, YAN Y F. An illegal dress recognition algorithm based on key-point detection and attention mechanism and its application[J]. Proceedings of the CSEE, 2022, 42(5): 1826-1837.
[3] GIRSHICK R. Fast R-CNN[C]∥2015 IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE, 2015: 1440-1448.
[4] 李文璞, 谢可, 廖逍, 等. 基于Faster RCNN变电设备红外图像缺陷识别方法[J]. 南方电网技术, 2019, 13(12): 79-84.
LI W P, XIE K, LIAO X, et al. Intelligent diagnosis method of infrared image for transformer equipment based on improved Faster RCNN[J]. Southern Power System Technology, 2019, 13(12): 79-84.
[5] 林刚, 王波, 彭辉, 等. 基于改进Faster-RCNN的输电线巡检图像多目标检测及定位[J]. 电力自动化设备, 2019, 39(5): 213-218.
LIN G, WANG B, PENG H, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric Power Automation Equipment, 2019, 39(5): 213-218.
[6] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2016: 779-788.
[7] 朱惠玲, 牛哲文, 黄克灿, 等. 基于单阶段目标检测算法的变电设备红外图像目标识别及定位[J]. 电力自动化设备, 2021, 41(8): 217-224.
ZHU H L, NIU Z W, HUANG K C, et al. Identification and location of infrared image for substation equipment based on single-stage object detection algorithm[J]. Electric Power Automation Equipment, 2021, 41(8): 217-224.
[8] 陈婷, 周旻, 韩勤, 等. 基于改进YOLOv4的变电站缺陷检测[J]. 计算机系统应用, 2022, 31(6): 245-251.
CHEN T, ZHOU M, HAN Q, et al. Defect detection for substation based on improved YOLOv4[J]. Computer Systems and Applications, 2022, 31(6): 245-251.
[9] 王佰川, 王聪. 基于改进YOLOv4的配电线路绝缘子与避雷器快速检测研究[J]. 电瓷避雷器, 2023(3): 166-174.
WANG B C, WANG C. Rapid detection of insulators and arrester on distribution lines based on improved YOLOv4[J]. Insulators and Surge Arresters, 2023(3): 166-174.
[10] 肖粲俊, 潘睿志, 李超, 等. 基于改进YOLOv5s绝缘子缺陷检测技术研究[J]. 电子测量技术, 2022, 45(24): 137-144.
XIAO C J, PAN R Z, LI C, et al. Research on defect detection technology based on improved YOLOv5s insulator[J]. Electronic Measurement Technology, 2022, 45(24): 137-144.
[11] CAI H, LI J Y, HU M Y, et al. EfficientViT: multi-scale linear attention for high-resolution dense prediction[EB/OL]. (2022-05-29)[2024-02-10]. http:∥arxiv.org/abs/2205.14756.
[12] YANG L X, ZHANG R Y, LI L D, et al. SimAM: a simple, parameter-free attention module for convolutional neural networks[C]∥International Conference on Machine Learning. New York: ACM, 2022:11863-11874.
[13] BODLA N, SINGH B, CHELLAPPA R, et al. Soft-NMS—improving object detection with one line of code[C]∥2017 IEEE International Conference on Computer Vision (ICCV). Piscataway: IEEE, 2017: 5562-5570.
[14] 郝帅, 杨磊, 马旭, 等. 基于注意力机制与跨尺度特征融合的YOLOv5输电线路故障检测[J]. 中国电机工程学报, 2023, 43(6): 2319-2331.
HAO S, YANG L, MA X, et al. YOLOv5 transmission line fault detection based on attention mechanism and cross-scale feature fusion[J]. Proceedings of the CSEE, 2023, 43(6): 2319-2331.
[15] 曾耀, 高法钦. 基于改进YOLOv5的电子元件表面缺陷检测算法[J]. 浙江大学学报(工学版), 2023, 57(3): 455-465.
ZENG Y, GAO F Q. Surface defect detection algorithm of electronic components based on improved YOLOv5[J]. Journal of Zhejiang University (Engineering Science), 2023, 57(3): 455-465.
[16] LIU X Y, PENG H W, ZHENG N X, et al. EfficientViT: memory efficient vision transformer with cascaded group attention[EB/OL]. (2023-05-11)[2024-02-10]. http:∥arxiv.org/abs/2305.07027.
[17] 张森, 万吉林, 王慧芳, 等. 基于注意力机制的卷积神经网络指针式仪表图像读数识别方法[J]. 电力自动化设备, 2022, 42(4): 218-224.
ZHANG S, WAN J L, WANG H F, et al. Convolutional neural network based on attention mechanism for reading recognition of pointer-type meter images[J]. Electric Power Automation Equipment, 2022, 42(4): 218-224.
[18] 宁纪锋, 林靖雅, 杨蜀秦, 等. 基于改进YOLO v5s的奶山羊面部识别方法[J]. 农业机械学报, 2023, 54(4): 331-337.
NING J F, LIN J Y, YANG S Q, et al. Face recognition method of dairy goat based on improved YOLO v5s[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(4): 331-337.
[19] 高新阳, 魏晟, 温志庆, 等. 改进YOLOv5轻量级网络的柑橘检测方法[J]. 计算机工程与应用, 2023, 59(11): 212-221.
GAO X Y, WEI S, WEN Z Q, et al. Citrus detection method based on improved YOLOv5 lightweight network[J]. Computer Engineering and Applications, 2023, 59(11): 212-221.
[20] 刘思言, 王博, 高昆仑, 等. 基于R-FCN的航拍巡检图像目标检测方法[J]. 电力系统自动化, 2019, 43(13): 162-168.
LIU S Y, WANG B, GAO K L, et al. Object detection method for aerial inspection image based on region-based fully convolutional network[J]. Automation of Electric Power Systems, 2019, 43(13): 162-168.
[21] 唐靓, 余明慧, 武明虎, 等. 基于改进YOLOv5的绝缘子缺陷检测算法[J]. 华中师范大学学报(自然科学版), 2022, 56(5): 771-780.
TANG J, YU M H, WU M H, et al. Insulator defect detection algorithm based on improved YOLOv5[J]. Journal of Central China Normal University (Natural Sciences), 2022, 56(5): 771-780.
[22] JIN Y, GAO H F, FAN X L, et al. Defect identification of adhesive structure based on DCGAN and YOLOv5[J]. IEEE Access, 2022, 10: 79913-79924.
[23] 秦晓辉, 黄启东, 常灯祥, 等. 基于改进YOLOv5的露天矿山目标检测方法[J]. 湖南大学学报(自然科学版), 2023, 50(2): 23-30.
QIN X H, HUANG Q D, CHANG D X, et al. Object detection method in open-pit mine based on improved YOLOv5[J]. Journal of Hunan University (Natural Sciences), 2023, 50(2): 23-30.