电力系统的稳定运行对社会至关重要,但设备长期运行中可能因环境、操作不当或老化出现破损、脏污等缺陷,影响安全。传统人工巡检效率低、成本高且难以发现隐蔽问题。近年来,基于深度学习的图像识别技术逐渐成为电力设备缺陷检测的研究热点,但在检测精度、实时性和小尺寸缺陷识别方面仍存在挑战。
早期目标检测方法多依赖基于规则的策略和传统机器学习算法(如支持向量机和随机森林)[1],虽一定程度上提高了检测精度,但严重依赖特征工程,且对复杂背景下的小目标检测能力有限[2]。随着卷积神经网络(CNN)的发展,其强大的特征提取能力使其在目标检测中得到广泛应用[3],但在小尺寸缺陷检测和实时性方面仍存在挑战[4]。Two-Stage方法(如R-CNN及其变体)具有较高精度,但计算量大,不适用于边缘设备[5-7];相比之下,One-Stage方法,如YOLO和SSD(single shot multibox detector),通过端到端检测显著提升了速度[8-9]。然而在边缘计算环境下,仍需在模型规模受限的前提下提升对小目标的检测精度与鲁棒性。
SSD融合YOLO的速度优势和Faster R-CNN的锚框机制,实现了精度与实时性的平衡。MobileNetV2作为轻量级One-Stage模型,利用倒残差结构与线性瓶颈设计,在提升检测速度的同时保持较高精度,性能接近Two-Stage方法[10]。已有多项研究验证其适用于小目标检测场景,如徐云飞等[11]构建MobileNetV2-SSD用于非合作目标检测;刘慧等[12]结合空洞卷积实现97.46%的检测精度;毛亮等[13]通过与DDB、BDM模块结合,在挖掘机数据集上精度达到0.906;任坤等[14]引入通道注意力机制,在CCTSDB数据集上精度达到0.932。
为提升小目标检测效果,特征金字塔网络(feature pyramid network,FPN)被广泛用于增强多尺度特征表达[15]。在此基础上,出现了多种改进结构,如可调整特征层大小的NAS-FPN[16]、融合动态特征的DG-FPN[17]和增强残差特征的AugFPN[18],进一步提升了检测精度,但也带来模型结构复杂、参数量大及速度下降等问题。
为解决MobileNetV2-SSD与FPN及其变种在电力器件缺陷检测中的应用局限,本文提出新算法以提升检测精度与实时性,推动电力器件缺陷检测智能化。算法创新在于跨层注意力机制、特征融合模块、轻量级MobileNetV2网络结构及QFL(quality focal loss)函数应用,从机理上提高检测精度与速度。本文工作如下。
(1)在MobileNetV2瓶颈结构中引入密集连接,并设计动态扩张系数以控制网络规模,在降低计算量和参数的同时保证高检测精度和速度。
(2)提出具有跨层注意力机制的隐式特征金字塔网络(cross layer implicit feature pyramid network,CL-IFPN)并结合特征融合模块(feature fusion module,FFM),提升对小尺寸缺陷及不同尺寸缺陷的综合识别能力。
(3)基于QFL函数优化SSD损失函数,加强对困难样本的关注,提高检测鲁棒性,最终将优化后的模型部署于边缘设备,实现电力器件缺陷的实时准确检测。
1 本文算法
1.1 总体设计
本文所提出的CL-IFPN+MobileNetV2-SSD通过引入跨层注意力机制的隐式特征金字塔网络(CL-IFPN),利用其跨层级上下文信息交互机制强化小尺寸缺陷的特征表达能力,有效解决微小缺陷漏检问题;设计了特征融合模块(FFM)以动态整合深层语义特征与浅层细节信息,通过双向特征交互实现多尺度缺陷的精准定位与分类;采用轻量化MobileNetV2作为骨干网络,结合倒残差结构和线性瓶颈设计,在保证检测精度的同时显著提升推理速度;同时引入QFL函数,通过动态调整难易样本权重及预测质量评估,有效缓解工业检测场景中正负样本极度不均衡问题,最终实现高鲁棒性、高实时性的缺陷检测系统。算法的总体结构如图1所示。
图1 CL-IFPN+MobileNetV2-SSD结构
Figure 1 CL-IFPN+MobileNetV2-SSD structure
采用深度卷积(Depth-Wise)与逐点卷积(Point-Wise)相结合的方式进行特征提取。其中,Conv_1、Conv_3、Conv_5、Conv_7～Conv_11、Conv_13采用深度-逐点卷积,避免仅在低维空间提取特征;Conv_2、Conv_4、Conv_6、Conv_12采用逐点-深度-逐点卷积,减少ReLU6对特征提取的影响。CL-IFPN在Conv_5、Conv_6、Conv_12处进行上采样和横向连接,特征融合模块嵌入Conv_7内部。Conv_14～Conv_16进一步提取特征,提高检测效率。
1.2 MobileNetV2瓶颈设计
本文对MobileNetV2的瓶颈结构进行了优化设计,以提升特征提取能力。引入密集连接(全连接层替代残差连接),增强不同层间的特征共享与复用,提高信息与梯度传输效率,从而增强网络对复杂视觉任务的适应性。然而,该设计可能导致瓶颈输出通道数增加,引发参数量和计算开销上升。为此,提出可在1～6间动态调节的扩张系数,以灵活控制网络规模。
在设计网络时,尽管使用了扩张系数为1的瓶颈,但是仍然保留了原有的1×1卷积层。这是因为1×1卷积不仅能提升网络的整体性能,更重要的是,它允许对多个特征映射进行线性组合,实现跨通道特征的有效集成。值得注意的是,尽管初始的1×1卷积扩张系数设置为1,网络引入的密集连接依然能对性能提升产生积极影响。这一创新设计使得模型在不同任务中表现出色,同时保证了计算效率。本文设计的瓶颈结构如图2所示,为进一步研究提供了新的思路和方法。
图2 改进的瓶颈结构
Figure 2 Improved bottleneck structure
1.3 CL-IFPN
隐式特征金字塔网络IFPN[19]是在FPN基础上改进的一种新型金字塔网络,该网络有效降低了算法的参数负担与内存损耗。具体结构如图3所示。
图3 隐式特征金字塔网络
Figure 3 Implicit feature pyramid network
当IFPN中跨尺度的连接块数量堆叠到一定数量时,输出会无限接近于一个点,该点满足:
P*=Fθ(P*,B)。
(1)
式中:Fθ为非线性变换,它在所有堆叠的连接块之间共享;P*为隐式特征金字塔网络。
尽管IFPN能在减少参数量的同时维持较高检测精度,但其在获取深层特征图细节信息方面存在不足,对小目标的检测能力有限。为增强IFPN的感受野范围,提取更多小目标细节特征,本文将 Non-Local注意力机制融入IFPN,提出一种跨层注意力机制的隐式特征金字塔网络CL-IFPN,其结构如图4所示。
图4 具有跨层注意力机制的隐式特征金字塔网络
Figure 4 Implicit feature pyramid network with cross layer attention mechanism
CL-IFPN以图3中的特征图X、Y为输入。首先在X前添加全局平均池化层与1×1卷积获取全局特征信息,随后对X、Y进行线性映射得到Q、K、V特征。经Reshape操作合并3个特征除通道数外的维度后,对Q和K进行矩阵点乘,计算特征的自相关性,得到每帧中每个像素与其他所有帧所有像素的关系。对自相关特征进行Softmax操作,得到值域为[0,1]的Self-Attention系数。最终将 Self-Attention系数对应乘回特征矩阵V,经1×1卷积后与原输入特征图X做残差运算,获得输出。
1.4 特征融合模块
深层卷积层具备丰富语义信息利于缺陷分类,但低分辨率导致细节缺失;浅层卷积层分辨率高有助于定位,但语义不足,尤其是小尺寸缺陷定位十分困难[20]。本文基于电力器件缺陷的特点,设计了特征融合模块,将深层低分辨率强语义特征与浅层高分辨率细节特征融合,生成既高分辨率又富含语义和细节的信息图用于预测不同大小的缺陷。具体如图5所示,Conv_7和Conv_8先采用Stride=2最大池化和上采样,再与前层特征图融合,最后通过卷积降维输出。
图5 特征融合模块
Figure 5 Feature fusion module
1.5 损失函数的改进
Lin等[21]在2017年提出了焦损(focal loss,FL)函数,表达式如下所示:
FL(Pt)=-(1-Pt)γlog Pt。
(2)
式中:Pt为不同类别的分类概率。FL通过调制系数(1-Pt)γ控制简单样本的权重,该系数降低了训练期间易于分类的样本的权重,因此在训练期间对模型进行训练时,更倾向于训练难以分类的样本。
虽然FL函数可以解决训练过程中正负样本不平衡的问题,但在模型的训练过程中,一些分类分数较低,但结果是真;一些分类分数较高,但结果为假,这将影响检测的准确性。为了解决这个问题,Lin等[21]改进了FL函数,并提出了QFL函数。本文借助QFL函数的思想,将SSD损失函数中的置信度损失替换为QFL函数,调整简单样本与困难样本的权重,使模型侧重于困难样本的训练。QFL函数的定义如式(3)所示:
QFL(l)=-|y-l|β((1-y)log(1-l)+ylog l)。
(3)
QFL函数主要分两步扩展FL函数:将交叉熵部分-log Pt扩展为-((1-y)log(1-l)+ylog l);将调制系数(1-Pt)γ扩展为|y-l|β(β≥0),l为sigmoid函数的输出,参数β控制正样本和负样本之间的权重。实验证明,当β=2时,样本越容易平衡,损失越小,从而提高了模型检测的性能。
2 实验
2.1 实验准备与评估标准
为了验证本文算法对MobileNetV2-SSD改进效果,在公开数据集VOC2007[22]上进行训练与测试,同时与不同的检测算法进行了对比。从VOC2007数据集中挑选出16 000张图片对模型进行训练,然后选择5 000张图片进行测试。使用mAP、帧率和参数量这3类指标分别评估模型的检测精度、检测速度和模型大小[19]。
2.2 消融实验
为验证CL-IFPN对FPN的改善效果,本文将FPN+MobileNetV2-SSD、SPP+MobileNetV2-SSD与本文算法进行检测精度对比。样本根据缺陷区域像素比例分为大型(>24%)、中型(10%～24%)和小型(<10%)。在大、中、小型样本上,FPN+Mobile-NetV2-SSD的检测精度分别为60.3%,55.1%和91.3%;SPP+MobileNetV2-SSD为63.2%,56.4%和93.4%;本文算法为69.2%,59.7%和94.2%。本文算法的检测精度在各类型样本上均优于其他方法,与FPN+MobileNetV2-SSD相比,大型、中型和小型样本的检测准确率分别提升了8.9百分点、4.6百分点和2.9百分点,验证了CL-IFPN的有效改进。
2.3 不同检测算法对比
分别对SSD、MobileNetV2-SSD、SPP+MobileNetV2-SSD、FPN+MobileNetV2-SSD以及本文所提算法进行对比。5种检测算法的对比结果如表1所示,MobileNetV2-SSD与本文算法的检测效果如图6所示。
表1 不同检测算法对比结果
Table 1 Comparison results of different detection algorithms
算法mAP/%帧率/(帧·s-1)SSD0.77548MobileNetV2-SSD0.738635SPP+MobileNetV2-SSD0.756332FPN+MobileNetV2-SSD0.762130本文算法0.796236
图6 MobileNetV2-SSD与本文算法的检测效果
Figure 6 Detection effect of MobileNetV2-SSD and the proposed algorithm
由表1和图6可知,本文算法在检测速度上优于其他4种算法。SSD仅使用多尺度特征预测,未能充分利用深层语义和边缘特征,导致检测精度较低且训练时易忽略难分类样本。MobileNetV2-SSD提升了检测速度,但由于瓶颈结构和特征利用限制,其小目标检测能力不足。SPP+MobileNetV2-SSD通过空间金字塔池化改善多尺度特征利用,但效果有限。FPN+MobileNetV2-SSD能检测部分小目标,但因结构复杂导致参数增加、检测速度下降。本文算法通过密集连接提升特征复用,CL-IFPN增强小目标特征提取,特征融合模块提高不同尺寸缺陷的识别能力,并通过改进损失函数优化训练,显著提升了检测精度和速度。结果表明,本文算法较MobileNetV2-SSD能更准确地检测各类目标,减少漏检情况。
2.4 电力器件缺陷检测效果
实验结果表明,本文算法在MobileNetV2-SSD的基础上取得了显著改进,并在VOC2007数据集上表现良好。为进一步验证其在电力器件缺陷检测中的有效性,本文构建并标注了一个电力器件表面缺陷数据集。数据集涵盖锈迹、脏污、漏油和破损等缺陷,共2 500张640×640像素图像,来源于巡检过程和实验室模拟环境。标注由专业电力工程师完成,并通过交叉验证确保准确性。数据按7∶2∶1划分为训练集、验证集和测试集,以评估模型泛化能力,类别包括锈迹、脏污、漏油和破损,数量分别为720,570,680和530。
实验采用NVIDIA Jetson Xavier NX边缘计算板,配备摄像头、STM控制板、蓝牙通信模块及语音交互装置。软件使用ROS框架、OpenCV 3.4和TensorFlow 2.0。通过模型量化和参数优化,将算法部署至边缘设备,并在变电站环境下实现实时缺陷检测。训练过程中,图像分辨率为640×640像素,迭代150次,检测效果见图7,不同算法的对比结果见表2。
表2 不同算法对比
Table 2 Comparison of different algorithms
算法mAP锈迹缺陷脏污缺陷漏油缺陷破损缺陷平均帧率/(帧·s-1)参数量/106FasterR-CNN0.90120.77310.74210.85710.81846SSD0.89620.81890.77520.92370.853510MobileNetV2-SSD0.92330.83310.78850.93770.87072619MobileNetV2-YOLOv30.78130.71310.70130.82110.75423816本文算法0.98800.92420.93310.96230.95192421
图7 本文算法检测效果
Figure 7 Detection effect of the proposed algorithm
由表2可知,本文算法在mAP方面大幅超越其他4种算法,分别提升了13.4百分点、9.8百分点、8.1百分点和19.8百分点,得益于CL-IFPN和特征融合模块的优化,使模型更精准地检测不同尺寸缺陷。尽管帧率和模型大小不及MobileNetV2-SSD与MobileNetV2-YOLOv3,但二者mAP过低,难以满足边缘设备的准确性要求。因此,本文算法在检测精度、检测速度和模型大小3个方面均达到较优平衡。
3 边缘设备移植与验证
为实现电力器件缺陷的实时检测,本文对算法进行量化,将浮点数据转换为等效的int8定点数据,以减少内存占用和计算复杂度,同时确保mAP不受影响。量化通过等效转换替换每个已知操作,使计算更高效,适用于边缘设备。一般算法因包含大量浮点参数,难以压缩,而采用定点数据可降低计算资源消耗并提升速度。以ReLU为例,其量化过程如图8所示,量化前后输入输出仍为浮点数据,但内部计算采用int8定点数据。本文算法量化后参数量由21×106降至8.2×106,且MobileNetV2远小于原SSD的VGG16,便于在NVIDIA Jetson Xavier NX等边缘设备上部署。
图8 ReLU模型量化
Figure 8 ReLU model quantification
完成算法量化后,本文构建移动智能缺陷识别装置验证算法在边缘计算设备上的有效性,装置整体工作流程图如图9所示。该装置包括NVIDIA Jetson Xavier NX边缘计算板、基于STM的控制板、摄像头、支架、蓝牙通信与采集模块、语音交互装置,以及Robot Operating System、OpenCV3.4、TensorFlow2.0、Caffe、Darknet等开发工具和框架。
图9 工作流程示意图
Figure 9 Schematic diagram of workflow
将算法移植到该移动智能缺陷识别装置后,在真实变电站环境下对电力器件的实时缺陷检测效果如图10所示。实验结果表明,本文算法在边缘计算板上表现良好,能够检测出不同大小的缺陷,准确完成电力器件缺陷检测任务。
图10 实时缺陷检测效果
Figure 10 Real-time defect detection effect
4 结论
针对电力设备与传感器等器件缺陷(如破损、故障等)难以自动检测的问题,本文基于边缘计算设备,提出CL-IFPN+MobileNetV2-SSD电力器件缺陷检测算法。在MobileNetV2-SSD的基础上,优化瓶颈结构以增强动态特征提取能力;引入跨层注意力机制的隐式特征金字塔网络(CL-IFPN),有效融合改进后的MobileNetV2-SSD,降低参数量并提升小型缺陷检测性能;设计特征融合模块,增强对不同尺寸缺陷的识别能力;引入QFL函数,提高训练效果。实验表明,该算法在VOC2007数据集与自建的电力器件缺陷数据集上分别取得了79.62%和95.19%的mAP,相较MobileNetV2-SSD,在检测精度和速度上均有所提升。此外,该算法在边缘计算设备上仍具备实时检测能力,展现出良好的工程应用价值。未来将进一步优化网络结构,以提升检测精度和速度。
[1] QUINLAN J R.Induction of decision trees[J].Machine Learning,1986,1(1):81-106.
[2] WITTEN I H,FRANK E.HALL M A.Data mining:practical machine learning tools and techniques[M].3rd ed.Amsterdam:Elsevier Inc.,2011.
[3] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84-90.
[4] GÜLER R A,NEVEROVA N,KOKKINOS I.DensePose:dense human pose estimation in the wild[EB/OL].(2018-02-01)[2025-04-02].https:∥arxiv.org/abs/1802.00434.
[5] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2014:580-587.
[6] CHEN C H,WANG S F,HUANG S Z.An improved faster RCNN-based weld ultrasonic atlas defect detection method[J].Measurement and Control,2023,56(3/4):832-843.
[7] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[8] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway:IEEE,2016:779-788.
[9] LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot MultiBox detector[C]∥14th European Conference on Computer Vision,ECCV 2016.Cham:Springer,2016:21-37.
[10] SANDLER M,HOWARD A,ZHU M L,et al.MobileNetV2:inverted residuals and linear bottlenecks[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2018:4510-4520.
[11] 徐云飞,张笃周,王立,等.非合作目标局部特征识别轻量化特征融合网络设计[J].红外与激光工程,2020,49(7):265-271.XU Y F,ZHANG D Z,WANG L,et al.Lightweight feature fusion network design for local feature recognition of non-cooperative target[J].Infrared and Laser Engineering,2020,49(7):265-271.
[12] 刘慧,张礼帅,沈跃,等.基于改进SSD的果园行人实时检测方法[J].农业机械学报,2019,50(4):29-35,101.LIU H,ZHANG L S,SHEN Y,et al.Real-time pedestrian detection in orchard based on improved SSD[J].Transactions of the Chinese Society for Agricultural Machinery,2019,50(4):29-35,101.
[13] 毛亮,薛月菊,朱婷婷,等.自然场景下的挖掘机实时监测方法[J].农业工程学报,2020,36(9):214-220.MAO L,XUE Y J,ZHU T T,et al.Method for the real-time monitoring of the excavator in natural scene[J].Transactions of the Chinese Society of Agricultural Engineering,2020,36(9):214-220.
[14] 任坤,黄泷,范春奇,等.基于多尺度像素特征融合的实时小交通标志检测算法[J].信号处理,2020,36(9):1457-1463.REN K,HUANG L,FAN C Q,et al.Real-time small traffic sign detection algorithm based on multi-scale pixel feature fusion[J].Journal of Signal Processing,2020,36(9):1457-1463.
[15] LIN T Y,DOLL
R P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway:IEEE,2017:936-944.
[16] GHIASI G,LIN T Y,LE Q V.NAS-FPN:learning scalable feature pyramid architecture for object detection[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway:IEEE,2019:7029-7038.
[17] LI H Y,MIAO S Y,FENG R.DG-FPN:learning dynamic feature fusion based on graph convolution network for object detection[C]∥2020 IEEE International Conference on Multimedia and Expo (ICME).Piscataway:IEEE,2020:1-6.
[18] GUO C X,FAN B,ZHANG Q,et al.AugFPN:improving multi-scale feature learning for object detection[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Piscataway:IEEE,2020:12592-12601.
[19] 赵珊,刘子路,郑爱玲,等.基于MobileNetV2和IFPN改进的SSD垃圾实时分类检测方法[J].计算机应用,2022,42(增刊1):106-111.ZHAO S,LIU Z L,ZHENG A L,et al.Real-time classificaiton and detection method of garbage based on SSD improved with mobileNetV2 and IFPN[J].Journal of Computer Applications,2022,42(S1):106-111.
[20] 种法广,温蜜,田英杰,等.基于注意力机制的多尺度缺陷绝缘子检测算法[J].计算机仿真,2022,39(7):137-142,147.CHONG F G,WEN M,TIAN Y J,et al.Multi-scale defect insulator detection algorithm based on attention mechanism[J].Computer Simulation,2022,39(7):137-142,147.
[21] LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for dense object detection[C]∥2017 IEEE International Conference on Computer Vision (ICCV).Piscataway:IEEE,2017:2999-3007.
[22] TONG K,WU Y Q.Rethinking PASCAL-VOC and MS-COCO dataset for small object detection[J].Journal of Visual Communication and Image Representation,2023,93:103830.