大型场景的三维重建是三维场景导航、信息查询和监控的基础[1-2]。为了实现变电站的智能化管理,需要对变电站进行高质量的三维建模。传统的建模方法一般是通过人工比照工程图纸,使用3DMAX等专业的三维建模软件对变电站进行手工建模。但现有的变电站存在着设计数据过时或不完整、施工不规范等问题,导致设计与最终施工结果不一致。随着虚拟现实技术的发展,基于三维点云的变电站重建逐渐进入人们的视野并成为可能,而变电站电气设备的识别是实现变电站三维自动重建过程中的关键一环[3]。变电站属于大场景,设备种类和数量多、人工识别工作量大,且受主观因素的影响较多。变电站中的电气设备类型具有多样性,同一种类型的设备又分为不同的型号,具有相似性,这些都增加了点云识别的难度。
目前,针对变电站设备的三维识别,国内外学者已经进行了一些研究。王菲等[4]使用投影边界曲率、点云灰度等作为设备点云的特征,使用改进的Adaboost算法对设备进行识别,达到了98%以上的训练精度和测试精度,但计算时间较长。纪勇等[5]获取点云的深度图像,计算与模型库的距离直方图的相似度,得到识别的预选结果,最后通过霍夫投票选出最为匹配的模型,识别率达到了90.1%,平均识别时间为15.6 s。Wang等[6]实现了对设备点云基座的识别和分割,但未实现对设备的识别。鲜成等[7]通过巡检机器人获取变电站的图片数据,对其进行圈选和标注,作为训练数据训练卷积神经网络,从而对设备点云进行分类。王硕禾等[8]提取巡检图像中的FastPCA和PHOG特征并对其加权融合,然后通过SVM进行分类,实现了较高的识别率。还有的学者先将变电站设备点云包围盒划分为子空间,用PSO对子空间特征权重进行优化,然后用KNN进行分类[3,9],但该方法对噪声敏感。袁千金[10]利用RANSAC算法提取设备平面特征来对模型进行预选,然后基于点云的曲率信息提取设备的关键点,最后使用ICP算法进行准确识别,但该方法耗时较长。文献[11-13]利用设备模型的先验知识实现对绝缘子、变压器、断路器等特定设备的自动提取。张子谦等[14]对包围盒进行划分,将每部分中的点数作为特征用于设备点云的识别,速度较快,但是没有考虑设备点云的位姿。
本文针对变电站设备点云识别的问题提出了一种新的识别方法,可以快速实现对设备点云的识别。首先建立待识别设备点云的局部坐标系,其次结合变电站设备点云的形状和设备视图的差异。定义了一个特征描述子,用于点云的描述和识别,该方法提高了识别的计算时间,识别一个设备的平均时间为3.2 s。对比另外两种设备点云识别算法,本文算法在待识别设备的点云密度不均匀的情况下,仍能保持较高的识别准确率。
1 总体流程
变电站设备点云的识别算法流程如图1所示。
图1 变电站设备点云识别流程
Figure 1 Flowchart of point cloud recognition of
substation equipment
首先,建立待识别设备点云的局部坐标系。该局部坐标系具有平移和旋转不变性,并且对噪声鲁棒。这是保证后续能够准确识别设备点云的至关重要的一步。
其次,计算设备点云的特征描述子。根据所建立的设备点云的局部坐标系,将设备点云投影到xoy、xoz和yoz平面,每个投影最终都转换为一个特征向量,将3个平面投影的特征向量连接起来,得到最终的设备点云对象的特征描述子。
最后,进行模板检索。得到待识别的设备点云对象的特征描述子后,将该特征描述子和模板库中的特征描述子进行匹配,找到距离误差最小的模板,完成对设备的识别。
2 建立设备点云的局部坐标系
常用的建立点云局部坐标系的方法为主成分分析法(PCA),但是PCA对噪声和遮挡非常敏感[15]。因此,本文利用设备点云在空间中的对称性和分布密度,设计了一种建立其局部坐标系的方法,如图2所示。由于变电站场景处于室外开放的环境中,地势平坦,变电站设备和地面垂直,因此将全局坐标系的z轴方向作为设备点云局部坐标系的z轴方向。然后将设备点云向xoy平面投影,计算出投影的最小包围框[16],即所有包围盒中面积最小的矩形,如图3所示。得到设备点云在xoy面投影的最小包围框后,将包围框较小的边作为x轴,较长的边作为y轴,然后以最小包围框为底面建立设备点云的最小包围盒,以最小包围盒的中心作为设备点云局部坐标系的原点,如图4所示。
图2 设备点云局部坐标系的建立流程
Figure 2 Flowchart of establishing a local coordinate
system of equipment point cloud
图3 设备点云在xoy面投影的最小包围框
Figure 3 Minimum bounding box of the projection
of equipment point cloud in xoy plane
图4 局部坐标系xy轴的确定
Figure 4 Determination of x and y axes of the
local coordinate system
当最小包围框的两条边长度之比小于1.1(图5(a)),第1次判断x、y轴,但是,由于可能受到噪声的污染,需要进一步判断以确定x、y轴。这就需要在第1次确定的x、y轴的基础上,分别计算设备点云关于yoz平面和xoz平面的对称性,如图5(b)、5(c)所示,如果设备点云对象关于xoz平面的对称性更好,那么就将该x轴和y轴对调,否则保持当前的x轴和y轴不变。
图5 设备点云关于xoz面和yoz面对称性的示意图
Figure 5 The symmetry of equipment point cloud
on plane xoz and plane yoz
为了计算一个设备点云关于平面pl的对称性,首先对设备点云的最小包围盒进行体素划分,得到点云的体素空间,表示为V。体素的大小的设置需要考虑点云的信息度、噪声的影响和计算效率。通过实验,将体素大小设置为0.1 m。如果体素V(i,j,k)中包含对象点云中的点,则V(i,j,k)=1,否则V(i,j,k)=0。平面pl将体素空间分为两部分,记为pl+和pl-,这两部分中V(i,j,k)=1的体素数量分别记为npl+和npl-。当对称的两部分V(i,j,k)=1时,认为该体素具有对称性,将V中所有具有对称性的体素的数量记为nsym,根据式(1)计算出对象点云关于平面pl的对称性。
(1)
在确定了x、y轴后,利用设备点云在空间的分布密度来判断x轴和y轴的正方向。设备点云分别被xoz平面和yoz平面平均分为两个部分,如图6(a)、6(b)所示。将被xoz平面分割的两部分分别记为Ypos和Yneg,将被yoz平面分割的两部分记为Xpos和Xneg,根据式(2)计算这4部分的体素密度:
(2)
式中:nP*为部分P*中V(i,j,k)=1的体素的数量;nscale表示部分P*中所有体素的数量,包括V(i,j,k)=1和V(i,j,k)=0的体素。
根据计算出的这4部分的体素密度,将体素密度较大的那一部分的方向作为坐标轴的正方向。例如被yoz平面分成的两部分Xpos和Xneg,如果Xpos的体素密度大于Xneg的体素密度,那么将y轴的正方向朝向Xpos。同理,可根据Ypos和Yneg的体素密度确定x轴的正方向,从而建立设备点云最终的局部坐标系,如图6(c)所示。该局部坐标系具有平移和旋转不变性,并且对噪声鲁棒。
3 特征描述子
本文结合变电站设备点云的形状和设备视图的差异,定义了一种新的特征描述子,具体计算步骤如下。
步骤1 对设备点云的最小包围盒进行划分,将其均匀分割为12×12×12的体素栅格,体素大小为
(3)
式中:L、W、H分别为设备点云的最小包围盒的长、宽、高;l、w、h表示每个体素的长、宽、高。
建立设备点云对象的一个体素空间V,通过V得到设备点云对象在三维空间的一个分布矩阵M12×12×12。 M12×12×12表示对象点云在三维空间上的空间分布特征,如果有点落入小立方体V(i,j,k)中,那么就将相应的分布矩阵的值设为1,即M(i,j,k)=1,否则M(i,j,k)=0。
步骤2 将设备点云分别向xoy面、xoz面以及yoz面投影,得到每个投影平面的二维分布矩阵
图6 x、y轴正方向的确定
Figure 6 Determination of the positive direction of x and y axes
(4)
(5)
(6)
步骤3 将每个投影平面的二维分布矩阵转换为一个特征向量,并将3个特征向量连接起来,最终组成设备点云对象的特征描述子。对于某一投影平面的二维分布矩阵
按照式(7)将其转换为一个特征向量
(7)
将每个投影平面都转换为一个24维的特征向量后,将3个投影平面的特征向量进行连接得到最终的特征描述子
维度为24×3=72。
4 模板检索
由于到目前为止国内外没有公开的变电站场景点云的数据集和公共的变电站电气设备模板库用于模板的检索。因此,本文建立了一个电气设备模板库,模板库包含54个电气设备的标准件。电气设备的标准件包括避雷器、断路器、隔离开关等9类,每种电气设备型号均不同。计算每个模板设备点云的特征描述子,并将其和对应的模板存储在一起,每个模板包含了型号、编号以及72维的特征描述子信息,共74维,因此创建的模板库为54×74的二维数组,以txt格式存储在程序文件夹中,以便程序调用。当设备的外形发生改变,或有其他类型设备需要识别,可以对模板库进行修改或添加,保证模板库的动态更新。
模板检索阶段,在得到待识别设备点云的特征描述子后,计算其与模板库中每个模板的特征描述子的相似度,从中找到最匹配的模板。由于欧式距离评价法比其他方法更简单有效,因此根据式(8)计算待识别设备点云的特征描述子和模板的特征描述子之间的欧式距离[17],作为两者的匹配误差。
(8)
式中:fo表示模板库中的一个模板的特征描述子;fo′表示待识别设备点云的特征描述子。
5 实验及分析
实验中所使用的计算机主要配置为Intel®CoreTMi5-10300H CPU,8 GB内存,64位Windows10操作系统。实验平台为Visual Studio 2019,使用了PCL开源c++点云编程库。应用本文提出的变电站设备点云识别算法对90个待识别设备点云进行测试。本文的实验数据是通过车载移动三维激光扫描仪扫描嵩山500 kV变电站的部分设备获得。
对每个待识别的设备点云,计算其特征描述子,然后和模板库所有模板的特征描述子进行相似性匹配,找到匹配度最高的模板,从而完成对设备点云的识别。对90个设备点云进行识别,识别成功81个,识别错误9个,识别率达到90%,识别一个设备点云的平均时间为3.2 s,识别速度较快。
将本文算法与另外2种变电站设备点云识别方法[3,10]进行对比,结果如表1所示。可以看出,3种方法的识别准确率都达到了85%以上,本文算法的识别准确率为90%,略低于文献[10]方法,但本文算法识别时间较短,能够较好地平衡识别准确率和识别效率。
表1 不同算法的对比
Table 1 Comparison of different methods
算法识别时间/s识别准确率/%本文算法3.2090.00文献[3]方法17.5687.78文献[10]方法19.4192.33
为了测试本文提出的设备点云识别算法的鲁棒性,分别在噪声、点云密度不均匀、遮挡情况下进行实验。
(1)噪声。对90个待识别设备点云添加了不同方差σ的高斯噪声,如图7所示。
图7 设备点云存在不同程度高斯噪声
Figure 7 Equipment point cloud with different degree
of Gaussian noise
(2)点云密度不均匀。对90个设备点云对象沿z轴按0.5 m的间隔进行分层,然后在每一层使用体素下采样,设置第0层的体素大小为VoxelSize0,第i层的体素大小为VoxelSizei,通过设置不同的VoxelSize对设备点云进行不同程度的采样,如图8所示。
图8 设备点云存在不同程度的密度不均匀
Figure 8 Equipment point cloud with different degree
of uneven density
(3)遮挡。使用一个具有固定角的可变立方体来切割设备点云对象,如图9所示,点云的遮挡率为
图9 设备点云存在不同程度的遮挡
Figure 9 Equipment point cloud with different degree
of occlusion
遮挡率
(9)
图10为本文算法和其他2种变电站设备点云识别算法在当点云存在噪声、密度不均匀和遮挡时的对比结果。从图10(a)中可以看出,随着点云噪声水平的增加,3种方法的识别准确率都急速下降,在没有噪声的数据上,3种方法都能达到很好的识别效果,而当噪声水平较高时,本文的识别算法要比其他2种方法略好。这是因为文献[3]方法将子空间的重心与整体点云重心连线夹角的余弦值作为该子空间的特征,当点云含有噪声时,含有噪声点的子空间的特征将不再为0,如果点云空间中的噪声点过多,则得到的子空间特征向量将发生较大的改变,因此不能很好地对点云进行识别。文献[10]方法通过提取设备点云的平面特征完成对模板的预选,但是由于变电站设备基本上为中心轴对称结构,对平面特征的提取要求较高,当点云中含有大量的噪声时,用设备点云的平面特征可能不能将真正的模板预选出来,从而导致识别错误。相较而言,本文提出的特征描述子利用的是点云在每个投影平面二维栅格中的点的存在性,因此可以缓解噪声对识别的负面影响。
从图10(b)中可以看出,本文提出的设备点云识别算法在点云密度不均匀时,识别准确率仍保持在70%以上,比其他2种识别方法有较大的优势。文献[3]方法使用子空间的重心与整体点云重心连线夹角的余弦值作为该子空间的特征,因此对点云的密度非常敏感,当设备点云的密度不均匀时,整体点云的重心将发生严重偏移,因此导致计算出的特征不具有对设备点云识别的能力,从而导致随着采样水平的增加,识别准确率迅速下降。文献[10]方法使用RANSAC算法提取平面的特征,当点云密度不均匀时,无法准确地提取平面特征,从而导致识别准确率的下降。而本文提出的设备点云识别方法是利用点云在每个投影平面二维栅格中点的存在性来对设备点云进行描述,当设备点云密度不均匀时,设备点云的形状特征不会受到直接影响,因此本文提出的特征描述子仍能较好地对设备点云进行描述,从而能够保持较高的识别准确率。
从图10(c)中可以看出,一旦遮挡率超过30%,3种方法的识别准确率都不高。由于存在部分变电站设备为中心轴对称结构,当点云存在遮挡时,文献[10]方法使用RANSAC算法提取出的平面的法向量会不准确,将会导致识别准确率的降低。文献[3]方法受点云遮挡的影响更大,这是因为当点云存在遮挡时,不仅整体点云的重心会发生变化,缺失部分的子空间特征也将为0,导致最终的特征描述子不足以对原始设备点云进行描述,因此识别准确率较差。本文根据待识别设备点云的形状提取设备点云的特征描述子,具有较强的描述性,但当点云存在遮挡时,点云的形状会发生一定的变化,因此也会导致识别准确率的降低,但总体仍略优于另外2种方法。
图10 不同算法的识别准确率对比
Figure 10 Comparison of recognition accuracy of different algorithms
6 结论
本文针对变电站设备点云识别的问题提出了一种新的识别方法。首先,利用设备点云在空间中的对称性和分布密度,建立待识别设备点云的局部坐标系。其次,结合设备点云的形状和设备视图的差异,定义了一种特征描述子,用于对点云的描述和识别,并建立54个模板点云的模板库,通过将待识别设备点云的特征描述子和模板库中的特征描述子进行匹配,找到匹配误差最小的模板,完成对设备点云的识别。最后,通过实验验证了方法的有效性和优越性,识别准确率到达了90%,识别一个设备的平均时间为3.2 s,可以较好地平衡识别准确率和识别效率。当待识别点云密度不均匀时,本文算法仍然能保持70%以上的识别准确率,并且建立的设备点云局部坐标系可用于计算待识别点云和模板点云之间的变换矩阵,便于后续变电站场景的三维重建。
[1] HUANG L, LIANG Y, HUANG H, et al. Digital twin modeling and operating state assessment of substation equipment[C]∥4th International Conference on Energy, Electrical and Power Engineering (CEEPE). Piscataway: IEEE, 2021: 159-163.
[2] 陈义飞, 郭胜, 潘文安, 等. 基于多源传感器数据融合的三维场景重建[J]. 郑州大学学报(工学版), 2021, 42(2): 80-86.
CHEN Y F, GUO S, PAN W A , et al. 3D scene reconstruction based on multi-source sensor data fusion[J]. Journal of Zhengzhou University (Engineering Science), 2021, 42(2): 80-86.
[3] GUO W Y, JI Y, LUO Y, et al. Substation equipment 3D identification based on KNN classification of subspace feature vector[J]. Journal of Intelligent Systems, 2019, 28(5): 807-819.
[4] 王菲, 王球, 任佳依, 等. 三维激光云扫描技术在变电站电气设备识别中的应用[J]. 佳木斯大学学报(自然科学版), 2020, 38(4): 124-128.
WANG F, WANG Q, REN J Y, et al. Application of 3D laser cloud scanning technology in identification of electrical equipment in substation[J]. Journal of Jiamusi University (Natural Science Edition), 2020, 38(4): 124-128.
[5] 纪勇, 刘丹丹, 罗勇, 等. 基于霍夫投票的变电站设备三维点云识别算法[J]. 郑州大学学报(工学版), 2019, 40(3): 1-6, 12.
JI Y, LIU D D, LUO Y, et al. Recognition of three-dimensional substation equipment based on Hough transform[J]. Journal of Zhengzhou University (Engineering Science), 2019, 40(3): 1-6, 12.
[6] WANG P S, LUO Y, GUO W Y. Study of base segmenting algorithm of substation equipment based on 3D point cloud[J]. Journal of Electrical Engineering &Technology, 2019, 14(1): 505-517.
[7] 鲜成,张欣,党晓婧. 基于深度学习的变电站设备自动识别方法[C]∥2019中国自动化大会.北京: 中国自动化学会,2019: 314-319.
XIAN C, ZHANG X, DANG X J. Deep-learning based substation facilities automatic identification[C]∥The China Automation Congress 2019(CAC2019).Beijing:CAA,2019: 314-319.
[8] 王硕禾, 巩方超, 古晓东, 等. 基于特征融合的变电设备类型及故障识别算法研究[J]. 铁道学报, 2021, 43(4): 95-100.
WANG S H, GONG F C, GU X D, et al. Research on types of substation equipment and fault identification algorithm based on feature fusion[J]. Journal of the China Railway Society, 2021, 43(4): 95-100.
[9] 李科. 基于PSO-KNN的变电站设备三维点云识别方法研究[J]. 电力系统保护与控制, 2021, 49(18): 182-187.
LI K. 3D point cloud research on an identification method based on PSO-KNN substation equipment[J]. Power System Protection and Control, 2021, 49(18): 182-187.
[10] 袁千金. 基于三维点云的变电站设备附属电线分割及识别算法研究[D]. 郑州:郑州大学,2021.
YUAN Q J. The study of substation equipment attached cable segmentation and identification algorithm based on 3D point cloud[D]. Zhengzhou: Zhengzhou University, 2021.
[11] ARASTOUNIA M, LICHTI D. Automatic object extraction from electrical substation point clouds[J]. Remote Sensing, 2015, 7(11): 15605-15629.
[12] ARASTOUNIA M, LICHTI D D. Automatic extraction of insulators from 3D LiDAR data of an electrical substation[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, II-5/W2: 19-24.
[13] ARASTOUNIA M, LICHTI D D. Segmentation of planar surfaces in LiDAR point clouds of an electrical substation by exploring the structure of points neighbourhood[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-5: 55-62.
[14] 张子谦, 杨鸿斌, 陈俣, 等. 基于组件匹配的变电站快速建模方法[J]. 计算机应用与软件, 2018, 35(7): 69-75, 210.
ZHANG Z Q, YANG H B, CHEN Y, et al. Rapid modeling method for substations based on component matching[J]. Computer Applications and Software, 2018, 35(7): 69-75, 210.
[15] WU Q Y, YANG H B, WEI M Q, et al. Automatic 3D reconstruction of electrical substation scene from LiDAR point cloud[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 143: 57-71.
[16] 崔天赢. 求取多边形最小面积外接矩形的计算机算法[J]. 科协论坛,2012(8): 78-79.
CUI T Y. A computer algorithm for finding the minimum area circumscribed rectangle of a polygon[J]. Science &Technology Association Forum, 2012(8): 78-79.
[17] WAHL E, HILLENBRAND U, HIRZINGER G. Surflet-pair-relation histograms: a statistical 3D-shape representation for rapid classification[C]∥Fourth International Conference on 3D Digital Imaging and modeling, 2003 3DIM 2003 proceedings. Piscataway: IEEE, 2003: 474-481.