航空电连接器是航空装备电气线路互联系统(electrical wiring interconnection systems,EWIS)的关键节点,能够增加系统连通性,实现连接组件解耦[1-3]。由于其组件数量多、尺寸小、布局严等特点,且插接作业属于精细作业,主要依赖人工,导致工作效率低、劳动强度高、质量波动大,严重影响航空装备的准时交付。目前基于增强现实和机械臂的智能化辅助技术已成为解决这些问题的重要方向[4-5]。要实现航空电连接器的实时精准的视觉定位和引导需要获取精确的先验信息,包括插孔位置和排序信息,即插孔在电连接器插接面的位置及插孔序号[6]。
对电连接器进行视觉定位或引导时,如果没有先验信息则需要从零开始分析每一帧图像中的所有可能特征,这需要大量复杂运算,执行多次特征匹配或几何分析,在处理高分辨率图像或实时应用时,计算负担更为明显。黄炜等[7]利用图像处理算法计算连接器定位键槽角度,通过大量实时运算得到连接器撑簧圈装配状态;胡广华等[8]利用了插孔的分布规律对连接器插孔位置进行实时推理计算,没有使用插孔的先验信息降低运算量;Pan等 [9]制定了不同的评估标准来评估现有引脚偏斜数据,没有使用标准的插孔信息,难以精准评估不同类型的电连接器引脚偏斜情况。不能充分利用先验信息除了需要大量实时运算外,对于插孔直径小、分布密集的复杂连接器来说也很难获得全部精准的孔位信息和排序信息。因此,使用先验信息已经成为电连接器视觉识别的主要方式。
但目前仍缺乏智能化的自动方法来获取上述先验信息,实际操作中仍然依赖人工方式进行输入和标记。人工方式不仅费时费力,而且容易产生测量误差,特别是在处理不同型号的连接器时,每种型号都需要单独测量和标记,进一步增加了工作量和工作复杂性。Li等 [10]和李树飞等 [11]利用人工标记的电连接器插孔标准装配状态先验信息判断插孔实际装配状态;汪嘉杰等 [12-13]针对狭小空间下的航天航空电连接器的手工装配,人工标记了电连接器装配先验信息;WU等[14]手工制作了50 000张带有地线和焊点标记的图片数据集,通过深度学习检测航空电连接器的缺陷;Zhao等[15]手动建立了一个包含14 000张带有引脚缺陷的图片数据集,通过提取引脚中的几何特征作为先验知识来提高检测率;Zhao等[16]手动构建了2个包含引脚类型、特征尺寸和分布规则定义的图片数据集,分别包含600张和900张图片,将其作为先验信息绑定到相应的连接器模型,实现了目标中排列的子元素的快速定位;周友行等[17]人工采集得到600张包含毛刺和划痕的光纤连接器图片,经过数据增广得到1 564张图片,通过深度学习检测光纤连接器端面缺陷。上述方法均使用了人工方式来编制和建立先验信息的配置信息,用于支撑视觉识别过程。
另外,先验信息是否完备也会影响视觉识别的全面性和完整性,并直接影响到后续智能插接实现的可用性。Zhao等 [18]利用图像处理技术从电连接器二维图中提取插针位置信息,用于纠正真实识别到的电连接器的插针位置,但由于其缺少插孔排序信息而无法对识别到的插针进行排序,其识别结果不完整;洪钢等 [19]利用人工标记的标准孔位坐标集合即插孔位置的先验信息,通过ICP算法的误差函数量化点云间的相似度,进而识别连接器类型,但由于缺少插孔排序信息而不能处理每个插孔的位置关系。上述方法使用的先验信息均不完备,缺少插针排序信息。
总体而言,现有方法在以下方面需要改进:①获取先验信息时通常依赖人工标记,不能实现自动化,费时费力;②利用先验信息不完备,例如缺少插孔排序信息,影响视觉识别的完整性和准确性。目前航空电连接器已基本实现了全三维设计和仿真分析[20],其三维模型具有精确、全面的装配位置和顺序等先验信息,是一个理想的先验信息来源。如何从三维模型中自动提取先验信息是一个亟待探索的研究方向。因此,本文综合深度学习和图像处理方法,利用航空电连接器三维模型的自身特性,提出了一种基于三维模型的航空电连接器插孔视觉识别技术,实现了对复杂航空电连接器三维模型插孔的全自动智能化精准视觉识别。
本文的主要工作总结如下:①提出了一种融合深度学习的两步插孔精确定位方法,该方法利用霍夫圆检测的预识别结果作为第1步深度学习粗定位的数据集,使得整个识别过程可无监督进行,对于粗定位结果又进行图像分割,在分割区域内再利用霍夫圆提高定位精度;②提出了一种基于环状分层的插孔排序和补全方法,该方法在以定位键槽为基准构建的极坐标系中按每层环对插孔进行排序,针对定位方法无法保证定位到所有插孔的问题,利用航空电连接器插孔分布的旋转对称性对漏识别插孔进行补全。
1 研究方法
图1为总体技术路线。如图1所示,本文提出的方法包括2个主要步骤:融合深度学习的两步插孔精确定位和基于环状分层的插孔排序、补全。
图1 总体技术路线
Figure 1 Overall technical roadmap
识别前需要在虚拟环境中用虚拟相机自动采集航空电连接器三维模型的正面和背面图像,将这些图像作为后续识别的输入信息。
第1步是融合深度学习的两步插孔精确定位。
先利用霍夫圆预识别到模型上的部分插孔作为深度学习的数据集进行训练,训练的模型即可对插孔进行粗定位,再将粗定位的插孔进行图像分割,最后再次利用霍夫圆进一步实现插孔精定位。
第2步是基于环状分层的插孔排序和补全。先确定中心插孔圆心位置,根据到中心插孔圆心的距离将插孔以环状分层,再利用角点检测得到定位键槽位置,根据定位键槽位置建立极坐标系,依次在每一层中对插孔进行排序,接着利用插孔分布的旋转对称性对漏识别插孔进行补全,更新插孔序号,最终完成全部插孔的检测和排序。
最终获得的电连接器模型插孔识别结果可应用于航空电连接器插接作业智能引导。
1.1 融合深度学习的两步插孔精确定位
每一个型号航空电连接器的插孔分布各不相同,插孔定位是进行插孔识别的第1步,为了减小后续插孔补全会引入的定位误差,应在插孔定位时就识别到尽量多的插孔。只使用图像处理方法对插孔的识别率不高,因此本文提出了一种融合深度学习的两步插孔精确定位方法,综合图像处理和深度学习,全自动高识别率高精度对插孔进行定位。
1.1.1 无监督插孔粗定位
与实际航空电连接器相比,虚拟模型通常具有较少的干扰信息,且其插孔形状相对标准,通过霍夫圆检测可自动识别大部分插孔,但其适应性较差,识别率相比深度学习也较低。而深度学习训练需要制作数据集或利用预训练模型,无法实现插孔的全自动识别。因此为实现插孔定位全自动高识别率,需要结合图像处理和深度学习进行无监督插孔粗定位。具体步骤如图2所示。
图2 无监督插孔粗定位
Figure 2 Unsupervised contact coarse positioning
首先,设置虚拟相机采集航空电连接器模型的正面图像,通过霍夫圆检测识别图像中的部分插孔,将其作为预识别结果。
其次,利用预识别结果生成一个无监督训练数据集。由于获得的数据集有限,为避免在进行模型训练时出现过拟合现象,需要利用图像处理技术对其进行自动增广,包括叠加噪声、模糊、自适应直方图均衡、平均池化等方式对图像进行二次处理,得到训练所需数据集。
得到数据集后即可使用不同的网络进行训练,利用训练得到的用于插孔粗定位的深度学习模型来进一步定位插孔,获得粗定位结果。
计算由深度学习模型识别到的识别框选区域BoundingBox的矩心坐标,将其作为插孔粗定位位置,如式(1)所示:
(1)
式中:(Xcoarse,Ycoarse)为插孔粗定位坐标;(x, y)为BoundingBox的UV坐标;(w, h)为BoundingBox的长和宽。式(1)中各参数的单位均为像素。
1.1.2 插孔分割精定位
针对由深度学习的方法粗定位得到的航空电连接器孔位结果,一般而言,定位精度无法直接满足辅助作业的精度需求,因此需进一步利用图像处理技术对定位结果进行精度优化。
首先将识别框BoundingBox分割为只包括目标插孔的ROI区域图,再对ROI区域图进行霍夫圆检测,作为优化后的插孔精定位结果,具体步骤如图3所示。
图3 插孔精定位
Figure 3 Contact fine positioning
结合ROI区域分割位置以及ROI区域图中检测到的插孔位置,即可反推计算出插孔在原模型图的精定位位置,如式(2)所示:
(Xfine,Yfine)=(Xcoarse+XROI,Ycoarse+YROI)。
(2)
式中:(XROI, YROI)为ROI区域分割位置坐标,XROI和YROI的单位均为像素。
1.2 基于环状分层的插孔排序和补全
通过图像处理或深度学习的方式定位的插孔是一组完全无序的离散点集,需要对其进行排序。同时由于无法保证所有航空电连接器模型的插孔全部识别,如果存在漏识别的情况,直接对插孔进行排序会导致从漏识别插孔开始的所有插孔序号错位,因此必须在排序前补全漏识别插孔。航空电连接器插孔分布一般呈多层环形,同一型号的航空电连接器每层环的插孔排序规律相同。为了便于插头和插座之间的装配,航空电连接器都会在垂直于圆柱壁面上加工出兼具定位和导向作用的定位键槽,而定位键槽与每层环的插孔排序又存在一定的关系。因此本文提出一种基于环状分层的插孔排序和补全方法,先对插孔进行环状分层,再根据定位键槽位置,有序排列识别到的插孔,最后在每一层内对漏识别插孔进行补全,更新插孔序号,完成所有插孔的有序识别。
1.2.1 环状分层
为了对识别到的插孔进行排序,首先要对插孔进行分层处理。根据航空电连接器插孔布局方式进行环状分层,能够将复杂的插孔排序问题简化为多个层级的排序问题,从而提高排序的效率和准确性。具体步骤如图4所示。
图4 环状分层流程图
Figure 4 Flow chart of circular layering
首先应确定分层的基准位置,即中心插孔圆心的位置。计算识别到的插孔集合中所有插孔圆心的平均值,将其作为中心插孔圆心的近似位置,如式(3)所示:
(3)
式中:N为检测到的插孔的数量;(Xi, Yi)为第i个插孔的圆心坐标。
获得了中心插孔圆心的近似位置后,再将该近似位置与插孔圆心位置比较,找到距离最近的插孔圆心,即为准确的中心插孔。
一旦获得了中心插孔,就可以根据距离将插孔分配到不同的层级环内。计算每个插孔圆心到中心插孔圆心的距离Di：
(4)
式中:(Xcenter,Ycenter)为中心插孔圆心坐标。
通过比较插孔圆心到中心插孔圆心的距离与预定的距离阈值,将插孔分配到不同的层级中。例如,对于某个层级j,其包含的插孔集合Lj为
Lj={(Xi,Yi)|Tj≤Di<Tj+1}。
(5)
式中:(Tj-1, Tj)为第j层的距离范围。
这样,插孔被有效地分层,从内到外依次为第0层,第1层,第2层,…,第n层。
1.2.2 定位键槽识别
航空电连接器的插孔在不同层环中的排序与定位键槽密切相关,排序前需要先确定定位键槽的位置。由于定位键槽设置在电连接器背面,因此要测得定位键槽在电连接器背面的位置,再推算出其在正面对应的位置。定位键槽检测的具体步骤如图5所示。
图5 定位键槽检测
Figure 5 Key slot detection
首先,设置对称位置的新的虚拟相机采集航空电连接器模型的背面图像,将背面图像二值化,提取出电连接器的轮廓。
其次,根据电连接器的轮廓大小,找到最大的2个轮廓即电连接器的外壳轮廓,将原图像中外壳轮廓内部的像素值全部设置为255,即可提取出电连接器外壳图像。
再次,利用Harris角点检测,通过局部窗口在图像上进行移动判断灰度发生较大的变化,即可检测到电连接器外壳图像中定位键槽的4个角点。由4个角点可求得定位键槽的位置中心点坐标,如式(6)所示:
(6)
式中:(Xcorner_i, Ycorner_i)为第i个角点坐标,。
最后,识别到背面图像的定位键槽位置后,将检测到的位置信息映射到正面图像,从而确定定位键槽的位置。由于采集到的正面图像中的一个点与背面图像中的相应点关于Y轴对称,故正面视角下定位键槽的位置中心点坐标为(-Xkey_slot,Ykey_slot)。
1.2.3 插孔排序
一旦获得了正面视角下定位键槽的位置,就可以定位键槽作为排序基准,根据得到的定位键槽的位置中心点坐标建立极坐标系,对每个层级按照极角θi的大小对插孔进行升序排序,如图6所示。
图6 极坐标排序
Figure 6 Polar coordinate sorting
极坐标系的建立规则如下:①规定中心插孔圆心指向主键槽的位置中心点的方向为正方向;②对于每一层插孔,以上一层最后一个插孔的圆心为极点,以规定的正方向为极轴,建立极坐标系。
这样表示出同一层内每个插孔的极角,如式(7)所示:
θi=arctan 2(Yi-Ykey_slot,Xi-Xkey_slot)。
(7)
式中:(Xi, Yi)为第i个插孔的圆心坐标;(Xkey_slot,Ykey_slot)为主键槽的位置中心点坐标。
排序过程如下:①第0层,中心插孔圆心为1号孔;②第j层(j > 0),分别求出第j层各插孔圆心对应的极角θi,接第j - 1层最后孔的序号,按照θi从小到大的顺序对第i层孔继续排序;③循环排序,直到所有层排序完成。
1.2.4 漏识别插孔补全
航空电连接器模型插孔分布具有旋转对称性,且第0层插孔的相邻间隔角是旋转角,为了排除插孔漏识别情况,可利用航空电连接器的这一特性。具体步骤如图7所示。
图7 漏识别插孔补全
Figure 7 Missing contact completion
首先,在第0层内计算识别到的插孔的最小相邻间隔角Δθmin：
(8)
式中:θi为第i个插孔的极角,(°)。
与360度的均等分角比较近似得到旋转角α：
(9)
式中:Δθmin为识别到的插孔的最小相邻间隔角,(°)。
得到旋转角后,在每一层内,让其中一个插孔逆时针每转过1个旋转角,得到新的插孔坐标,如式(10)所示:
(X′i,Y′i)=(Xicos α-Yisin α,Xisin α+Yicos α)。
(10)
式中:(Xi, Yi)为第i个原始插孔坐标。
计算新插孔坐标与其余插孔坐标之间的距离D′ij：
(11)
式中:(X′i,Y′i)为第i个插孔旋转后的坐标;(Xj, Yj)为其余插孔坐标。
航空电连接器定位精度以δ作为判断依据,判断是否存在漏识别。若存在一个D′ij<δ,则认为旋转到的位置不存在漏识别,否则认为旋转到的位置存在漏识别,以旋转得到的新的插孔坐标作为此处漏识别插孔坐标。遍历每一层每一个原始插孔即可对完成漏识别插孔的补全,将更新后的插孔坐标再次进行排序可得到最终插孔识别结果。
2 实验
2.1 实验环境搭建
为了验证基于三维模型的航空电连接器插孔视觉识别技术对各种航空电连接器模型的有效性,本文基于Windows系统、Unity 3D 2020开发平台、Visual Studio 2019开发环境、C++和C#开发语言,开发了航空电连接器模型插孔视觉识别系统,具体配置为12代i7-12700处理器、NVIDIA GeForce RTX 3050显卡、32 GB内存、Python3.7、Pytorch1.12、Cuda 11.6。
2.2 验证对象预处理
根据GJB 599B—2012标准[21],选择某电连接器制造商提供的具有代表性的、复杂的、插孔间距小的XC、ZIX、P这3类航空电连接器模型为验证对象,每种类型航空电连接器选用5个孔数不同的三维模型,如图8所示,型号中的字母表示航空电连接器的类型,数字表示航空电连接器上分布的插孔数量。
图8 航空电连接器三维模型
Figure 8 Aviation electrical connector 3D model
为顺利进行实验验证,对验证对象做以下预处理工作:将航空电连接器三维模型格式转换为适用于Unity的FBX格式;对模型设置高对比度的材质,方便在图像处理中进行特征提取。
航空电连接器三维模型导入虚拟环境中,使用虚拟相机采集其正反面图像用于识别。和实际相机不同,实验验证时的虚拟相机没有畸变参数。由于本文插孔识别定位算法仅用于在虚拟空间中提取插孔的位置和排序信息,不用于后续的连接器实物智能插接过程,因此采用无畸变参数的虚拟相机不影响先验信息提取结果。
2.3 实验验证过程及分析
实验验证过程包括对融合深度学习的两步插孔精确定位方法和基于环状分层的插孔排序和补全方法的验证两部分。
首先,为了验证提出的插孔定位方法的有效性,本文选择霍夫圆检测以及SSD[22]、Fast-RCNN[23]和YOLOv7[24]这3种典型的深度学习网络进行消融实验。霍夫圆检测方法作为一种经典的图像处理技术,能够快速定位圆形目标,适用于插孔的初步检测。SSD、Fast-RCNN和YOLOv7是当前流行的深度学习目标检测算法,分别是深度学习单阶段和双阶段的典型代表网络,检测表现均较优[25-26]。通过霍夫圆预识别后,再利用SSD、Fast-RCNN和YOLOv7训练模型进行插孔识别和定位,可以充分利用霍夫圆检测的快速性和深度学习算法的鲁棒性,达到更好的检测效果。此外,将深度学习方法与图像分割技术结合,通过粗定位后的精定位,进一步提高了插孔定位的精度。
本文共对比了7种方法:① 只采用霍夫圆检测插孔;② 霍夫圆预识别后,通过SSD训练,用训练的模型识别插孔;③ 霍夫圆预识别后,通过Fast-RCNN训练,用训练的模型识别插孔;④ 霍夫圆预识别后,通过YOLOv7训练,用训练的模型识别插孔;⑤ 霍夫圆预识别后,通过SSD训练,用训练的模型粗定位插孔,分割粗定位的插孔对其进行精定位;⑥ 霍夫圆预识别后,通过Fast-RCNN训练,用训练的模型粗定位插孔,分割粗定位的插孔对其进行精定位;⑦ 霍夫圆预识别后,通过YOLOv7训练,用训练的模型粗定位插孔,分割粗定位的插孔对其进行精定位。具体来说,选择仅采用霍夫圆检测插孔的方法是为了评估传统视觉算法的效果;由于只使用深度学习缺少自动标注的数据集无法训练,故不对比只使用深度学习的方法;霍夫圆预识别后,分别通过SSD、Fast-RCNN和YOLOv7训练模型识别插孔,是为了比较不同深度学习模型在处理航空电连接器插孔识别任务时的表现;进一步结合粗定位和精定位步骤,分别通过SSD、Fast-RCNN和YOLOv7训练模型进行粗定位,再通过图像分割对粗定位结果进行精定位,是为了验证本文方法在提高识别精度方面的效果。通过全面分析不同算法的表现,验证本文提出方法的有效性。
在模型训练过程中,应预先设置网络的超参数。为比较相同超参数下本文方法融合不同网络的表现,本文在通过SSD、Fast-RCNN和YOLOv7训练模型的过程中,设置相同超参数如下:模型优化器optimizer选用SGD;初始学习率为0.01;最终学习率为0.01;迭代次数为150;训练批次大小为32。
本文采用插孔识别率和插孔定位误差2个指标,插孔识别率表示识别到的插孔数量占插孔总数的比例,插孔定位误差表示航空电连接器模型图像上识别到的插孔圆心位置与插孔实际圆心位置之间的像素误差。表1分别展示了单类型航空电连接器模型和不同类型航空电连接器模型在不同算法下的插孔平均识别率和平均定位误差。
表1 消融实验
Table 1 Ablation experiment
方法 序号 霍夫圆 检测 深度学习 SSD Fast-RCNN YOLOv7 插孔分 割精 定位 不同类型模 型插孔平均 识别率/ % 单类型模型插孔 平均识别率/ % XC ZIX P 不同类型模型 插孔平均定位 误差/ 像素 单类型模型插孔 平均定位误差/ 像素 XC ZIX P ① √ 93. 00 92. 71 92. 82 93. 47 3. 48 3. 45 3. 52 3. 47 ② √ √ 95. 80 94. 48 95. 41 97. 50 4. 04 4. 52 3. 96 3. 64 ③ √ √ 96. 82 95. 69 96. 21 98. 55 3. 50 3. 82 3. 48 3. 21 ④ √ √ 97. 85 96. 69 97. 50 99. 35 3. 26 3. 53 3. 26 2. 98 ⑤ √ √ √ 95. 80 94. 48 95. 41 97. 50 1. 60 1. 94 1. 52 1. 33 ⑥ √ √ √ 96. 82 95. 69 96. 21 98. 55 1. 45 1. 73 1. 38 1. 24 ⑦ √ √ √ 97. 85 96. 69 97. 50 99. 35 1. 32 1. 54 1. 26 1. 15
由表1可知,只使用霍夫圆的插孔识别率较低;在霍夫圆检测的基础上,引入深度学习显著提高插孔的识别率,其中引入YOLOv7相比引入SSD和Fast-RCNN的插孔识别率和定位精度更高,不同类型航空电连接器模型插孔平均识别率达到97.85%,不同类型航空电连接器模型插孔平均定位误差达到3.26 像素,转化为模型上实际距离约为0.062 mm;再引入本文提出的插孔分割精定位方法,相比只引入深度学习的插孔识别率不变,定位精度均有较大的提高,其中方法⑦的插孔识别率和定位误差均为最高,不同类型航空电连接器模型插孔平均识别率达到97.85%,不同类型航空电连接器模型插孔平均定位误差达到1.32 像素,转化为模型上实际距离约为0.025 mm。
实际上,航空电连接器存在不可避免的制造误差。然而,根据GJB 599B—2012《耐环境快速分离高密度小圆形电连接器通用规范》[21],航空电连接器的位置和尺寸公差须小于0.1 mm。另外,目前密度最高的128孔电连接器孔距约为4 mm。而本文平均定位误差为0.025 mm。因此,制造误差不会对本文的识别结果的应用造成实际影响。
为进一步全面评估融合不同网络的插孔定位方法的指标,本文分别测得消融实验中的方法⑤、方法⑥和方法⑦的平均定位时间,即使用深度学习训练模型完成一个航空电连接器模型插孔定位所需要的平均时间。其中,方法⑤平均定位时间为157 ms;方法⑥平均定位时间为93 ms;方法⑦平均定位时间为69 ms。由此可知,方法⑦的平均定位效率最高。
综上,YOLOv7在3种网络中表现最好,融合YOLOv7的两步插孔精确定位方法能够实现插孔定位的自动化、高识别率、高精度和高效率。
接下来,在融合YOLOv7的两步插孔精确定位方法的基础上,本文采用基于环状分层的插孔排序和补全方法进行实验。为了验证本文的漏识别插孔补全和插孔排序方法的有效性,本文采用漏识别补全率和排序正确率2个指标,漏识别补全率表示漏识别补全插孔正确数量占漏识别插孔及补全错误插孔总数的比例,排序正确率表示排序正确的插孔数量占插孔总数的比例。
由实验数据可知,漏识别插孔补全率100%,排序正确率100%,本文提出的基于环状分层的插孔排序和补全方法可在对插孔精识别的基础上进一步补全所有漏识别的插孔,并正确排序所有插孔,满足使用要求。
在每种类型航空电连接器模型中各选用一个典型型号为例,图9展示了整个插孔识别过程。黄色点表示采用融合YOLOv7的两步插孔精确定位得到的插孔位置,红色点表示漏识别补全的插孔位置,数字表示排序得到的插孔对应序号。
图9 插孔识别
Figure 9 Contact recognition
由图9可知,对于较为简单的航空电连接器三维模型,本文的定位算法可以识别到全部插孔;对于较为复杂的航空电连接器三维模型,本文的定位算法无法识别到全部插孔,经过漏识别插孔补全可以识别到全部插孔。
使用本文方法获得的航空电连接器插孔信息可有效应用于智能插接作业的AR注册和引导,应用效果如图10所示。首先,将实际识别到的插孔与该研究中获得的航空电连接器模型的插孔信息对应,获得2D-3D对应点对;其次,通过位姿估计方法实现模型精确注册;最后,进行航空电连接器插接作业的引导,包括基于工艺顺序的接线作业流程引导、基于相邻孔位的接线作业位置引导以及基于虚实融合的接线作业操作引导,最终完成插接。
图10 航空电连接器智能插接作业
Figure 10 Intelligent insertion of aviation electrical connectors
本文方法并未考虑电连接器的制造误差和建模误差。如果电连接器制造误差过大将会影响本文方法的应用效果。如果所用电连接器三维模型在建模时存在误差,那么本文方法并不能识别并规避该误差。因此本文方法不适用于制造误差过大的不合格电连接器或者建模时存在较大误差的不准确电连接器模型等情况。
3 结论
本文针对航空电连接器智能插接技术对先验信息的要求,提出了一种基于三维模型的航空电连接器插孔视觉识别方法,可以为基于增强现实或机械臂航空电连接器智能插接辅助技术提供精准有效的先验信息,具体结论如下。
(1)提出了一种融合深度学习的两步插孔精确定位方法。该方法中的插孔定位方法适用各种深度学习网络,其中融合YOLOv7的效果最佳,平均识别率为97.85%,平均定位误差为0.025 mm,平均定位时间为69 ms,可以精准定位到电连接器三维模型的插孔位置。
(2)提出了一种基于环状分层的插孔排序和补全方法。该方法在融合YOLOv7的插孔定位基础上实现漏识别插孔补全率100%,排序正确率100%,能够智能、高效率、高质量地完成航空电连接器模型插孔识别。
[1] GENG J H, CHEN M B, ZHAO X Y, et al. A markerless AR guidance method for large-scale wire and cable laying of electromechanical products[J]. IEEE Transactions on Industrial Informatics, 2024, 20(3): 4007-4020.
[2] ANGADI S V, JACKSON R L, PUJAR V, et al. A comprehensive review of the finite element modeling of electrical connectors including their contacts[J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2020, 10(5): 836-844.
[3] WEN B H, PAN J, QIAN P, et al. Research on the influence of the closing amount of electrical connector contacts on fretting wear under a vibration environment[J]. Electronics, 2023, 12(11): 2469.
[4] 唐健钧, 叶波, 耿俊浩. 飞机装配作业AR智能引导技术探索与实践[J]. 航空制造技术, 2019, 62(8): 22-27.
TANG J J, YE B, GENG J H. Exploration and practice of aircraft assembly AR intelligent pilot technology[J]. Aeronautical Manufacturing Technology, 2019, 62(8): 22-27.
[5] TIAN W, DING Y F, DU X D, et al. A review of intelligent assembly technology of small electronic equipment[J]. Micromachines, 2023, 14(6): 1126.
[6] GENG J H, ZHAO X Y, GUO Z X, et al. A marker-less monocular vision point positioning method for industrial manual operation environments[J]. The International Journal of Advanced Manufacturing Technology, 2022, 120(9): 6011-6027.
[7] 黄炜, 刘超. 基于视觉技术的连接器孔位识别与定位装配[J]. 组合机床与自动化加工技术, 2020(2): 43-46.
HUANG W, LIU C. Identification and positioning assembly of connector hole-position based on vision technology[J]. Modular Machine Tool &Automatic Manufacturing Technique, 2020(2): 43-46.
[8] 胡广华, 黄俊锋, 王宁, 等. 用于自动插线系统的连接器识别与定位算法[J]. 华南理工大学学报(自然科学版), 2021, 49(3): 17-24, 33.
HU G H, HUANG J F, WANG N, et al. Identification and location algorithm of connectors for automatic wiring system[J]. Journal of South China University of Technology (Natural Science Edition), 2021, 49(3): 17-24, 33.
[9] PAN R Z, LI C, HU B, et al. Research on the examination technology of connector pin skewing according to Blob analysis[J]. Measurement Science and Technology, 2024, 35(3): 035004.
[10] LI S F, ZHENG P, ZHENG L Y. An AR-assisted deep learning-based approach for automatic inspection of aviation connectors[J]. IEEE Transactions on Industrial Informatics, 2021, 17(3): 1721-1731.
[11] 李树飞, 郑联语, 刘新玉, 等. 增强现实眼镜辅助的线缆连接器装配状态智能检错方法[J]. 计算机集成制造系统, 2021, 27(10): 2822-2836.
LI S F, ZHENG L Y, LIU X Y, et al. Smart inspection for assembly states of connectors in wiring harness assisted by AR glasses[J]. Computer Integrated Manufacturing Systems, 2021, 27(10): 2822-2836.
[12] 汪嘉杰, 王磊, 范秀敏, 等. 基于视觉的航天电连接器的智能识别与装配引导[J]. 计算机集成制造系统, 2017, 23(11): 2423-2430.
WANG J J, WANG L, FAN X M, et al. Vision based intelligent recognition and assembly guidance of aerospace electrical connectors[J]. Computer Integrated Manufacturing Systems, 2017, 23(11): 2423-2430.
[13] 汪嘉杰. 面向装配引导的航天电连接器视觉分类识别方法研究[D]. 上海: 上海交通大学, 2018.
WANG J J. Research on visual classification and recognition method of aerospace electrical connectors oriented to assembly guidance[D].Shanghai：Shanghai Jiao Tong University, 2018.
[14] WU W H, LI Q. Machine vision inspection of electrical connectors based on improved YOLOv3[J]. IEEE Access, 2020, 8: 166184-166196.
[15] ZHAO Y L, LI J, ZHANG Q Y, et al. Simultaneous detection of defects in electrical connectors based on improved convolutional neural network[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 3511710.
[16] ZHAO D L, KONG F F, DU F Z. Vision-based adaptive stereo measurement of pins on multi-type electrical connectors[J]. Measurement Science and Technology, 2019, 30(10): 105002.
[17] 周友行, 翟明龙, 杨文佳, 等. 改进GoogLeNet模型在光纤连接器端面缺陷识别中的应用[J]. 湘潭大学学报(自然科学版), 2023, 45(4): 41-49.
ZHOU Y H X, ZHAI M L, YANG W J, et al. Application of improved GoogLeNet model in visual inspection of optical fiber connector end-face defects[J]. Journal of Xiangtan University (Natural Science Edition), 2023, 45(4): 41-49.
[18] ZHAO D L, XUE D, WANG X Y, et al. Adaptive vision inspection for multi-type electronic products based on prior knowledge[J]. Journal of Industrial Information Integration, 2022, 27: 100283.
[19] 洪钢, 朱柯屹, 张宇轩, 等. 基于AR眼镜的航空连接器型号图像匹配方法[J]. 装备制造技术, 2021(7): 57-60, 71.
HONG G, ZHU K Y, ZHANG Y X, et al. A method for EWIS connector image identification in AR-based aircraft assembly process[J]. Equipment Manufacturing Techno-logy, 2021(7): 57-60, 71.
[20] YAP W P, FOK S C. A case-based design system for the conceptual design of electrical connectors[J]. The International Journal of Advanced Manufacturing Technology, 2002, 20(11): 787-798.
[21] 中国人民解放军总装备部. 耐环境快速分离高密度小圆形电连接器通用规范: GJB 599B—2012[S]. 北京:中国人民解放军总装备部, 2012.
General Armaments Department of the People′s Liberation Army. General specification for environment resistant quick disconnect high density miniature circular electrical connectors：GJB 599B—2012[S]. Beijing:General Armaments Department of the People′s Liberation Army,2012.
[22] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[C]∥European Conference on Computer Vision. Cham: Springer, 2016: 21-37.
[23] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[24] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2023: 7464-7475.
[25] 廖晓辉, 谢子晨, 路铭硕. 基于YOLOv5s和Android部署的电气设备识别[J]. 郑州大学学报(工学版), 2024, 45(1): 122-128.
LIAO X H, XIE Z C, LU M S. Electrical equipment identification based on YOLOv5s and Android deployment[J]. Journal of Zhengzhou University (Engineering Science), 2024, 45(1): 122-128.
[26] 廖晓辉, 谢子晨, 辛忠良, 等. 基于轻量化YOLOv5的电气设备外部缺陷检测[J]. 郑州大学学报(工学版), 2024, 45(4): 117-124.
LIAO X H, XIE Z C, XIN Z L, et al. Electrical equipment external defect detection based on lightweight YOLOv5[J]. Journal of Zhengzhou University (Engineering Science), 2024, 45(4): 117-124.