【光电智造】基于改进YOLOv5的船体焊缝缺陷自动检测方法

0 引言

目前中大型船舶的主要建造形式是将船舶各部分通过焊接的方法进行组合。建造一艘船舶至少 25%~40%的时间消耗在船舶焊接中。船舶的焊接性能是船舶密闭性的保证，因此对船舶焊接处的检测至关重要。

张人杰等利用M-SMOTE 算法对焊缝样本进行精细化处理，提取焊缝的不同特征，经 AP 聚类后输入神经网络完成对船体焊缝的缺陷检测。高翌飞等分析 FPSO 弯管特点，结合相控阵超声，制作出相控阵扫描器，能够契合 FPSO 弯管，实现对 FPSO 弯管在狭小空间的焊缝检测。上述方法虽然能够完成对船体焊缝缺陷的检测，但也存在着一定的缺点。如对于船体焊缝图像的采集要求严格、检测时间长，对于一些微小的缺陷存在检测准确率过低甚至无法检测的问题对于正常的焊缝缺陷存在检测准确率不高的问题等。

改进的 YOLOv5 具有轻量化、易部署、速度快准确度高等优点，因此研究基于改进 YOLOv5 的船体焊缝缺陷自动检测，可更加准确且快速完成船体焊缝检测。

1 船体焊缝缺陷自动检测

1.1 船体焊缝图像采集及处理

在多种光照条件下，对不同产品焊接处进行图像采集形成数据集。由于船体焊缝图像的质量会直接影响到船体焊缝检测的结果，因此需要对船体焊缝图像进行处理。本文利用灰度变化方法对采集到的船体焊接图像进行处理，即可以避免图像中的特征消失，也可以提高正常焊缝与存在缺陷的焊缝间的对比度使船体焊缝缺陷检测更加容易。

对船体焊缝图像进行正弦灰度计算完成图像的处理，正弦灰度计算公式如下:

式中: g（x,y)为输出像素灰度值;f(x,y) 为输入像素灰度值; min(f)、max(f) 分别为输入像素灰度值的最小值、最大值;r为输入相对强度;(x,y) 为图像像素的坐标点。

1.2  基于 YOLOv5 网络的船体焊缝检测

在YOLOv5 网络中，主要组成部分为 Input、Back-bone、Neck 以及 Head。将灰度变换后的焊缝图像通过Input 输人到 YOLOv5 网络中，Backbone 的作用为提取焊缝图像特征，包含 Focus、SPP 以及 CSP。Focus 主要完成焊缝图像的压缩，使焊缝特征的提取速度加快;SPP 通过池化功能增加网络感受野，使网络可以处理多尺度问题;CSP 用于提取焊缝图像特征，其中包含基本卷积 CBS 模块。Neck 的主要作用是将 Backbone中提取的焊缝特征进行融合。Head 是检测网络也作为YOLOv5 网络的输出层，通过损失函数去除多余目标框根据图形特征进行检测得到最佳船体焊缝缺陷检测结果。YOLOv5 网络的船体焊缝检测结构如图 1所示。

1.3 YOLOv5 的主干网络改进

通过图1可知，用于船体焊缝检测的 YOLOv5 结构中存在诸多 CBS 模块，由于在 CBS 模块中存在卷积层，且大量的卷积层会增加网络的负载，给计算带来压力。因此，对YOLOv5 网络中 Backbone 部分的 CSP1残差模块进行改进，使用 GhostNet 进行替换，改进后的 CSP1 如图 2 所示。

采用 GhostNet 替换卷积层，GhostNet 内部采用元余特征生成器与卷积层相结合，此种组合方式可 以有效降低网络资源使用和计算时间。与一般卷积层相比，GhostNet 卷积层需要两步完成卷积，一般卷积公式为:

其计算量为:

GhostNet 卷积公式为:

GhostNet 卷积计算量为 :

式中: b为偏置;Y为卷积输出的焊缝特征图，该焊缝特征图高为H'，宽为w'，且Y∈R^H'xw'xN;X为卷积输入的焊缝图像，该焊缝图像高为h，通道数为c，宽为w，且X∈ R^hxwxc;Y'为 Gost 经过一般卷积后输出的焊缝特征图，该焊缝特征图大小为 H'xW'，数量为n个; kxk表示卷积核大小;f∈R^cxNxkxk为存在 N个卷积核; Y'_i为第i个在Y'中的焊缝特征图，Y_ij为Y'被卷积核变换函数φ_ij;转换后生成的第j个 Ghost焊缝特征图像，s为 Ghost焊缝特征图像总数。

GhostNet 卷积如图 3 所示。

1.4 损失函数

应用改进 YOLOv5 网络的损失函数采用的是CIoU，基于 DIOU 损失函数，并考虑了两框的长宽比后形成的。其中 DIOU 损失函数的计算公式为:

式中: b^gt为目标框; b'为预测框; o为两框的最小外接矩形对角线长度; IoU为交并比;p²(b',b^gt)为两框中心点欧氏距离。

CIOU 的计算公式为:

其中：

式中: a为权衡参数;v为衡量长宽比一致参数; w^gt为目标框宽度; h^gt为目标框高度; w'为预测框宽度 :h' 为预测框高度。

2 仿真实验

2.1 实验对象

选择某货轮进行船体焊缝缺陷检测，其参数如表 1 所示。

2.2  结果与分析

为验证本文正弦灰度的计算效果，选择船中某处具有缺陷的焊缝采集图像并利用正弦灰度变换和伽马灰度变换 2 种方式对图像进行处理，并对比二者的焊缝缺陷检测结果，如图 4 所示。可知，当采用伽马灰度变换时图像较为模糊，基本无法有效突出焊缝缺陷特征点，导致焊缝缺陷检测结果不精确，预测框较大;而采用正弦灰度变换则能够准确地突出缺陷所在位置的特征点，获取精准的焊缝缺陷检测结果。

为保证网络的检测准确性，需要对 YOLOv5 网络进行足够的训练。准备各种焊缝缺陷图像各 500 幅进行训练，训练结果如图 5 所示。可知，网络的损失值随着训练次数的增加逐渐减小，损失函数在前 100 次的训练中收敛速度极快，并在 200 次训练后损失逐渐达到平稳状态，经过 500 次训练后平均准确度达到98%，损失函数为 0.15。

为证明本文方法的实际应用效果，随机采集船舶5 处焊缝进行缺陷检测，检测结果如表 2 所示。可知，仅在船长室中的焊缝处发现缺陷，关键的货舱和轮机室未发现焊缝缺陷，说明该船舶的焊接大部分处于合格状态，也证明了本文方法能够准确检测出不易发现的焊缝缺陷。

3 结语

本文方法对焊缝图像进行的灰度变换，可使图像更加清晰，训练的网络准确率高损失值低，并且能够快速准确发现船舶中的隐藏焊缝缺陷。

文章来源：新机器视觉

申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。