汇总|深度学习工业缺陷检测技术与框架

原创 OpenCV学堂 2024-07-04 09:32

TI MCU方案：能源基础设施实时控制 【应用手册】TI 全新MCU及C29内核的能源设施应用方案

点击上方蓝字关注我们

微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识

深度学习的优势

自动化程度高：

深度学习算法能够自动从大量数据中学习特征，无需人工设计复杂的特征提取规则，从而实现自动化检测。

检测精度高：

通过深度神经网络强大的特征提取和分类能力，深度学习能够准确识别出产品表面的微小缺陷。

适应性强：

深度学习模型可以针对不同的工业场景和缺陷类型进行训练和优化，具有很强的适应性。

实时性强：

基于深度学习的缺陷检测系统可以实现实时检测，满足生产线对检测速度的需求。

应用场景

泛半导体和光伏领域：

深度学习算法被用于检测芯片、太阳能电池板等产品的表面缺陷，如划痕、污渍、裂纹等。

工业视觉检测：

在工业生产线上，深度学习算法被用于检测各种产品的缺陷，包括零件装配完整性、装配尺寸精度、位置/角度测量等。

食品检测：

如食品与包装的缺陷检测，深度学习技术可以有效地在复杂图像中找到缺陷位置，提高食品质量和安全性。

医疗器械：

医疗器械生成过程中的产品缺陷检测、药片形状、包装缺陷检测。

常用模型与框架

Anomalib异常检测框架

Anomalib 是一个功能强大的深度学习库，为工业缺陷检测等场景提供了高效、精确的解决方案。通过利用无监督异常检测算法和先进的深度学习技术，Anomalib 能够帮助企业在提高产品质量、降低生产成本方面取得显著成效。

Anomalib 包含了多种异常检测算法，如 STFPM、PaDiM、PatchCore、EfficientAD 等。这些算法在神经网络结构、特征编码器、自动编码器、多层特征混合计算、损失评估算法等方面各有特点。例如，STFPM 模型采用了一种基于特征比对的方法来检测异常图像，而 PatchCore 模型则通过构建一个包含正常样本特征的内存库来识别异常样本。

Anomalib 在缺陷检测中的应用优势

无需大量标注数据：无监督异常检测在训练阶段完全依赖正常样本，因此不需要大量的标注数据，这在许多实际工业场景中是非常有利的。高效且精确：Anomalib 提供的算法能够高效地检测出图像中的异常区域，并且具有较高的精确度，有助于提升工业生产的质量控制水平。易于部署：Anomalib 支持将模型导出到多种格式，如 OpenVINO™，从而便于在多种硬件平台上进行快速部署和推理。

实例分割网络模型

实例分割在工业缺陷检测中的应用越来越广泛，它结合了目标检测和语义分割的优点，能够精确识别并分割出图像中的缺陷区域。实例分割（Instance Segmentation）是计算机视觉领域的一项技术，它要求在图像中同时识别出不同类别的物体，并对每个物体进行像素级的分割。与语义分割不同，实例分割能够区分同一类别的不同个体。实例分割算法的的优势

缺陷识别与定位：

实例分割能够精确识别出工业产品表面的各种缺陷，如裂纹、划痕、凹坑等。通过像素级的分割，可以准确标出缺陷的位置和形状，为后续的处理和分析提供基础。

提高检测精度：

相比于传统的基于灰度阈值、边缘检测等方法的缺陷检测，实例分割具有更高的精度和鲁棒性。它能够处理复杂背景下的缺陷检测问题，并有效区分缺陷与正常区域。

目前，大多数实例分割技术都是基于深度学习模型实现的，如Mask R-CNN、YOLOv8-seg等。这些模型通过训练大量的缺陷图像数据，能够学习到缺陷的特征表示和分割方法。

Vit网络模型

基于Vision Transformer（ViT）网络的工业缺陷检测是近年来深度学习领域的一个重要应用方向。ViT网络以其独特的自注意力机制，在图像分类、目标检测、语义分割等视觉任务中展现出了强大的性能，为工业缺陷检测提供了新的解决方案。Vit网络实现工业缺陷检测优势

全局信息捕捉能力强：

ViT通过自注意力机制，能够在处理图像时捕捉到全局范围内的信息，这对于识别工业产品表面的微小缺陷尤为重要。相比传统的卷积神经网络（CNN），ViT更擅长于建模图像中的长距离依赖关系。

灵活性高：

ViT网络结构相对灵活，可以根据不同的任务需求进行调整和优化。例如，可以通过改变Transformer的层数、嵌入维度等参数来适应不同的数据集和检测任务.

预训练模型可用：随着ViT在图像分类等任务上的广泛应用，已经有许多预训练的ViT模型可供使用。这些预训练模型包含了丰富的视觉知识，通过微调可以快速地适应到工业缺陷检测任务中。

在PCB（印刷电路板）缺陷检测中，RT-DETR等基于ViT的实时目标检测框架被证明具有较高的精度和速度。

SAM网络模型

目前，关于SAM直接应用于工业缺陷检测的具体案例可能相对较少，但可以参考类似技术在工业领域的应用。例如，一些基于深度学习的图像分割方法已经被成功应用于工业产品表面的缺陷检测中，如裂纹检测、划痕检测等。这些方法通过构建深度学习模型，对工业产品图像进行特征提取和分类，从而实现缺陷的自动识别和分割。

SAM是一种基于Vision Transformer（ViT）的图像分割模型，由Meta AI开发并发布。该模型能够通过交互式点击等操作实现图像物体的分割，并且具有模糊感知能力，能够解决分割过程中产生的歧义问题。SAM在零样本学习表现上成绩优秀，使得其能够应用于多种下游任务中。

SAM在工业缺陷检测中的优势

高效性：SAM模型能够快速对图像中的缺陷进行分割，提高检测效率。

准确性：通过深度学习训练，SAM能够学习到缺陷的特征表示，从而准确识别并分割出缺陷区域。

灵活性：SAM模型可以针对不同的工业场景和缺陷类型进行训练和优化，具有很强的适应性。

SAM在工业缺陷检测中的应用挑战

复杂场景：工业缺陷检测场景通常较为复杂，涉及多种不同类型的缺陷和背景。SAM模型在处理这些复杂场景时可能会遇到一定的困难。

缺陷多样性：工业产品中的缺陷类型多样，包括裂纹、划痕、凹坑等。这些不同类型的缺陷在形态、大小、颜色等方面存在差异，对SAM模型的分割精度提出了更高的要求。

样本不平衡：在实际应用中，正常样本的数量通常远多于缺陷样本。这种样本不平衡问题可能会影响SAM模型的训练效果和分割精度。

未来发展趋势

优化图像采集质量：提高缺陷检测的精度，更加全面、准确地提取特征进行学习以及小尺寸目标的特征提取。减少训练样本需求：使用较少的图片样本训练出表现优异的检测模型。基于DiT模型实现自动缺陷生成。全方位缺陷检测：利用三维建模等技术对物体进行全方位的缺陷检测。模型小型化技术与无监督或者提示学习技术会在缺陷检测领域不断发展。

OpenCV4系统化学习