【光电智造】机器视觉-深度学习在工业缺陷检测中的应用：从数据到部署实战

今日光电 2023-10-23 19:20

【有奖直播】深入学习Microchip时钟和全新单片机方案 【有奖直播】提升毫米波信号测试精度

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

----与智者为伍为创新赋能----

基于深度学习的工业缺陷检测技术

工业制造领域中，产品质量的保证是至关重要的任务之一。然而，人工的检测方法不仅费时费力，而且容易受到主观因素的影响，从而降低了检测的准确性和一致性。近年来，基于深度学习的技术在工业缺陷检测领域取得了显著的突破，其凭借其出色的特征学习和自动化能力，逐渐成为工业缺陷检测的热门方向。

深度学习在工业缺陷检测中的应用

深度学习是一种模仿人脑神经网络结构和工作方式的机器学习方法。在工业缺陷检测中，深度学习技术可以通过训练模型从图像、视频或传感器数据中自动学习特征，并进行高效的缺陷检测。

卷积神经网络（CNN）

卷积神经网络是深度学习中应用广泛的一种网络结构，特别适合处理图像数据。在工业缺陷检测中，可以使用卷积神经网络来识别产品表面的缺陷，例如裂纹、瑕疵等。
基于TensorFlow和Keras的卷积神经网络：

import tensorflow as tf
from tensorflow.keras import layers, models

# 构建卷积神经网络模型
def build_cnn_model(input_shape, num_classes):
    model = models.Sequential()
    model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=input_shape))
    model.add(layers.MaxPooling2D((2, 2)))
    model.add(layers.Conv2D(64, (3, 3), activation='relu'))
    model.add(layers.MaxPooling2D((2, 2)))
    model.add(layers.Conv2D(128, (3, 3), activation='relu'))
    model.add(layers.Flatten())
    model.add(layers.Dense(128, activation='relu'))
    model.add(layers.Dense(num_classes, activation='softmax'))
    return model

# 定义输入数据形状和类别数量
input_shape = (224, 224, 3)  # 假设图像大小为224x224，3个颜色通道
num_classes = 2  # 两类：正常和缺陷

# 构建模型
model = build_cnn_model(input_shape, num_classes)

# 编译模型
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 打印模型摘要
model.summary()

物体检测与分割

在工业场景中，不仅需要检测缺陷的存在，还需要确定缺陷的位置和范围。物体检测和分割技术可以帮助实现这一目标。常用的方法包括基于区域的CNN（R-CNN）、快速R-CNN、更快的R-CNN（Faster R-CNN）以及Mask R-CNN等。

生成对抗网络（GAN）

生成对抗网络是一种由生成器和判别器组成的结构，可以用于合成逼真的图像。在工业缺陷检测中，可以使用生成对抗网络生成大量包含缺陷的合成图像，从而提升模型的鲁棒性和泛化能力。

数据增强与迁移学习

由于工业缺陷图像数量有限，数据增强和迁移学习成为提升模型性能的重要手段。数据增强可以通过对图像进行随机旋转、翻转、缩放等操作来扩充数据集。迁移学习则可以将在大规模数据集上预训练的模型应用于工业缺陷检测任务中，从而加速模型的训练和提升性能。

使用预训练的VGG16模型来进行图像分类

import tensorflow as tf
from tensorflow.keras.applications import VGG16
from tensorflow.keras.applications.vgg16 import preprocess_input, decode_predictions
from tensorflow.keras.preprocessing import image
import numpy as np

# 加载预训练的VGG16模型，去掉顶部的全连接层
base_model = VGG16(weights='imagenet', include_top=False)

# 加载一张待分类的图像
img_path = 'path_to_your_image.jpg'
img = image.load_img(img_path, target_size=(224, 224))
img_array = image.img_to_array(img)
img_array = np.expand_dims(img_array, axis=0)
img_array = preprocess_input(img_array)

# 使用预训练模型进行预测
features = base_model.predict(img_array)

# 进行预测结果解码
decoded_predictions = decode_predictions(features)

# 打印预测结果
for i, (imagenet_id, label, score) in enumerate(decoded_predictions[0]):
    print(f"{i + 1}: {label} ({score:.2f})")

基于TensorFlow和Keras:

import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import VGG16
from tensorflow.keras.layers import Dense, GlobalAveragePooling2D
from tensorflow.keras.models import Model

# 数据准备
train_data_dir = 'path_to_train_data'
validation_data_dir = 'path_to_validation_data'
img_height, img_width = 224, 224
batch_size = 32

train_datagen = ImageDataGenerator(
    rescale=1.0/255,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True,
    fill_mode='nearest')

validation_datagen = ImageDataGenerator(rescale=1.0/255)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(img_height, img_width),
    batch_size=batch_size,
    class_mode='binary')

validation_generator = validation_datagen.flow_from_directory(
    validation_data_dir,
    target_size=(img_height, img_width),
    batch_size=batch_size,
    class_mode='binary')

# 构建模型
base_model = VGG16(weights='imagenet', include_top=False, input_shape=(img_height, img_width, 3))

x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(128, activation='relu')(x)
predictions = Dense(1, activation='sigmoid')(x)

model = Model(inputs=base_model.input, outputs=predictions)

# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 训练模型
epochs = 10
steps_per_epoch = train_generator.n // train_generator.batch_size
validation_steps = validation_generator.n // validation_generator.batch_size

model.fit(train_generator,
          epochs=epochs,
          steps_per_epoch=steps_per_epoch,
          validation_data=validation_generator,
          validation_steps=validation_steps)

# 评估模型
test_loss, test_acc = model.evaluate(validation_generator, steps=validation_steps)
print(f"Test accuracy: {test_acc}")