面包芯语

【光电智造】复杂场景下的复杂缺陷检测方法——深度学习算法综述

今日光电 2024-04-23 18:00
构建AI未来，Arm计算平台无处不在 电子元器件采购与技术方案，工程师专属平台

今日光电

     有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！



----追光逐电 光赢未来----

一、背景知识

随着自动化技术的快速发展，在工业生产中很多需要人工操作的环节逐渐转由机器完成，工业生产自动化也将越来越多的工人们从枯燥乏味的工作中解放出来，让他们去发挥更大的价值。
产品表面缺陷检测是工业生产中的重要环节，是产品质量把控的关键步骤，借助缺陷检测技术可以有效的提高生产质量和效率。但是由于设备及工艺等因素的影响，产品表面的缺陷类型往往五花八门，比如织物生产中方出现的污点、破损，金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷，如下图所示。



单张图片中的缺陷多样且不同缺陷表现形式的也不相同，给缺陷的自动化检测带来了困难。

二、传统算法

传统的表面缺陷检测算法结构通过图像预处理得到便于检测的图像，随后借助统计机器学习方法来提取图像特征，进而实现缺陷检测的目标。
图像预处理通常包括直方图均衡化、滤波去噪、灰度二值化、再次滤波几部分，以得到前后景分离的简单化图像信息；随后利用数学形态学、傅里叶变换、Gabor 变换等算法以及机器学习模型完成缺陷的标记与检测。
上述传统算法在某些特定的应用中已经取得了较好的效果，但仍然存在许多不足。例如：图像预处理步骤繁多且具有强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数，避免了人工设计复杂的算法流程，并且有着极高的鲁棒性和精度。


三、深度学习

目前，基于深度学习的缺陷检测已经应用于金属固件、布匹丝织物、建筑裂纹、钢筋裂纹等多个领域，并取得了不错的成果。下面将结合具体案例介绍其实现方法。

3.1裂纹缺陷检测


建筑材料（如磁瓦等）的外观变化（如裂纹或腐蚀等）与其建筑结构的安全性密不可分，而依靠检察员视觉检查的效果局限性大，相比之下，基于计算机视觉的结构损伤检测更为可靠便捷。
本文使用Faster RCNN实现对图像的准实时处理，其整体架构包括RPN和Fast RCNN两部分，如上图所示，RPN和Fast RCNN使用相同的CNN网络从图像中提取特征，CNN的主要结构如下表所示。




RPN的作用为提出候选目标，结构示意如图所示，其实现流程包括：

  • 输入图像后，利用CNN网络得到特征图；

  • 将特征图上每一个CONV滑动窗的特征映射为向量并输入Softmax和Regressor层中；

  • 预测缺陷边界框的坐标。



Fast RCNN的作用为对图像中的缺陷位置进行定位和分类，其结构流程如上图所示。

  • 从输入图像中提取特征图并获得感兴趣区域（ROI）；

  • 在ROI池中，预先计算的兴趣区域覆盖在特征图上，提取固定大小的特征向量；

  • 将所得向量输入全连接层，计算边界框的位置并对框内对象进行分类。


3.2破损缺陷检测

在电气化铁路等工业中，有许多关系着安全的重要固件，这些固件的缺陷检测十分重要。
本文作者利用深度卷积神经网络（DCNNs）结合SSD，Yolo等网络方法构建了一个从粗到细的级联检测网络，包括固件的定位、缺陷检测与分类，其实现流程如下图所示。


紧固件提取

  • 借助在速度和精度方面都表现良好的SSD框架，对图像中的悬臂节点进行定位；

  • 基于Yolo框架的快速本地化架构，对紧固件进行定位。


固件缺陷检测与分类

  • 根据第二阶段对紧固件的检测来判断缺陷；

  • 再次借助DCNN，通过4个卷积层对缺陷进行分类（分类网络结构如下图）。



DCNNs具有良好的鲁棒性和自适应性，有利于检测的快速进行，因此本方法在紧固件的缺陷检测和分类中具有良好的应用前景。

3.3斑点缺陷检测

斑点缺陷检测在纺织、木材、瓷砖等许多行业中都很常见，通常利用其纹理的一致性实现检测的目的。近年来，利用深度学习视觉检测技术对相关产业的表面缺陷检测引起了广泛关注。
作者采用结合图像金字塔层次结构思想和卷积去噪自编码器网络
（CDAE）实现对布匹纹理图像的缺陷检测，其总体结构如下图所示。



训练阶段

  • 图像预处理：光照归一化、高斯金字塔下采样和噪声降噪等操作，避免光照等因素的影响；

  • Patch提取：提取Patch对每个金字塔层的CDAE网络进行训练；

  • 模型训练：利用训练Patch的重构残差作为像素级缺陷预测的指标；

  • 阈值确定：区分缺陷点与无缺陷点的重要参数。


模型测试阶段：

  • 图像预处理：只需进行光照归一化和高斯金字塔下采样操作即可；

  • Patch提取：提取Patch用于纹理检测；

  • 残差贴图构造：提取局部接受域在训练后的模型中滑动，以对每一个像素进行预测；

  • 缺陷分割：对每个金字塔层的残差图进行分割；

  • 合成：将多个金字塔级别的信息合成，以提高缺陷检测的鲁棒性和准确性。


文章通过分析和实验已经证明，充分利用无监督学习和多模态结果融合策略，可以提高缺陷检测的鲁棒性和准确性。

3.4划痕缺陷检测

划痕缺陷检测通常用于金属类产品的表面缺陷检测中，随着生活质量的提高，人们对产品的外观完整性与美观程度的要求也越来越高，因此精准地检测到产品外观的划痕等缺陷在生产环节十分重要。



使用上图所示的缺陷检测体系结构，下面将针对检测模块展开介绍。

CASAE架构

将两个自动编码器（AE）级联在一起，这里的AE结构是FCN框架的迁移使用，有一层层的卷积、反卷积和跳跃链接组成，其结构如下图所示。



阈值模块

连接到CASAE网络末端的独立模块，用于进一步细化预测掩码的结果。

缺陷区域检测

通过语义分割获得所有可能缺陷的区域，进一步使用blob分析以寻找准确的缺陷轮廓，最终从图像中提取最小的外接矩形区域。


四、总结

本文参考前沿文献，总结了部分当前主流的缺陷检测实现思路。总的来说，使用基于深度学习的算法可快速准确地实现的缺陷检测，且适用范围广能够灵活地应用于建筑、金属固件以及布匹丝织物等众多行业的生产过程中。
来源：新机器视觉



申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作，投稿发文。欢迎联系我们
诚招运营合伙人 ，对新媒体感兴趣，对光电产业和行业感兴趣。非常有意者通过以下方式联我们！条件待遇面谈
投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566



登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
今日光电
评论
  • RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！
    RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！随着科技的进步和消费者需求变化，电脑接口设备单一功能性已无法满足市场需求，因此在产品上增加「动态光效」的形式便应运而生，藉此吸引消费者目光。这种RGB灯光效果，不仅能增强电脑周边产品的视觉吸引力，还能为用户提供个性化的体验，展现独特自我风格。如今，笔记本电脑、键盘、鼠标、鼠标垫、耳机、显示器等多种电脑接口设备多数已配备动态光效。这些设备的灯光效果会随着音乐节奏、游戏情节或使用者的设置而变化。想象一个画面，当一名游戏玩家，按下电源开关，整
    百佳泰测试实验室 2025-02-27 14:15 140浏览
  • 美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?
    美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?‌美国加州CEC能效认证与美国DOE能效认证在多个方面存在显著差异‌。认证范围和适用地区‌CEC能效认证‌：仅适用于在加利福尼亚州销售的电器产品。CEC认证的范围包括制冷设备、房间空调、中央空调、便携式空调、加热器、热水器、游泳池加热器、卫浴配件、光源、应急灯具、交通信号模块、灯具、洗碗机、洗衣机、干衣机、烹饪器具、电机和压缩机、变压器、外置电源、消费类电子设备
    张工nx808593 2025-02-27 18:04 120浏览
  • Vscode C语言编程环境配置
    1,微软下载免费Visual Studio Code2,安装C/C++插件,如果无法直接点击下载, 可以选择手动install from VSIX:ms-vscode.cpptools-1.23.6@win32-x64.vsix3,安装C/C++编译器MniGW (MinGW在 Windows 环境下提供类似于 Unix/Linux 环境下的开发工具，使开发者能够轻松地在 Windows 上编写和编译 C、C++ 等程序.)4,C/C++插件扩展设置中添加Include Path 5,
    黎查 2025-02-28 14:39 145浏览
  • 广电计量出版FIB领域专著，赋能半导体质量精准提升
            近日，广电计量在聚焦离子束（FIB）领域编写的专业著作《聚焦离子束：失效分析》正式出版，填补了国内聚焦离子束领域实践性专业书籍的空白，为该领域的技术发展与知识传播提供了重要助力。         随着芯片技术不断发展，芯片的集成度越来越高，结构也日益复杂。这使得传统的失效分析方法面临巨大挑战。FIB技术的出现，为芯片失效分析带来了新的解决方案。它能够在纳米尺度上对芯片进行精确加工和分析。当芯
    广电计量 2025-02-28 09:15 132浏览
  • AI PC潜力无限却挑战重重，测试验证如何破局？
    应用趋势与客户需求，AI PC的未来展望随着人工智能(AI)技术的日益成熟，AI PC(人工智能个人电脑)逐渐成为消费者和企业工作中的重要工具。这类产品集成了最新的AI处理器，如NPU、CPU和GPU，并具备许多智能化功能，为用户带来更高效且直观的操作体验。AI PC的目标是提升工作和日常生活的效率，通过深度学习与自然语言处理等技术，实现更流畅的多任务处理、实时翻译、语音助手、图像生成等功能，满足现代用户对生产力和娱乐的双重需求。随着各行各业对数字转型需求的增长，AI PC也开始在各个领域中显示
    百佳泰测试实验室 2025-02-27 14:08 261浏览
  • 参加《广东省科技创新条例》宣讲会
              近日受某专业机构邀请，参加了官方举办的《广东省科技创新条例》宣讲会。在与会之前，作为一名技术工作者一直认为技术的法例都是保密和侵权方面的，而潜意识中感觉法律有束缚创新工作的进行可能。通过一个上午学习新法，对广东省的科技创新有了新的认识。广东是改革的前沿阵地，是科技创新的沃土，企业是创新的主要个体。《广东省科技创新条例》是广东省为促进科技创新、推动高质量发展而制定的地方性法规，主要内容包括： 总则：明确立法目
    广州铁金刚 2025-02-28 10:14 107浏览
  • 高性能、远距离SoC无线收发模块RFM25A12
    在物联网领域中，无线射频技术作为设备间通信的核心手段，已深度渗透工业自动化、智慧城市及智能家居等多元场景。然而，随着物联网设备接入规模的不断扩大，如何降低运维成本，提升通信数据的传输速度和响应时间，实现更广泛、更稳定的覆盖已成为当前亟待解决的系统性难题。SoC无线收发模块-RFM25A12在此背景下，华普微创新推出了一款高性能、远距离与高性价比的Sub-GHz无线SoC收发模块RFM25A12，旨在提升射频性能以满足行业中日益增长与复杂的设备互联需求。值得一提的是，RFM25A12还支持Wi-S
    华普微HOPERF 2025-02-28 09:06 156浏览
  • 天下共赴具身智能，车企纷纷入局，未来已来？
    在2024年的科技征程中，具身智能的发展已成为全球关注的焦点。从实验室到现实应用，这一领域正以前所未有的速度推进，改写着人类与机器的互动边界。这一年，我们见证了具身智能技术的突破与变革，它不仅落地各行各业，带来新的机遇，更在深刻影响着我们的生活方式和思维方式。随着相关技术的飞速发展，具身智能不再仅仅是一个技术概念，更像是一把神奇的钥匙。身后的众多行业，无论愿意与否，都像是被卷入一场伟大变革浪潮中的船只，注定要被这股汹涌的力量重塑航向。01为什么是具身智能？为什么在中国？最近，中国具身智能行业的进
    艾迈斯欧司朗 2025-02-28 15:45 226浏览
  • 振动样品磁强计测量准确度的影响因素
    振动样品磁强计是一种用于测量材料磁性的精密仪器，广泛应用于科研、工业检测等领域。然而，其测量准确度会受到多种因素的影响，下面我们将逐一分析这些因素。一、温度因素温度是影响振动样品磁强计测量准确度的重要因素之一。随着温度的变化，材料的磁性也会发生变化，从而影响测量结果的准确性。因此，在进行磁性测量时，应确保恒温环境，以减少温度波动对测量结果的影响。二、样品制备样品的制备过程同样会影响振动样品磁强计的测量准确度。样品的形状、尺寸和表面处理等因素都会对测量结果产生影响。为了确保测量准确度，应严格按照规
    锦正茂科技 2025-02-28 14:05 148浏览
  • 可穿戴健康监测新趋势，艾迈斯欧司朗的创新 “智” 造
    更多生命体征指标风靡的背后都只有一个原因：更多人将健康排在人生第一顺位！“AGEs，也就是晚期糖基化终末产物，英文名Advanced Glycation End-products，是存在于我们体内的一种代谢产物” 艾迈斯欧司朗亚太区健康监测高级市场经理王亚琴说道，“相信业内的朋友都会有关注，最近该指标的热度很高，它可以用来评估人的生活方式是否健康。”据悉，AGEs是可穿戴健康监测领域的一个“萌新”指标，近来备受关注。如果站在学术角度来理解它，那么AGEs是在非酶促条件下，蛋白质、氨基酸
    艾迈斯欧司朗 2025-02-27 14:50 415浏览
  • 为什么说Matter是智能家居厂商的“通关密码”？
    Matter 协议，原名 CHIP（Connected Home over IP），是由苹果、谷歌、亚马逊和三星等科技巨头联合ZigBee联盟（现连接标准联盟CSA）共同推出的一套基于IP协议的智能家居连接标准，旨在打破智能家居设备之间的 “语言障碍”，实现真正的互联互通。然而，目标与现实之间总有落差，前期阶段的Matter 协议由于设备支持类型有限、设备生态协同滞后以及设备通信协议割裂等原因，并未能彻底消除智能家居中的“设备孤岛”现象，但随着2025年的到来，这些现象都将得到完美的解决。近期，
    华普微HOPERF 2025-02-27 10:32 227浏览
  • 震动样品磁强计VSM测量什么
    一、VSM的基本原理震动样品磁强计（Vibrating Sample Magnetometer，简称VSM）是一种灵敏且高效的磁性测量仪器。其基本工作原理是利用震动样品在探测线圈中引起的变化磁场来产生感应电压，这个感应电压与样品的磁矩成正比。因此，通过测量这个感应电压，我们就能够精确地确定样品的磁矩。在VSM中，被测量的样品通常被固定在一个震动头上，并以一定的频率和振幅震动。这种震动在探测线圈中引起了变化的磁通量，从而产生了一个交流电信号。这个信号的幅度和样品的磁矩有着直接的关系。因此，通过仔细
    锦正茂科技 2025-02-28 13:30 104浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦