深度学习已经彻底改变了制造业的质量控制，但还不够深入

Photo-illustration: Neurala

来源：IEEE电气电子工程师

这是一篇客座文章。这里所表达的观点只是作者的观点，并不代表IEEE Spectrum或IEEE的立场。

在2020年，我们看到了深度学习的加速利用，这是所谓的工业4.0革命的一部分，数字化正在重塑制造业。这一波最新举措的特点是引入了智能和自主系统，以数据和深度学习为动力，这是一种强大的人工智能（AI），可以改善工厂的质量检查。

那么好处是什么呢？通过在生产线上的软件中添加智能摄像头，制造商们看到了在高速和低成本下质量检测的改进，而这是人类检查员无法比拟的。考虑到COVID-19对人力劳动的强制性限制，比如工厂车间的社交距离问题，这些好处对于保持生产线的运转更为关键。

虽然制造商使用机器视觉已经有几十年了，但是深度学习的质量控制软件代表了一个新的前沿发展方向。那么，这些方法与传统的机器视觉系统有何不同呢？当你按下这些人工智能质量控制系统的“运行”按钮时会发生什么？

为了理解在运行质量控制的深度学习软件包中会发生什么，让我们看看前面的标准。传统的机器视觉质量控制方法依赖于一个简单但功能强大的两步过程：

第一步：专家决定每台摄像机采集的图像中的哪些特征（如边、曲线、角点、色块等）对于给定的问题是重要的。

第二步：专家创建一个手动调整的基于规则的系统，有几个分支点，例如，在包装线上，通过多少“黄色（yellow）”和“曲率（curvature）”，能够将一个对象归类为“成熟的香蕉（ripe banana）”。然后这个系统会自动决定产品是否是它应该的样子。

该方法简单有效。但多年来，制造商对质量控制的需求迅速发展，将需求推到了下一个层次。但是，没有足够的人类专家来支持制造商对自动化日益增长的需求。虽然传统的机器视觉在某些情况下工作得很好，但在很难检测出好坏产品之间的差异的情况下，它往往是无效的。以瓶盖为例，根据饮料的不同，瓶盖有很多变化，如果一个瓶盖有一点点缺陷，你就有可能在生产过程中使整个饮料溢出。

用于质量检查的新型深度学习驱动软件基于一个关键特性：从数据中学习。与他们的旧机器视觉版本不同，这些模型自己学习哪些功能是重要的，而不是依赖专家的规则。在学习的过程中，他们创建了自己的隐式规则，这些规则决定了定义高质量产品的特性组合。不需要人类专家，而负担就转移到机器本身了！用户只需收集数据并使用它来训练深度学习模型即可，而无需为每个生产场景手动配置机器视觉模型。

数据是深度学习有效性的关键。像深度神经网络（deep neural networks，DNNs）这样的系统是以有监督的方式训练来识别特定类别的事物。在一个典型的检查任务中，DNN可能会被训练成视觉上识别一定数量的类别，比如通风阀的好坏图片。假设它得到了大量高质量的数据，DNN将得出精确、低误差、有信心的分类。

让我们看一个识别好的和坏的通风阀的例子。只要阀门保持不变，所有制造商所要做的就是点击“运行”按钮，生产线的检查就可以开始了。但是，如果生产线切换到一种新型阀门，则必须重新进行数据收集、培训和部署。

为了使传统的深度学习成功，用于训练的数据必须是“平衡的”。一个平衡的数据集包含有缺陷阀门的图像和包含各种可能的缺陷类型的图像一样多。收集良好阀门的图像很容易，但现代制造业的缺陷率非常低。这种情况使得收集有缺陷的图像非常耗时，特别是当您需要收集每种类型缺陷的数百个图像时。某些时候，事情会变得更加复杂 -- 在系统被训练和部署之后，一种新的缺陷完全有可能再出现，这将要求系统被关闭、重新培训和重新部署。由于大流行病带来的消费者对产品的需求急剧波动，制造商有可能因停产而受损。

对于我们前面描述的质量控制的传统机器视觉过程，可能还有一个教训可以借鉴。它的两步过程有一个优势：产品特性的变化比规则慢得多。由于通风阀的特性在不同的生产类型中持续存在，这种设置很好地符合制造的实际情况，但是必须随着每一个新缺陷的产生而重新引入新的规则。

传统上，每次必须包含新规则时，都必须重新训练深度学习模型。为了进行再训练，新的缺陷必须用与之前所有缺陷相同数量的图像来表示。所有的图像必须放在一个数据库中重新训练系统，这样它就可以学习所有旧规则和新规则。

为了解决这一难题，另一类DNNs引起了研究人员的关注。这些新的DNNs以一种更加灵活的方式学习规则，以至于可以在不停止操作系统并将其从地板上取下的情况下学习新规则。

这些所谓的持续或终身学习系统，特别是终身深层神经网络（lifelong deep neural networks，L-DNN）的灵感来自大脑神经生理学。这些深度学习算法将特征训练和规则训练分开，能够动态地添加新的规则信息。

虽然L-DDN仍在使用大量且平衡的数据集缓慢地学习特性，但L-DDN在这一阶段并没有学习规则。而且他们不需要所有已知阀门缺陷的图像，只要对象具有相似的特征（如曲线、边、表面特性），数据集就可以相对通用。使用L-DNNs，这部分模型创建可以一次性完成，而无需制造商的帮助。

我们假设的阀门制造商需要知道的是：在特征学习的第一步完成后，他们只需要提供一小组良好阀门的图像，系统就可以学习一组定义好阀门的规则。没有必要再提供任何缺陷阀门的图像了。L-DNNs将学习仅使用“良好”数据（换句话说，关于良好通风阀的数据）的小型数据集的单一呈现，然后在遇到非典型产品时通知用户。这种方法类似于人类用来发现他们每天遇到的对象差异的过程，这对我们来说是一项不费吹灰之力的任务，但在L-DNN系统出现之前，对于深度学习模型来说，这是一项非常困难的任务。

L-DNNs不需要数千种不同的图像，而只需要少数图像来训练和建立对对象的原型理解。该系统可以在几秒钟内部署，并且在部署了L-DNN并按下了“运行”按钮后，还可以收集到少数图像，只要操作员确保这些图像中没有一个实际显示有缺陷的产品。还可以实时更改定义原型对象的规则，以跟上生产线中的任何更改。

在当今的制造环境中，机器能够以每分钟超过60件产品的速度生产极为多变的产品。新产品不断推出，以前看不见的缺陷也会出现在生产线上。传统的机器视觉无法解决这一问题 -- 每种产品都有太多的特殊特征和阈值。

当按下由L-DNN系统驱动的质量控制软件上的“运行”按钮时，机器操作员可以降低优化质量检验的成本和时间，给制造业一个跟上创新步伐的战斗机会。今天，像IMA集团和Antares Vision这样的全球制造商已经开始实施这样的技术来帮助质量控制，我预计我们将看到许多其他制造商会开始效仿，以便在全球舞台上保持竞争力。

作者简介：Anatoli Gorchet是视觉人工智能公司Neurala的首席技术官和联合创始人。他拥有20多年开发大规模并行神经计算软件的经验，是将图形处理单元上的通用计算应用于神经建模的先驱。Anatoli拥有多项专利，撰写了30多篇关于神经网络的出版物，并就如何使用人工智能提高运营效率向《财富》500强企业提供建议。