在芯片制造行业提起图像识别时,第一反应就是难度很高,尤其是工厂在进行自动化部署时,有关于芯片缺陷检测的部分更是难上加难。而现在已经有厂商推出在“边缘”处理图像的新技术,使得深度学习技术变得更加易用。
什么是"边缘检测"
制造业的边缘检测本身是一种应用场景,通过图像边缘部分来检测某些需要识别的特征,其背后所涉及到的技术通俗说法是"边缘学习",是深度学习的一个子集。一般是使用一套预先训练好的算法在设备上直接部署,通过设备内置的CPU和GPU进行计算图像,来达到检测的目的。
针对于芯片制造工厂而言,最需要的一套简单的设备外加训练好的模型,直接部署就可以使用,所以打包售卖训练好的模型已经成为一个行业趋势。提到算法也给大家介绍下,边缘检测在图像处理和计算机视觉上的概念:边缘检测本质上是一种图像滤波器,用来检测和标识出图像中亮度、色彩变换明显的点,因为在一张图像中,这种显著的变化往往反应出了图片所蕴含的重要"信息":(i)深度上的不连续、(ii)表面方向不连续、(iii)物质属性变化和(iv)场景照明变化。
边缘检测可以大幅度减少数据量,并且剔除了很多不相关的信息,只保留图像中认为最重要的结构。对于芯片制造行业,边缘检测就比传统的图像识别来的更加轻巧和方便。
Cognex Deep Learning 实例图像(图源:网络)
从图像识别角度看,边缘检测可以为流水线作业提供更大的数据吞吐量和更高效的识别,所以已经有越来越多的厂商加入边缘检测的大军。
制造产线应用场景
制造业流水线是十分讲求良率和效率的地方,在很多时候芯片制造的中间环节都需要各种各样的检测,才能保证最终的良率和产能。前前后后上百道工序,每道工序都有自己的良率,我们来简单计算一下:
1.笔者从事的某种芯片制造有近150道工序抛去检查和清洗等,造成芯片不可逆损伤的工序大概有90道。
2.假设每道工序的良率都是99.9%,那么最终产品的良率是0.999的90次方,最终是91.4%,而如果要是良率下降到99.0%时,最终产品的良率达到了可怕的40.5%也就是说客户需要一百万颗料,我们至少要做250万颗才能保证最后的订单量。当然在某些器件例如NAND动辄都是64层96层其一片12寸的晶圆更是在产线要走两个月的时间,经过工序已达到上千道。
所以在流水线生产环境中,高效好用的自动化图像识别系统能对于及时发现和提升效率有着不可估量的优势。例如,在某些芯片内部需要做出一些电路图形,高清显微相机可以捕捉到微小的图像,而这样类似的微小图案可能在电路中有百万个,在短时间内处理上百万个图像就需要很大计算量,然而这只是整个芯片制程中很小的一个环节,所以能够缩小数据量的方法的需求变得越来越急切。
特殊图案的边缘检测(图源:网络)
不仅仅是芯片制造中,在器件封装中边缘检测同样有着极大作用,举个最简单的例子,我们最常见的黑色矩形芯片,其实是被塑封体包裹的元件,内部保护起来的Chip才是起作用的芯片,我们一般称之为“Die”。所以对于封装厂来讲,一个Die完好无损的从晶圆上经过减薄-划片-贴装-打线最后流转到测试再到客户手中,也需要数十道检测来确保良率。
如下图,我们可以将一个芯片的局部放大来看,一些内部电路也会由于金属或者表面不同保护镀层而呈现不同的颜色。但是对于封装来讲,工程师更加关注的是芯片的裂纹和损伤,对于颜色反而希望去除,所以通过图案内花纹的边缘检测就可以得到电路纹理的边界,往往裂纹和损伤会打乱整个纹理图案,所以正负样本的比较久可以轻松得出结果。
NAND芯片和边缘检测局部纹理示意图(图源:网络)
通过特征图案的机器学习可以让待检测图片的细节更加突出,并且所占空间更小,因为一张图片其实CPU或者GPU能够很快给出结果,但是一百万张所花费的时间该有多少,想必没有人去尝试这么“愚蠢”的事情,因为对于制造来讲,效率和时间就是金钱。
责编:我的果果超可爱
参考:
Edge detection -WIKI
Edge Detection -MathWorks Web
Cognex Deep Learning --Cognex
数字图像处理:边缘检测(Edge detection)-- 知乎