【光电智造】机器视觉的成像系统综述

今日光电 2023-04-10 18:01

TI MCU方案：电动汽车实时控制 【TI资料】专为高压系统设计的新型MCU

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

----与智者为伍为创新赋能----

1. 成像系统模型

图1：成像系统的简化模型

机器视觉的成像系统的简化模型，如图1所示。光学成像系统对现实世界中的可见光、红外线、X射线等实施某种转换T(x，y)，将物理量转换为电信号，再经图像采集设备采样、量化后生成数字图像。

图2：RGB色彩模型

图像是指所有具有视觉效果的画面，它是对客观对象的一种相似的、生动的描述。根据色彩不同，图像可以分为彩色图像和黑白（灰度）图像。色彩可以分解为不同强度RGB基本色的组合，这种表示色彩的方式称为RGB颜色模型或RGB色彩空间，如图2所示。相应地，可以将彩色图像的研究分解为对RGB分量所对应的灰度图像的研究。

图像根据记录方式的不同可分为模拟图像和数字图像两大类。如果将灰度图像看作二维空间上的光强度函数f(x，y)，则模拟灰度图像就是对该空间上光强度幅值f变化的连续记录。当（x，y）和f为离散、有限的数值时，光强度幅值f的变化将以类似矩阵的形式被记录，此时所记录的图像就称为数字图像，而所记录的值对应在图像中的每个点称为像素（pixel），横向及纵向像素的个数称为图像的分辨率（image resolution），如图3所示。机器视觉系统中提及的图像通常是数字图像。

图3：数字图像及其像素

除了图像分辨率外，系统分辨率和像素分辨率也是机器视觉系统设计时较常见的参数。它们通常与客户对机器视觉系统的需求关系最为密切，是选择相机和镜头的重要依据。

系统分辨率指成像系统可以识别出监测目标的最小细节或最小特征，例如， “要求系统能检测0.1mm的目标”，“要求系统测量精度达到0.01mm”之类的要求一般都和系统分辨率相关。

像素分辨率指为了表示检测目标所需要的像素数。一般情况下，可以根据客户对检测目标中最小特征的要求来确定最小像素分辨率。

如果将整个图像看作周期为最小特征大小的周期信号，则根据奈奎斯特采样定律，必须对信号每个周期采样2个点以上，才能完整恢复该信号。因此如果客户没有特别要求，常用至少两个像素来代表检测目标中的最小特征。

图像传感器应具备的最小像素分辨率常通过下面的公式计算：

上式中，R_min为最小像素分辨率，L_max为检测目标的最大长度，l_min为检测目标的最小特征长度（视觉系统的分辨率），p_min为表示最小特征的像素数，无特别要求时P_min=2。

视场（Field of View, FOV）指成像系统中图像传感器可以监测到的最大区域。在机器视觉系统设计时，考虑到一般都会使被检测目标尽量填满整个视场，因此常用视场大小代替目标的最大长度L_max来计算视觉系统的像素分辨率。

如果横纵方向上视场大小为[FOV_h，FOV_v]，检测目标的最小特征的大小为[l_h，l_v]，则图像传感器应具有的最小像素分辨率为

机器视觉系统常用使用配备各种镜头系统的工业CCD/CMOS相机作为成像系统。相机镜头到所检测目标的距离（称为工作距离，相当于物距）相对于相机焦距可近似认为是无穷远。若将其带入高斯成像公式，可得出此时相机像距近似等于其焦距，也就是说相机成像在焦平面上。据此，可以将镜头系统抽象为类似小孔成像的简化模型，如图3所示。

图3：镜头的小孔成像简化模型

根据该简化模型，可以得出机器视觉系统图像传感器尺寸S（传感器平面某个方向上的长度）、视场FOV、工作距离WD及镜头焦距f之间的约束关系：

此时，镜头的放大率M则可以等效为：

如果进一步将前述最小像素分辨率的计算公式与该约束关系结合（用视场FOV代替目标的最大长度L_max），则可以得出以下成像系统简化模型的参数约束关系：

该公式所显示的参数间的相互约束关系是机器视觉系统设计和搭建部署时系统设计和设备选型的基础。

实际操作中，传感器尺寸S可以通过查询相机的技术规范获知，焦距f、工作距离WD直接由所选择的镜头决定。

在已知这些参数时，可以很容易地计算出视场FOV。

相机的像素分辨率由其有效像素区域（即传感器尺寸）决定，通常用横向和纵向有效像素数来表示（如768×576）。

为机器视觉系统所选择的相机像素分辨率，必须大于或等于按照项目需求（包括对最小特征尺寸l_min和用于表示最小特征的像素数p_min的要求）计算出的最小像素分辨率R_min。

图4：机器视觉成像系统中的相关参数

2. 镜头

在机器视觉系统中，镜头的质量和技术指标直接影响成像系统的性能，合理地选择和安装镜头是决定机器视觉成像系统成败的关键。

与镜头相关的主要技术参数有镜头分辨率、焦距、最小工作距离、最大像面、视场/视场角、景深、光圈和相对孔径及其安装接口类型等。

镜头分辨率

通过拍摄正弦光栅，研究镜头每毫米内能分辨的线对数，就可以获知镜头的分辨率。镜头分辨率越高，则说明其每毫米内能分辨的线对数越多。

对于机器视觉系统设计来说，只需要查询镜头参数表即可获知其分辨率。

镜头的空间分辨率、相机的像素分辨率、相机的空间分辨率、系统的空间分辨率和系统的分辨率是几个极容易混淆的概念。

相机的像素分辨率是指相机传感器上纵横方向上的像素数；

相机的空间分辨率却表示它的空间极限分辨能力。根据前述相机奈奎斯特定律，相机要能恢复空间图像，必须至少使用2个像素来表示图像的最小单元。可以通过像素的物理大小来计算相机的空间分辨率。例如，某相机的像素物理大小为8.4μm×9.8μm，则相机在横纵方向上的空间分辨率为

系统的空间分辨率取镜头和相机空间分辨率的最小值。例如，在上述例子中，最好选择空间分辨率大于59.53lp/mm的镜头。

如果镜头的空间分辨率比相机的空间分辨率小，则说镜头可以分辨单个线对的能力要比相机识别的单个线对的能力弱。也就是说极限情况下，镜头传给相机的图像不清晰，因此只有镜头的空间分辨率大于相机的空间分辨率时，才能确保成像系统的空间分辨率最佳。

系统分辨率，在机器视觉系统设计时，并不是指系统对线对的空间极限分辨力，而是指系统可以识别检测目标中最小特征的能力。

（上式中，分母应为R_min) 例如，如果成像系统的水平方向上视场为0.9m，相机在水平方向上的像素数为720，则代表最小特征的像素数为2时，系统分辨率为2.5mm。

焦距

焦距是指无限远处目标在镜头的像方所成像位置到像方主面的距离。焦距体现了镜头的基本特性：即在不同物距上，目标的成像位置和成像大小由焦距决定。市面上常见的镜头焦距大小包括6mm、8mm、12.5mm、25mm以及50mm等。对机器视觉成像系统来说，工作距离就是成像系统中所说的物距。由于视觉成像系统模型的假定条件是工作距离相对于镜头焦距为无限远，因此一般在镜头的产品参数中都会说明其最小工作距离。当相机在小于该最小工作距离的环境下工作时，就会出现图像失真，影响机器视觉系统的可靠性。

最大像面、视场／视场角

最大像面、视场／视场角都是用来衡量镜头成像范围的关键参数。

最大像面是指镜头能支持的最大清晰成像范围（常用可观测范围的直径表示），超出这个范围所成的像对比度会降低而且会变得模糊不清。

最大像面是由镜头本身的特性决定的，它的大小也限定了镜头可支持的视场的大小。

镜头的视场就是镜头最大像面所对应的观测区域。视场角等于最大像面对应的目标张角。

通常，在远距离成像系统中，例如望远镜、航拍镜头等场合，镜头的成像范围均用视场角来衡量。而近距离成像中，常用实际物面的直径（即幅面）来表示。

由于机器视觉成像系统中的传感器多制作成长方形或正方形，因此镜头的最大像面常用它可以支持的最大传感器尺寸（单位为英寸，1英寸约为2.54cm）来表示。相应地，镜头的视场也可以用最大像面所对应的横向和纵向观测距离或视场角来表示，如图5所示。

图5：机器视觉系统中镜头的视场和最大像面

一般来说，镜头的失真（畸变）会随着焦距的减小（或视场角的增大）而增大，因而在构建机器视觉系统（特别是精确测量系统）时，一般都不会选择焦距小于8mm或视场角很大的镜头。

鉴于镜头能清楚成像的范围受到最大像面的限制，因此在为相机选配镜头时，要特别注意相机传感器与镜头可支持最大传感器之间的关系。一般来说，必须确保所选镜头可支持的最大传感器尺寸大于或等于相机的传感器尺寸。这样做的另一个主要原因是为了避免渐晕（Vignetting）现象的发生。

图6：镜头大小与相机传感器尺寸不同时的成像情况

如图6（c）所示，如果相机传感器的尺寸大于镜头可支持的最大传感器尺寸时，所生成的图像就会形成类似隧道的效果，该现象称为渐晕现象。渐晕现象会增加机器视觉系统的开发难度，因此应尽量避免。图6中的（a）、（b）分别显示了在镜头可支持的最大传感器尺寸等于或大于相机的传感器尺寸时视觉系统的成像情况，这两种情况下机器视觉系统均能正常工作。

景深

景深也是一个与镜头和成像系统关系十分密切的参数，它是指在镜头前沿着光轴所测定的能够清晰成像的范围，如图7所示。在成像系统的焦点前后，物点光线呈锥状开始聚集和扩散，点的影像沿光轴在焦点前后逐渐变得模糊，形成一个扩大的圆，这个圆称为弥散圆（circle of confusion）。若这个圆形影像的直径足够小（离焦点较近），成像会足够清晰，如果圆形再大些（远离焦点），成像就会显得模糊。当在某个临界位置所成的像不能被辨认时，则该圆就被称为容许弥散圆（permissible circle of confusion）。焦点前后两个容许弥散圆之间的距离称为焦深。在目标物一侧，焦深对应的范围就是景深。

图7：焦深与景深

景深的计算公式如下：

其中，δ为容许弥散圆的直径，f为镜头焦距，D为对焦距离，F为镜头的拍摄光圈（aperture）值。

从景深公式可以看出，后景深要大于前景深，而且景深一般随着镜头的焦距、光圈值、对焦距离（可近似于拍摄距离）的变化而变化。

在其他条件不变时：

（1）光圈越大（光圈值F越小），景深越小；光圈越小（光圈值F越大），景深越大。

（2）镜头焦距越长，景深越小；焦距越短，景深越大。

（3）距离越远，景深越大；距离越近，景深越小。

在检测目标的高度在一定范围内可能变化的情况下，选择合适的景深，对于机器视觉系统的稳定性尤为重要。

对比度

对比度用于表示图像在亮度层级上的差异（图像分辨率表示图像在空间上的差异）。它是一幅图像中明暗区域最亮I_Brightest和最暗I_Darkest两个不同亮度层级之间的差异，常用下面公式计算：

根据该公式，当明暗度之间的差异越大时（对比度的值趋于1），对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；当明暗度之间的差异越小时（对比度的值趋于0），对比度越小，整个图像的清晰度、细节、灰度层次表现就会越差。

通常如果要处理的目标涉及较多细节，就需要尽可能调整光圈获取较高对比度的图像，减少后期机器视觉软件开发的难度。如果光圈调整还不能达到目的，就需要通过调整光源或相机增益来提高对比度。

畸变

实际中，镜头自身特性与理想成像系统模型总是有差距的，镜头特性的不完美性对成像系统有较大影响。例如，在使用广角镜头或变焦镜头的广角端时，成像画面常呈桶形膨胀状态，称这种情况为桶形畸变（barrel distortion）。而在使用长焦镜头或变焦镜头的长焦端时，成像画面常会向中间收缩，称这种情况为枕形畸变（pincushion distortion）。还有些镜头产生的畸变是图像中心处接近桶形失真，但由中心向边缘逐渐过渡到枕形失真，这时图像上半部分极其像八撇胡须，故而称为须形畸变（mustache distortion）。这些由于镜头自身特性引起的畸变统称为镜头畸变（lens distortion），如图8所示。

图8：镜头畸变

镜头相对于被测目标的安装位置和角度也影响成像系统的质量。例如在相机未能垂直于被测目标安装时，就会产生透视畸变（perspective distortion）。在这种情况下，所成图像遵循透视规律，即离镜头越近，所成图像越大，反之越小，如图9所示。

图9：投影失真

若要使用搭建好的机器视觉系统进行准确测量控制，必须综合考虑机器视觉成像系统的多种畸变因素，实时地把图像中像素包含的信息映射到真实世界中去。这就需要事先获知成像系统的图像像素与真实世界坐标系之间的映射关系。

通过各种流程和方法，寻找这个对应关系的过程称为系统空间校准（标定）。

接口

镜头与相机之间的物理接口必须匹配才能安装在一起搭配使用。常见的接口标准有C接口（C-mount）、CS接口（CS-mount）和F接口（F-mount）。

在机器视觉领域，目前C和CS接口的镜头及相机占主导地位，它们的唯一区别是背焦距不同，如图10所示。F接口常用于高像素数的线扫描相机（2048像素以上），获取比C和CS接口镜头更大的图像。

图10：C与CS接口

C接口镜头的后焦距是17.526mm，CS接口镜头后焦距则为12.5mm，因此，只要为C接口镜头配备一个5mm的扩展管（转换器），就可以得到CS接口的镜头，但CS镜头却不能与C接口的相机搭配使用。C接口是镜头的国际标准，因此有很多C接口的镜头可供选择。

镜头与相机连接之初，观测目标的成像面不一定恰巧与相机传感器的感光面重合。为了得到清晰的影像，就需要调整镜头成像面的位置，使之恰巧落在相机传感器的感光面上，这个过程称为调焦。调焦过程并不改变镜头或镜头组自身的焦距（或改变很小），而只是通过沿着光轴前后移动整个镜头或只微小调节镜头组中某一个透镜的位置，使镜头像面和相机传感器感光面重合。几乎所有镜头筒上都有一个调焦环，日常生活中，转动调焦环以获取清晰图像的过程实际上就是通过机械装置调焦的过程。

与调焦不同，变焦是指在保证像面不动的前提下，通过移动镜头组内透镜的相对位置使整个镜头系统的焦距发生较大变化。

除了光学元件，镜头设备一般还包括固定光学元件的零件（如镜筒、透镜座、压圈、连接环等）、镜头调节机构（如光圈调节环、调焦环等）和镜头连接机构等。高级点的镜头上有时还有自动调整光圈、自动调焦或光强度感测等电子机构。这些设备与光学系统协同工作，可以确保镜头和相机构成的成像系统为视觉系统工作提供良好的图像信号基础。

3. 为机器视觉项目选择镜头和相机的简化流程