【光电智造】多光谱成像技术和相机选型

今日光电 2024-07-10 18:01

【应用手册】TI 全新MCU及C29内核的电动汽车应用方案 如何增强能源基础设施的实时控制？

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！

----追光逐电光赢未来----

多光谱相机技术

第一批多光谱系统要么用于太空科学成像，要么用于分析和数字化绘画和文化遗产。1972 年发射的原始 LANDSAT 1 卫星配备了四波段多光谱成像系统，包括可见的绿色和红色通道以及两个 NIR 波段。

到 1999 年 LANDSAT 7 发射时，该系统已扩展到八个多光谱波段，从可见蓝光到热红外。这些多光谱卫星和后续多光谱卫星主要用于农业和环境分析，包括沿海和洋流观测、植被分析、干旱胁迫、烧毁/火灾影响区域，甚至云层覆盖模式。从光学器件到所用的传感器，这些都是极其复杂且昂贵的系统。

同样，先进的多光谱静态相机多年来一直用于艺术和考古学。这些相机使用多达 18 个多光谱波段来绘制和初步识别艺术品上的颜料和修饰。这些图像还用于数字化和/或视觉增强旧的和褪色的文件和文物。保护者还可以使用多光谱成像来区分原始部分和油漆部分，并选择适当的保护程序。

随着时间的推移，基于傅里叶变换光谱、液晶可调滤波器、宽带和窄带滤波器等，已经开发出不同类型的多光谱系统。随着各种方法的改进，它们已经从超高端卫星和艺术品保护系统迁移到机器视觉相机中，提供分辨率、帧速率和价格的组合，使其能够用于广泛的多光谱应用。在本技术指南中，我们将重点介绍这些基于相机的多光谱成像技术，这些技术在机器视觉应用中越来越受欢迎。

两个（或更多）独立相机（区域或线扫描）
为机器视觉设置增加更多光谱范围的原始方法是将多台相机对准目标。例如，如果水果生产商想要检查颜色并查看是否有瘀伤，他们可能会在彩色相机之外在其设置中添加 NIR 相机。但将两幅图像的光谱数据组合到一个检查步骤中极具挑战性且容易出错。即使将两台相机紧挨着放置，仍会存在足够的光学视差，几乎不可能对齐两幅图像的像素。因此，任何“融合”两幅图像的尝试通常都会失败。相反，大多数客户将额外的光谱成像视为完全独立的检查步骤，使用独立的相机、照明、镜头和安装（以及费用），并且无法利用整个过程中使用的任何其他相机的图像数据。
滤光轮相机（区域扫描）
滤光轮相机又称为基于多个窄带滤光片的成像仪，通过旋转安装在传感器或镜头前面的滤光轮中的滤光片来捕获多通道光谱图像。这种滤光轮通常可以支持多达 12 个波段。然后根据多光谱图像估算每个像素的光谱反射率。基于滤光轮的相机的优势在于每个波段的全空间分辨率。可以根据应用要求定制滤光片，并且可以修改滤光轮。该系统的缺点包括成像速度慢且耗时、图像配准复杂、几何失真复杂以及定制滤光片成本高。还有一个问题是，在系统中添加机械元件（电动轮），可能需要定期维护或更换。

像素化多光谱滤波器阵列（区域扫描）
使用拜耳彩色滤波器阵列 (CFA) 和去马赛克的单传感器成像已在当前的紧凑型低成本彩色数码相机中得到充分应用。通过将 CFA 的概念扩展到多光谱滤波器阵列 (MSFA)，人们可以一次性获取多光谱图像，在某些情况下甚至可以获取高光谱图像，而无需增加尺寸或成本。这种捕获方法也称为快照马赛克成像。快照马赛克传感器可以支持 VIS (可见光)、VIS-NIR 和 NIR-SWIR 波长中的 4 到 40 个通道。在批次间制造中实现非常高的基于像素的一致性一直具有挑战性。真实世界波段可能具有相对较高的串扰，这会影响整体光谱灵敏度、像素相关的噪声参数和光谱重建的准确性。这些滤波器的算法校正非常复杂。更重要的是，由于滤波器阵列中每个光谱带的采样非常稀疏，多光谱滤波器阵列的多光谱去马赛克一直是一个具有挑战性的问题。波段越多，每个波段的空间精度就越低。

两个带有分束器的相机（区域扫描）
解决与多个独立相机方法相关的问题的一种方法是引入一个分束器元件，该元件可以从一组通用光学器件同时捕获多个相机上的图像。例如，使用两个拜耳模式相机，可以捕获两个 3 波段图像并将其重建为 6 通道（2 倍 RGB）光谱图像。或者可以将拜耳相机与 NIR 相机组合以产生 4 通道 RGB+NIR 输出。可以添加额外的分束器和相机来捕获额外的波段。这种方法缓解了与基本多相机方法相关的图像捕获和图像配准问题。光谱信息可以在多个捕获的图像之间关联和组合。最大的缺点是，如果系统中有多个相机，系统会变得非常庞大且昂贵。此外，使用分束器会损失光强度。这种方法通常需要高功率照明，因此需要在高速度和系统的光灵敏度之间进行权衡。

多传感器二向色棱镜相机（区域或线扫描）
乍一看，这似乎与分束器方法非常相似，但有两个非常显著的区别。首先，只有传感器，而不是完整的相机，被安装并对准到棱镜面。与前面描述的多相机分束器成像系统相比，这显著减小了尺寸。其次，棱镜块使用硬二向色涂层，充当干涉滤光片，将入射光的适当光谱范围引导到每个传感器。因此，每个通道不会将相同的光分裂到多个通道并从而降低其强度，而是接收其需要捕获的范围的全部光量，无论是可见光还是不可见光区域中的宽带还是窄带。与马赛克方法不同，可以实现每个波段的全空间分辨率。在区域扫描场景中，如今分辨率可达 3.2 MP，每波段速度超过 100 fps，而在线扫描中，相机可在 35 kHz 下实现每波段 8192 像素。这种方法的主要限制是棱镜的尺寸（因此相机的尺寸）需要支持多个大型传感器。这可能会限制可使用的传感器的最大分辨率和/或像素大小。

多线相机（带滤波器的三线、四线、TDI 型线扫描）
带有多线传感器的线扫描相机也可用于多光谱应用。带有三线 RGB 传感器的线扫描相机常用于彩色成像应用。四线传感器相机可以由 RGB-NIR 或 RGB-单色组成。这是实现多光谱成像的方法之一。多线传感器上的线数可以从 3 条到几十条不等。当今最流行的相机有 8 到 16 条线，其中每条像素线都有一个独特的光谱带通滤波器，因此可以捕获多达 16 个波段的多光谱图像。相同的技术可以扩展到 TDI 型传感器，它由近 200 条线组成，分为 3 或 4 个光谱域。多线相机还可以在现有的 RGB 传感器上安装额外的光学滤光片。这种方法将水平线分辨率分为最多 4 个部分，具体取决于光学滤光片的数量。通过将 5 个光学滤镜与 RGB 传感器相结合，最多可以实现 15 个光谱波段。这种方法的缺点是光谱通道数越多，系统的水平分辨率就越低。

用于多光谱成像的推扫式相机（线扫描）
传统上用于高光谱相机的推扫式方法也可应用于多光谱成像，为可捕获的光谱波段数量增加了极大的灵活性。x-λ 扫描（即跨越水平分辨率和多个波段）同时进行，而沿传输方向（y 轴）的扫描是连续的。这项技术可以逐行捕获完整的空间和光谱信息。推扫式相机由三个主要部件组成：镜头、成像光谱仪和硅基图像传感器（对于 VIS-NIR）或 InGaAs 传感器（对于 NIR-SWIR）。成像光谱仪由光色散单元和聚焦光学元件组成，是推扫式相机的关键部件。在成像光谱仪中，光线穿过输入狭缝（准直器）到达色散单元，然后聚焦到图像传感器上，提供单线的 x-λ 坐标。如今，线分辨率可以达到 1024 像素，波长可在 5 到 224 个波段之间自由选择。光谱范围取决于所用传感器的类型，但 VIS-NIR 很受欢迎。虽然这项技术提供了良好的灵活性，但缺点是速度会随着通道数量的增加而增加。在全范围（224 个波段）中，这是一种高光谱方法，帧速率仅为 500 Hz。对于许多工业应用来说，这太慢了。

多光谱成像的区域扫描与线扫描

在所解释的多光谱成像方法中，只有极少数方法可用于高速工业应用。在区域扫描中，基于多传感器棱镜的方法非常适合检查高速生产的批量产品。其他区域扫描方法，如像素化多光谱像素阵列（快照马赛克）和基于滤光轮的方法，对于工业成像来说太慢了。除此之外，使用快照马赛克相机的空间分辨率和像素信息重建也非常具有挑战性。

基于滤光轮的相机体积庞大，由多个活动部件组成，这降低了该方法的稳健性。话虽如此，与基于多传感器棱镜的方法相比，快照马赛克和滤光轮方法提供了更多的光谱波段。快照马赛克适用于不需要良好空间精度的农业、智能农业和医学成像应用。基于滤光轮的相机特别适合旧画和古典艺术的数字存档。基于多传感器棱镜的相机非常适合精准农业、智能农业、水果、蔬菜、肉类、海鲜等商品的在线检查以及食品和药品包装、电子产品和印刷电路板等工业品。

对于使用线扫描相机进行多光谱成像，有两种主要方法具有良好的潜力。一种是使用 Pushbroom 高光谱传感器，它允许从高光谱方法（225 个光谱带）缩小到多光谱方法（5 个光谱带，6.5kHz 线速率），这使得该方法可用于工业中速应用，例如检查食品、回收和包装货物。

基于多传感器棱镜的线传感器方法可实现极高的速度（4K 像素下最高可达 77 kHz），并可同时对可见光和近红外波段进行成像，最多可组合四个光谱波段。速度使得该方法可用于所有基于皮带、通道或自由落体分拣的高速应用。

第三种方法 - 使用带有光学滤波器的标准三线线传感器，降低水平线分辨率，并实现 6 到 12 个通道 - 多年来一直试图进入印刷、食品、陶瓷和纺织品检测领域，但由于校准程序复杂、精度低和 API 难以使用而未能成功。

选择多光谱成像相机技术时的主要考虑因素

易于设置（系统集成）-使用多光谱成像比使用标准机器视觉相机复杂得多。为了设置和集成多光谱成像系统的不同组件，重要的是要拥有良好的专业知识，不仅要了解相机，还要了解涉及光源、要检查的物体的性质以及数据处理和图像数据校正产生的瓶颈的校准程序。整个系统集成可能不像高光谱系统那么复杂，但这实际上取决于用户希望通过多光谱成像系统实现什么。

速度和分辨率：工业检测程序需要高吞吐量。许多多光谱系统的读出架构和结构在速度上受到限制。速度取决于波长通道的数量、使用的多光谱技术类型和接口。光谱带的数量越多，捕获高速应用所需的光量就越困难。空间分辨率对于多光谱成像来说也是一个挑战，尤其是在检测小物体时。基于快照马赛克传感器的相机使用插值从单个像素值估计缺失的空间信息，但在检测较小的缺陷尺寸时，这种方法并不十分准确。每个应用可能需要在可能的多光谱通道数量和可实现的速度和分辨率之间进行不同的权衡。

光谱波段数量：应用所需的光谱波段数量实际上取决于待检测物体的性质、所需的检测精度以及使用额外的光谱估计技术在图像处理方面可以实现的精度。在某些应用中，例如红色边缘检测或 NDVI 分析，可以清楚地知道需要红色和 NIR 区域中的哪些波段来从植物中捕获所需的数据。对于光谱数据众所周知的塑料和有机材料，情况也是如此。另一个例子是荧光内窥镜检查，其中 ICG 吸收和荧光反射波段是已知的。在这种情况下，可能不需要超出有限数量的波段。但是，也有一些应用涉及要检查的不同材料的混合，或者需要多个光谱带来准确识别特定波长带，或者基于多光谱成像的光谱颜色测量应用。这样的应用需要相对较多的光谱波段。

灵活性：灵活或可扩展的多光谱系统主要适用于在同一台机器上检查不同类型材料的应用。灵活性允许用户根据应用需求调整多光谱成像系统。这种灵活性主要体现在所需的光谱波段数量上，这会增加或降低成像系统的速度。某些系统的灵活性也意味着较低的稳健性，因为可能需要更换变化或移动的部件（例如，在滤光轮方法中，滤光轮可以轻松更换，但它会在系统中增加一个移动组件，这会影响系统的稳健性）。另一方面，有些相机在制造时具有灵活性，但在产品完成后就没有灵活性了。多传感器棱镜式相机在制造过程中具有灵活性，可以根据硬二向色涂层和基本棱镜参数选择相机所需的光谱响应。但是，一旦制造了棱镜传感器组件，就无法更改。基于快照马赛克传感器的相机具有相同的逻辑。一旦多光谱滤波器阵列固定在传感器上，在检查任务期间就无法更换或修改。

处理多光谱数据立方体和数据流：多光谱成像的挑战之一是处理多光谱数据立方体。这远没有高光谱数据立方体复杂，高光谱数据立方体每个像素可能有几百个光谱，但比处理传统的 RGB 相机系统更复杂。系统架构必须能够正确处理、过滤和解释多光谱数据。光谱通道数越少，这就越简单。第二个挑战可能来自从相机到处理站的数据流所使用的方法。在多流的情况下，其优点是可以独立控制各个数据流，挑战在于在应用软件上管理这一点。处理多流需要能够同时处理两个或更多个流的软件架构。仅为单流设计的软件期望设备发送单帧或同时可用的多部分有效载荷。因此，对于单帧和多部分有效载荷，用户都可以调用单个函数并从一个流中获取图像。但是，也有一些平台，例如 JAI 的 eBUS Player，它可以在只读模式下第二次或第三次打开相机设备并处理多个数据流。

系统成本 –决策的一个驱动因素始终是成本。紧凑、用户友好、量产的相机比高度专业化和笨重的系统成本更低。成本还取决于需要执行的检查任务。与研究、高科技或科学成像中的应用相比，由最终消费者或接近最终消费者驱动的应用（例如食品和农业检查）对价格更为敏感。如今，高端高光谱成像系统的起价约为每台相机系统 20,000 欧元。量产的多光谱相机应远低于 10,000 欧元，才能具有商业吸引力。基于多台相机的多光谱相机比其他方法（例如基于多传感器棱镜的相机或基于多光谱阵列的相机）更昂贵。同样重要的是要注意，成本讨论必须权衡并根据多光谱成像可以提供的价值来解决或简化现有成像问题。

来源：新机器视觉