基于OpenCV的多位数检测器

点击上方↑↑↑“OpenCV学堂”关注我
来源：公众号 小白学视觉 授权

现在数字无处不在，无论是闹钟、健身追踪器、条形码还是包装好了的送货包裹。利用MNIST数据集，机器学习可用来读取单个手写数字。现在，我们可以将其扩展为读取多个数字，如下所示。底层的神经网络同时进行数字定位和数字检测。这在很多实际环境中是非常有用的，例如读取商店中的标签，车牌，广告等。

读取多个数字

但是，为什么不直接使用OCR呢？OCR虽然可以自动检测数字，但是效果并不总是很好，有时我们需要为特定任务训练特定的神经网络。

数字检测问题可分为2部分

1. 数字查找

2. 数字识别

数字查找：

数字可能出现在图像的任何位置，要检测到这些数字，我们首先需要查找包含这些数字的区域。这些数字可以有不同的大小和背景。

有多种检测数字位置的方法。比如可以利用简单的图像形态学操作（例如二值化，腐蚀，膨胀）来提取图像中的数字区域。但是，由于存在诸如阈值，内核大小等调整参数，因此这些处理方式不具有普遍性。此外我们还可以使用无监督特征检测器，深度模型等。

数字识别：

确定好区域的数字即可进入数字识别的过程。MNIST数据集是用于手写数字识别的规范数据集。大多数数据科学家已经对该数据集进行了实验。它包含约60,000个用于培训的手写数字和10,000个用于测试的手写数字。一些示例如下所示：

MNIST图片

但是，现实生活中的数字通常大不相同。它们具有不同的颜色，通常按照以下情况打印。

日常数字图像

另一个公共数据集SVHN-街景房数数据集。数据集包含从Google的街景中收集并带有注释的门牌号图像。以下是SVHN的示例图片：

SVHN图片

该数据集在许多背景下都有各种数字组合，对于通用模型更合适。

我们选择此基于SVHN位数检测器来实现多位数检测器。它写得很好并且易于遵循。数字定位使用最大稳定的外部区域（MSER）方法完成，该方法用作稳定的特征检测器。MSER主要用于图像内的斑点检测。斑点是像素的连续集合，其外边界像素强度高于内边界像素强度（给定阈值）。如果这些区域在强度变化量上变化不大，则可以说是最大稳定的。MSER的运行时复杂度较低，为O（nlog（log（n））），其中n是图像上像素的总数。该算法对于模糊和缩放也很鲁棒。这使其非常适合提取文本/数字。

使用具有卷积，maxpool和FC层的CNN来完成数字识别，这些层将每个检测到的区域分类为10个不同的数字。分类器在测试集上的准确性达到95％。

我们通过各种示例对存储库进行了测试，发现它运行良好。请参阅上面共享的示例。

在某些间隙中，要么本地化器无法正常工作（未检测到数字1的位置），要么检测器发生故障（$被检测为5）。

我们希望该博客被证明是了解多位数检测管道如何工作的良好起点。我们共享了一个github链接，该链接可用于在SVHN数据集上构建模型。如果此模型无法正常运行。大家可以收集自己的数据并微调已训练的模型。

SVHN链接：https://github.com/penny4860/SVHN-deep-digit-detector