一文读懂图像定位及跟踪技术

文 | 传感器技术

在科学技术日新月异的今天，人们对机器设备的智能性、自主性要求也越来越高，希望其完全替代人的角色，把人们从繁重、危险的工作任务中解脱出来，而能否像人一样具有感知周围环境的能力已成为设备实现智能化自主化的关键。

广义的“图像跟踪”技术，是指通过某种方式(如图像识别、红外、超声波等)将摄像头中拍摄到的物体进行定位，并指挥摄像头对该物体进行跟踪，让该物体一直被保持在摄像头视野范围内。狭义的“图像跟踪”技术就是我们日常所常谈到的，通过“图像识别”的方式来进行跟踪和拍摄。

因为红外、超声波等方式，都受环境的影响，而且要专门的识别辅助设备，在实际应用中已经逐步被“图像识别”技术所替代。“图像识别”是直接利用了摄像头拍摄到的图像，进行NCAST图像差分及聚类运算，识别到目标物体的位置，并指挥摄像头对该物体进行跟踪。

图像跟踪系统采用特有的NCAST目标外形特征检测方法，被跟踪者无需任何辅助设备，只要进入跟踪区域，系统便可对目标进行锁定跟踪，使摄像机画面以锁定的目标为中心，并控制摄像机进行相应策略的缩放。系统支持多种自定义策略，支持多级特写模式，适应性强，不受强光、声音、电磁等环境影响。

物体的形状特征在大多数情况下变化不多，基于目标形状轮廓的跟踪方法与基于区域的匹配方法相比，可以更精确的分割目标。

边缘是运动目标的最基本特征，表现在图像中就是指目标周围图像灰度有阶跃变化或屋顶变化的那些像素集合，它是图像中局部亮度变化最显著的部分。

边缘检测就是采用某种算法来定位灰度不连续变化的位置，从而图像中目标与背景的交界线。图像的灰度变化可以用灰度梯度来表示。

梯度算子

梯度也即一阶导数，梯度算子对应一阶导数算子，一阶导数也即梯度可以表示为：

图像经过边缘检测之后，还要经过轮廓追踪和轮廓表达。轮廓跟踪的目的是得到边缘像素的集合边缘表。轮廓表达则是通过对边缘表做一些处理，如拟合、统计及逼近等，得到目标形状特征的直观表达，为后续匹配提供模板信息。

轮廓跟踪的思想是：

1、根据提取的图像边缘，找出轮廓上的像素;

2、根据这些像素的特征用一定的“跟踪准则”找出物体上的其他像素;

3、其跟踪效果的好坏主要取决于起始点和跟踪准则的选取两个因素。

跟踪准则：

按起始点选取准则找到最左下方位的边界点后，以其为起始点，定义左上方为初始搜索方向，若该方向的点为黑点(特征点)，则判其为边界点，否则沿顺时针方向旋转搜索方向45度，依此类推，直到搜索到第一个黑点(特征点)为止，然后再把该黑点(特征点)作为新的边界点，逆时针方向旋转当前搜索方向90度，用相同的方法继续搜索下一个黑点(特征点)，直到找到初始边界点为止。若用箭头表示搜索方向，那么该轮廓跟踪算法可以用图表示。

通过上述算法得到物体的边缘表后，可以用其作为轮廓表达，也可以对其进行处理，用处理后的信息形式来表达轮廓。目前常用的轮廓表达有以下三种：逼近拟合曲线法、内插拟合曲线法、统计特征法。

为了对丰富多样的色彩进行表达，人们用表示颜色的三个参数所构成的三维空间来对图像的颜色进行描述，这个三维空间就是所谓的颜色空间。

如：RGB格式(红、绿、蓝三基色模型)、HSV格式(色度、饱和度、亮度模型)

RGB格式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。

HSV格式：H参数表示色彩信息，即所处的光谱颜色的位置。该参数用一个角度量来表示，红、绿、蓝分别相隔120度。互补色分别相差180度。纯度S为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。S=0时，只有灰度。V表示色彩的明亮程度，范围从0到1。有一点要注意：它和光强度之间并没有直接的联系。

例如：采用直方图来表达图像的颜色分布特征：1、对颜色进行量化;2、计算颜色落在各个小区间内的像素数量;3、对其进行直方图投影就可以得到图像的颜色概率分布图像。

运动目标提取时，为了消除相机采集的图像中的噪声、改善图像质量，使图像变得更清晰，需要对图像进行滤波。几种常见噪声：高斯噪声、加性噪声及椒盐噪声等。

为了消除噪声影响和突出图像的一些特征，目前常用的方法有：邻域均值滤波、中值滤波法等。

运动目标提取完成后，得到的二值化图像可能含有许多空洞和孤立的噪声点，为了更好地对目标进行定位和跟踪，需要对得到的检测结果进行形态学处理。

形态学处理主要思想是：采用一个特定的结构元素作为工具来度量和提取图像特征(形状、轮廓等)，具体为看该结构元素是否可以适当有效地放入图像内部。目前常用的形态学运算有：膨胀、腐蚀、开启和闭合操作。

图像匹配是指在多幅图像之间寻找对应关系的过程，具体为在一帧图像中寻找与给定目标最相似的图像区域或在一批图像中寻找与目标最相似的图像。

利用图像匹配技术不仅可以检测出搜索图像中是否有目标图像，还可以获得目标在图像中的相对位置信息。

匹配算法概括起来可以分为两类：基于区域的匹配方法和基于特征的匹配方法。

基于区域的匹配方法

根据整幅图像的灰度值信息，建立目标模板和待匹配目标图像之间的相似性度量，然后采用相应的搜索算法，寻找待匹配目标图像中相似性度量值最大的地方。

基于特征的匹配方法

提取图像的特征，如特征点、边缘、颜色、纹理等，对提取的特征进行加工处理将其表达成特定的形式(向量、直方图)，对加工后的图像特征采用一定的相似性度量准则进行匹配以建立目标模板和待匹配图像之间的对应关系。

目前，目标跟踪技术主要应用于以下领域：

1、智能视频监控：基于运动识别(基于步法的人类识别、自动物体检测等)，自动化监测(监视一个场景以检测可疑行为);交通监视(实时收集交通数据用来指挥交通流动);

2、人机交互：传统人机交互是通过计算机键盘和鼠标进行的，为了使计算机具有识别和理解人的姿态、动作、手势等能力，跟踪技术是关键;

3、机器人视觉导航：在智能机器人中，跟踪技术可用于计算拍摄物体的运动轨迹;

4、虚拟现实：虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动分析的研究成果，可给参与者更加丰富的交互形式，人体跟踪分析是其关键技术;

5、医学诊断：跟踪技术在超声波和核磁序列图像的自动分析中有广泛应用，由于超声波图像中的噪声经常会淹没单帧图像有用信息，使静态分析十分困难，而通过跟踪技术利用序列图像中目标在几何上的连续性和时间上的相关性，可以得到更准确的结果。