微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识
SIFT特征是非常稳定的图像特征，在图像搜索、特征匹配、图像分类检测等方面应用十分广泛，但是它的缺点也是非常明显，就是计算量比较大，很难实时，所以对一些实时要求比较高的常见SIFT算法还是无法适用。如今SIFT算法在深度学习特征提取与分类检测网络大行其道的背景下，已经越来越有鸡肋的感觉，但是它本身的算法知识还是很值得我们学习，对我们也有很多有益的启示，本质上SIFT算法是很多常见算法的组合与巧妙衔接，这个思路对我们自己处理问题可以带来很多有益的帮助。特别是SIFT特征涉及到尺度空间不变性与旋转不变性特征，是我们传统图像特征工程的两大利器，可以扩展与应用到很多图像特征提取的算法当中，比如SURF、HOG、HAAR、LBP等。夸张一点的说SIFT算法涵盖了图像特征提取必备的精髓思想，从特征点的检测到描述子生成，完成了对图像的准确描述，早期的ImageNet比赛中，很多图像分类算法都是以SIFT与HOG特征为基础，所有SIFT算法还是值得认真详细解读一番的。SIFT特征提取归纳起来SIFT特征提取主要有如下几步：
构建高斯多尺度金字塔
常见的高斯图像金字塔是每层只有一张图像，大致如下：
上述的是通过图像金字塔实现了多分辨率，如果我们在每一层高斯金字塔图像生成的时候，给予不同的sigma值，这样不同的sigam就会产生不同模糊版本的图像，在同一层中就是实现不同尺度的模糊图像，再结合高斯金字塔，生成多个层多个尺度的金字塔，就是实现了图像的多尺度金字塔。同一张图像不同尺度高斯模糊如下：
为了在每层图像中检测 S 个尺度的极值点，DoG 金字塔每层需 S+2 张图像，因为每组的第一张和最后一张图像上不能检测极值，DoG 金字塔由高斯金字塔相邻两张相减得到，则高斯金字塔每层最少需 S+3 张图像，实际计算时 S 通常在2到5之间。SIFT算法中生成高斯金字塔的规则如下（尺度空间不变性）：
关键点精准定位与过滤
对得到的每层DOG图像，计算窗口3x3x3范围除去中心点之外的26点与中心点比较大小，寻找最大值或者最小值（极值点），如下图：
即周围26个点(青色)要小于或者大于中心像素点，这样就得到初步的极值点候选，然后进行亚像素级别的精准定位。原因在于图像得到像素坐标是离散的，尺度空间也是离散的间隔，每个极值点P(x, y, s)三维空间中不一定是真正的连续空间的极值点，以二维的曲线为例，得到蓝色是离散空间极值点，实际极值点是红色点，如下图所示：
从上图我们也可以看出，在连续空间的极值点必然是导数过零点，
对于|D(extremal)| < 0.03可以作为低对比度点或者弱边缘舍弃。
关键点方向指派
前面我们已经详细解释了SIFT特征点是如何提取的，有了特征点之后，我们对特征点周围的像素块计算角度方向直方图，在计算直方图之前首先需要对图像进行梯度计算，这里可以使用SOBEL算子，然后根据dx与dy计算梯度和与角度，这里使用的高斯权重，所以在梯度之前，首先需要对ROI区域进行高斯模糊，然后再计算角度(x轴，Bins)-梯度(Y轴)直方图，直方图的最高峰(max peak)对应的角度就是关键点的角度方向，对于大于max peak*85%的bin也作为方向指派给关键点，这样同一个关键点因为有多个方向在描述子生成的时候就会生成多个描述子，从而增加了特征的稳定性与抗干扰能力。图示如下：
描述子生成
选择关键点小区域，根据窗口大小不同可以分为4x4大小不同的Cell，每个Cell生成一个角度方向直方图(8个BIN)，对它们进行排序以后(旋转不变性描述子)，生成128个向量特征数据，作为该关键点的唯一描述
如下图所示：
OpenCV中调用
OpenCV已经实现了SIFT算法，但是在OpenCV3.0之后因为专利授权问题，该算法在扩展模块xfeature2d中，需要自己编译才可以使用。但是在OpenCV4.4之后因为专利过期，SIFT算法又回到了正式发布安装包中，无需编译源码，即可使用！首先需要创建一个SIFT检测器对象，通过调用
代码演示如下
import cv2 as cv
box = cv.imread("D:/images/box.png");
box_in_sence = cv.imread("D:/images/box_in_scene.png");
cv.imshow("box", box)
cv.imshow("box_in_sence", box_in_sence)
# 创建SIFT特征检测器
sift = cv.xfeatures2d.SIFT_create()
# 特征点提取与描述子生成
kp1, des1 = sift.detectAndCompute(box,None)
kp2, des2 = sift.detectAndCompute(box_in_sence,None)
# 暴力匹配
bf = cv.DescriptorMatcher_create(cv.DescriptorMatcher_BRUTEFORCE)
matches = bf.match(des1,des2)
# 绘制最佳匹配
matches = sorted(matches, key = lambda x:x.distance)
result = cv.drawMatches(box, kp1, box_in_sence, kp2, matches[:15], None)
cv.imshow("-match", result)
cv.waitKey(0)
cv.destroyAllWindows()
SIFT算法启示
多尺度金字塔，特征金字塔技术，迁移不变性与旋转不变性特征，这两点现在卷积神经网络及其变种的网络中也是很常见的特征工程技术。扫码查看OpenCV+OpenVIO+Pytorch系统化学习路线图
推荐阅读
CV全栈开发者说 - 从传统算法到深度学习怎么修炼
2022入坑深度学习，我选择Pytorch框架！
Pytorch轻松实现经典视觉任务
教程推荐 | Pytorch框架CV开发-从入门到实战
OpenCV4 C++学习 必备基础语法知识三
OpenCV4 C++学习 必备基础语法知识二
OpenCV4.5.4 人脸检测+五点landmark新功能测试
OpenCV4.5.4人脸识别详解与代码演示
OpenCV二值图象分析之Blob分析找圆
OpenCV4.5.x DNN + YOLOv5 C++推理
OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
OpenVINO2021.4+YOLOX目标检测模型部署测试
比YOLOv5还厉害的YOLOX来了，官方支持OpenVINO推理
