彩色图像高斯反向投影

OpenCV学堂 2022-05-30 23:43

【应用手册】TI 全新MCU及C29内核的能源设施应用方案 如何增强能源基础设施的实时控制？

点击上方蓝字关注我们

微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识

彩色图像高斯反向投影

一：介绍

图像反向投影的最终目的是获取ROI然后实现对ROI区域的标注、识别、测量等图像处理与分析，是计算机视觉与人工智能的常见方法之一。图像反向投影通常是彩色图像投影效果会比灰度图像效果要好，原因在于彩色图像带有更多对象细节信息，在反向投影的时候更加容易判断、而转为灰度图像会导致这些细节信息丢失、从而导致分割失败。最常见的是基于图像直方图特征的反向投影。我们这里介绍一种跟直方图反向投影不一样的彩色图像反向投影方法，通过基于高斯的概率分布公式（PDF）估算，反向投影得到对象区域，该方法也可以看做最简单的图像分割方法。缺点是对象颜色光照改变和尺度改变不具备不变性特征。所以需要在光照度稳定情况下成像采集图像数据。在这种情况下使用的高斯概率密度公式为：

输入模型M，对M的每个像素点（R,G,B）计算I=R+G+B r=R/I, g=G/I, b=B/I
根据得到权重比例值，计算得到对应的均值与标准方差
对输入图像的每个像素点计算根据高斯公式计算P(r)与P(g)的乘积
归一化之后输出结果，即为最终基于高斯PDF的反向投影图像

二：算法步骤与代码实现

首先加载模型图像与测试图像
根据模型图像计算得到每个通道对应的均值与标准方差参数
根据参数方差计算每个像素点的PDF值
归一化概率分布图像-即为反向投影图像，显示
根据Mask得到最终颜色模型对象分割

完整的基于OpenCV的C++代码如下：

#include 
#include 
#include 
using namespace cv;
using namespace std;
int main(int argc, char** argv) {
    // 加载模型图像与测试图像
    Mat src = imread("D:/gloomyfish/gc_test.png");
    Mat model = imread("D:/gloomyfish/gm.png");
    if (src.empty() || model.empty()) {
        printf("could not load image...\n");
        return -1;
    }
    imshow("input image", src);
    // 对每个通道 计算高斯PDF的参数
    // 有一个通道不计算，是因为它可以通过1-r-g得到
    // 无需再计算
    Mat R = Mat::zeros(model.size(), CV_32FC1);
    Mat G = Mat::zeros(model.size(), CV_32FC1);
    int r = 0, g = 0, b = 0;
    float sum = 0;
    for (int row = 0; row < model.rows; row++) {
        uchar* current = model.ptr(row);
        for (int col = 0; col < model.cols; col++) {
            b = *current++;
            g = *current++;
            r = *current++;
            sum = b + g + r;
            R.at(row, col) = r / sum;
            G.at(row, col) = g / sum;
        }
    }
    // 计算均值与标准方差
    Mat mean, stddev;
    double mr, devr;
    double mg, devg;
    meanStdDev(R, mean, stddev);
    mr = mean.at(0, 0);
    devr = mean.at(0, 0);
    meanStdDev(G, mean, stddev);
    mg = mean.at(0, 0);
    devg = mean.at(0, 0);
    int width = src.cols;
    int height = src.rows;
    // 反向投影
    float pr = 0, pg = 0;
    Mat result = Mat::zeros(src.size(), CV_32FC1);
    for (int row = 0; row < height; row++) {
        uchar* currentRow = src.ptr(row);
        for (int col = 0; col < width; col++) {
            b = *currentRow++;
            g = *currentRow++;
            r = *currentRow++;
            sum = b + g + r;
            float red = r / sum;
            float green = g / sum;
            pr = (1 / (devr*sqrt(2 * CV_PI)))*exp(-(pow((red - mr), 2)) / (2 * pow(devr, 2)));
            pg = (1 / (devg*sqrt(2 * CV_PI)))*exp(-(pow((green - mg),2)) / (2 * pow(devg, 2)));
            sum = pr*pg;
            result.at(row, col) = sum;
        }
    }
    // 归一化显示高斯反向投影
    Mat img(src.size(), CV_8UC1);
    normalize(result, result, 0, 255, NORM_MINMAX);
    result.convertTo(img, CV_8U);
    Mat segmentation;
    src.copyTo(segmentation, img);
    // 显示
    imshow("backprojection demo", img);
    imshow("segmentation demo", segmentation);
    waitKey(0);
    return 0;
}