在LabVIEW中调用OpenVINO™模型|开发者实战

图形化开发环境，学习容易入门快

自带机器视觉函数库，并提供OpenCV接口库，开发机器视觉与自动化应用程序速度快

LabVIEW、Vision Development Module和NIVision OpenCV Utilities

Visual Studio 2019 Community；

OpenVINO 2021.4.2 LTS

//定义结构体，存储与Inference Engine相关的变量

typedef struct lv_infer_engine {

    Core ie;                     //ie对象

    ExecutableNetwork exec_net; 

    InferRequest infer_request;

} InferEngineStruct;

// 创建指向InferEngine的指针，并反馈给LabVIEW

EXTERN_C  NI_EXPORT void* ppyolov2_init(char* model_xml_file, char* device_name, NIErrorHandle errorHandle) {

    InferEngineStruct* p = new InferEngineStruct();

    p->exec_net = p->ie.LoadNetwork(model_xml_file, device_name);

    p->infer_request = p->exec_net.CreateInferRequest();

 return (void*)p;        

}

EXTERN_C void NI_EXPORT ppyolov2_predict(NIImageHandle sourceHandle, void* pInferEngine, char* bbox_name, char* bbox_num_name, float* detections, NIErrorHandle errorHandle) {

    NIERROR error = NI_ERR_SUCCESS;

    ReturnOnPreviousError(errorHandle);

 try {

        NIImage source(sourceHandle);

        Mat sourceMat;

        InferEngineStruct* p = (InferEngineStruct*)pInferEngine;

  //从NIImage对象中浅拷贝图像数据到

Mat对象

        ThrowNIError(source.ImageToMat(sourceMat));

        auto type = source.type;

        Blob::Ptr image_blob = p->infer_request.GetBlob("image");

        auto input_H = image_blob->getTensorDesc().getDims()[2]; 

        auto input_W = image_blob->getTensorDesc().getDims()[3];  

    // 交换RB通道

        cv::Mat blob;

        cv::cvtColor(sourceMat, blob, cv::COLOR_BGRA2RGB); 

       // 放缩图片到(input_H,input_W)

        cv::resize(blob, blob, cv::Size(input_H, input_W), 0, 0, cv::INTER_LINEAR);

     // 图像数据归一化，减均值mean，除以方差std

  // PaddleDetection模型使用imagenet数据集的 Mean = [0.485, 0.456, 0.406]和 std = [0.229, 0.224, 0.225]

        vector mean_values{ 0.485 * 255, 0.456 * 255, 0.406 * 255 };

        vector std_values{ 0.229 * 255, 0.224 * 255, 0.225 * 255 };

        vector rgbChannels(3);

        split(blob, rgbChannels);

    for (auto i = 0; i < rgbChannels.size(); i++)

        {

            rgbChannels[i].convertTo(rgbChannels[i], CV_32FC1, 1.0 / std_values[i], (0.0 - mean_values[i]) / std_values[i]);

        }

        merge(rgbChannels, blob);

        fillBlobImage(image_blob, blob);

const float scale_h = float(input_H) / float(sourceMat.rows);

  const float scale_w = float(input_W) / float(sourceMat.cols);

    const pair scale_factor(scale_h, scale_w);

        auto scale_factor_blob = p->infer_request.GetBlob("scale_factor");

        fillBlobImInfo(scale_factor_blob, scale_factor);  

  const pair im_shape(input_H, input_W);

        auto im_shape_blob = p->infer_request.GetBlob("im_shape");

        fillBlobImInfo(im_shape_blob, im_shape);  

        p->infer_request.Infer();        

const float* infer_results = p->infer_request.GetBlob(bbox_name)->buffer().as();        

  const int* bbox_nums = p->infer_request.GetBlob(bbox_num_name)->buffer().as();

        auto bbox_num = bbox_nums[0];

    for (int i = 0; i < bbox_num; i++) {

            detections[i * 6 + 0] = infer_results[i * 6 + 0];

            detections[i * 6 + 1] = infer_results[i * 6 + 1];

            detections[i * 6 + 2] = infer_results[i * 6 + 2];

            detections[i * 6 + 3] = infer_results[i * 6 + 3];

            detections[i * 6 + 4] = infer_results[i * 6 + 4];

            detections[i * 6 + 5] = infer_results[i * 6 + 5];

        }

    }

  catch (NIERROR _err) {

        error = _err;

    }

  catch (...) {

        error = NI_ERR_OCV_USER;

    }

ProcessNIError(error, errorHandle);

}

EXTERN_C void NI_EXPORT ppyolov2_delete(void* pInferEngine, NIErrorHandle errorHandle) {

NIERROR error = NI_ERR_SUCCESS;

ReturnOnPreviousError(errorHandle);

InferEngineStruct* p = (InferEngineStruct*)pInferEngine;

 delete p;

}