YOLO系列模型CPU推理封装DLL测试

原创 OpenCV学堂 2024-10-21 21:05

【有奖直播】无线前沿新技术与测试技术峰会 精密双向电流感应放大器设计方案

点击上方蓝字关注我们

微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识

YOLO系列推理库封装

都属于轻量化的模型网络，可以支持部署在CPU达到实时运行，从而降低企业模板模型需要GPU的成本开销，基于这个场景，本人基于OpenCV与OpenVINO封装了YOLO系列（YOLOv5、YOLOv8、YOLOv10、YOLO11）模型的对象检测、实例分割、OBB对象检测、姿态评估 C++ 推理功能、导出DLL以后支持C++与C#调用。封装的与支持的常用主流YOLO模型如下：

客户端调用

基于封装好的DLL，导出的接口定义如下：

class YOLOQTingInferAlgo {public:  virtual void initConfig(std::string onnxpath, float score, int input_w, int input_h, bool gpu) = 0;  virtual void detect(cv::Mat & frame, std::vector &results) = 0;};

支持基于YOLO系列自定义训练的模型推理部署，然后第三方应用集成与调用，只需要三行代码即可完成。

YOLOv5推理代码片段

std::shared_ptr detector(new YOLOv5SegOpenVINO());detector->initConfig("D:/python/yolov5-7.0/yolov5s-seg.onnx", 0.25, 640, 640, false);detector->detect(frame, results);

推理结果

YOLOv8推理代码片段

std::shared_ptr detector(new YOLOv8OpenVINODetector());detector->initConfig("D:/projects/yolov8n.onnx", 0.25, 640, 640, false);detector->detect(frame, results);

YOLOv10推理代码片段

std::shared_ptr detector(new YOLOv10OpenVINODetector());detector->initConfig("D:/projects/yolov10n.onnx", 0.25, 640, 640, false);detector->detect(frame, results);

YOLOv11 推理代码片段

std::shared_ptr detector(new YOLO11OpenVINODetector());detector->initConfig("D:/python/my_yolov8_train_demo/yolo11n.onnx", 0.25, 640, 640, false);detector->detect(frame, results);

运行结果如下：