面包芯语

YOLOv5最新6.1在OpenCVDNN、OpenVINO、ONNXRUNTIME上推理对比

原创 OpenCV学堂 2022-03-11 15:58
百万设备≠唯一解！精密测量成本砍半秘籍 低频测量误差高达70%？你可能忽略了这个关键因素

点击上方蓝字关注我们

微信公众号：OpenCV学堂

关注获取更多计算机视觉与深度学习知识

引言

我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。

软件版本与硬件规格

测试用的硬件与软件信息：

GPU 1050TiCPU i7八代OS：Win10 64位OpenVINO2021.4ONNXRUNTIME：1.4OpenCV4.5.4Python3.6.5YOLOv5 6.1

使用的YOLOv5模型中的yolov5s.pt模型，转换为ONNX模型之后输入格式为：

NCHW = 1x3x640x640

最终输出层名称:output，格式：

NHW = 1x25200x85

YOLOv5推理速度比较

基于同一段视频文件，Python/C++代码测试结果比较如下：

说明：OpenCV DNN与OpenVINO是基于CPU测试的，ONNXRUNTIME是基于GPU版本测试的，ONNXRUNTIME的CPU版本我没有测试过。

贴几张运行时候的截图：

代码实现与说明

ONNX代码实现部分主要是参考了YOLOv5官方给出几个链接：

https://github.com/microsoft/onnxruntime/issues/10323https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.htmlhttps://github.com/microsoft/onnxruntime-inference-examples/blob/main/c_cxx/imagenet/main.cc

有一个特别坑的地方需要特别的注意：

ONNX C++的环境必须是全局变量，声明如下：

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "YOLOv5");
只有所有的推理图象执行完成才可以调用release进行释放，否则就会一直卡死，程序崩溃！ONNX其它的部分的代码实现基本实现了跟DNN/OpenVINO推理后处理代码的完全复用！相关代码建议参考之前的两篇推文：

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理


特别说明：怎么没有TensorRT/？主要是因为我电脑安装了CUDA10.1版本+TensorRT7.0的不兼容，我又不想再折腾重新安装CUDA10.0，所以暂无！等我新笔记本到货立刻补上这一缺失！




扫码查看OpenCV+Pytorch系统化学习路线图


 推荐阅读 

CV全栈开发者说 - 从传统算法到深度学习怎么修炼

Pytorch轻松实现经典视觉任务

教程推荐 | Pytorch框架CV开发-从入门到实战

OpenCV4 C++学习 必备基础语法知识三

OpenCV4 C++学习 必备基础语法知识二

OpenCV4.5.4 人脸检测+五点landmark新功能测试

OpenCV4.5.4人脸识别详解与代码演示

OpenCV二值图象分析之Blob分析找圆

OpenCV4.5.x DNN + YOLOv5 C++推理

OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理



登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
OpenCV学堂 专注计算机视觉开发技术分享,技术框架使用,包括OpenCV,Tensorflow,Pytorch教程与案例,相关算法详解,最新CV方向论文,硬核代码干货与代码案例详解!作者在CV工程化方面深度耕耘15年,感谢您的关注!
评论
  • 广电计量出版FIB领域专著，赋能半导体质量精准提升
            近日，广电计量在聚焦离子束（FIB）领域编写的专业著作《聚焦离子束：失效分析》正式出版，填补了国内聚焦离子束领域实践性专业书籍的空白，为该领域的技术发展与知识传播提供了重要助力。         随着芯片技术不断发展，芯片的集成度越来越高，结构也日益复杂。这使得传统的失效分析方法面临巨大挑战。FIB技术的出现，为芯片失效分析带来了新的解决方案。它能够在纳米尺度上对芯片进行精确加工和分析。当芯
    广电计量 2025-02-28 09:15 89浏览
  • 高性能、远距离SoC无线收发模块RFM25A12
    在物联网领域中，无线射频技术作为设备间通信的核心手段，已深度渗透工业自动化、智慧城市及智能家居等多元场景。然而，随着物联网设备接入规模的不断扩大，如何降低运维成本，提升通信数据的传输速度和响应时间，实现更广泛、更稳定的覆盖已成为当前亟待解决的系统性难题。SoC无线收发模块-RFM25A12在此背景下，华普微创新推出了一款高性能、远距离与高性价比的Sub-GHz无线SoC收发模块RFM25A12，旨在提升射频性能以满足行业中日益增长与复杂的设备互联需求。值得一提的是，RFM25A12还支持Wi-S
    华普微HOPERF 2025-02-28 09:06 101浏览
  • 天下共赴具身智能，车企纷纷入局，未来已来？
    在2024年的科技征程中，具身智能的发展已成为全球关注的焦点。从实验室到现实应用，这一领域正以前所未有的速度推进，改写着人类与机器的互动边界。这一年，我们见证了具身智能技术的突破与变革，它不仅落地各行各业，带来新的机遇，更在深刻影响着我们的生活方式和思维方式。随着相关技术的飞速发展，具身智能不再仅仅是一个技术概念，更像是一把神奇的钥匙。身后的众多行业，无论愿意与否，都像是被卷入一场伟大变革浪潮中的船只，注定要被这股汹涌的力量重塑航向。01为什么是具身智能？为什么在中国？最近，中国具身智能行业的进
    艾迈斯欧司朗 2025-02-28 15:45 160浏览
  • 震动样品磁强计VSM测量什么
    一、VSM的基本原理震动样品磁强计（Vibrating Sample Magnetometer，简称VSM）是一种灵敏且高效的磁性测量仪器。其基本工作原理是利用震动样品在探测线圈中引起的变化磁场来产生感应电压，这个感应电压与样品的磁矩成正比。因此，通过测量这个感应电压，我们就能够精确地确定样品的磁矩。在VSM中，被测量的样品通常被固定在一个震动头上，并以一定的频率和振幅震动。这种震动在探测线圈中引起了变化的磁通量，从而产生了一个交流电信号。这个信号的幅度和样品的磁矩有着直接的关系。因此，通过仔细
    锦正茂科技 2025-02-28 13:30 78浏览
  • 参加《广东省科技创新条例》宣讲会
              近日受某专业机构邀请，参加了官方举办的《广东省科技创新条例》宣讲会。在与会之前，作为一名技术工作者一直认为技术的法例都是保密和侵权方面的，而潜意识中感觉法律有束缚创新工作的进行可能。通过一个上午学习新法，对广东省的科技创新有了新的认识。广东是改革的前沿阵地，是科技创新的沃土，企业是创新的主要个体。《广东省科技创新条例》是广东省为促进科技创新、推动高质量发展而制定的地方性法规，主要内容包括： 总则：明确立法目
    广州铁金刚 2025-02-28 10:14 90浏览
  • 可穿戴健康监测新趋势，艾迈斯欧司朗的创新 “智” 造
    更多生命体征指标风靡的背后都只有一个原因：更多人将健康排在人生第一顺位！“AGEs，也就是晚期糖基化终末产物，英文名Advanced Glycation End-products，是存在于我们体内的一种代谢产物” 艾迈斯欧司朗亚太区健康监测高级市场经理王亚琴说道，“相信业内的朋友都会有关注，最近该指标的热度很高，它可以用来评估人的生活方式是否健康。”据悉，AGEs是可穿戴健康监测领域的一个“萌新”指标，近来备受关注。如果站在学术角度来理解它，那么AGEs是在非酶促条件下，蛋白质、氨基酸
    艾迈斯欧司朗 2025-02-27 14:50 363浏览
  • 美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?
    美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?‌美国加州CEC能效认证与美国DOE能效认证在多个方面存在显著差异‌。认证范围和适用地区‌CEC能效认证‌：仅适用于在加利福尼亚州销售的电器产品。CEC认证的范围包括制冷设备、房间空调、中央空调、便携式空调、加热器、热水器、游泳池加热器、卫浴配件、光源、应急灯具、交通信号模块、灯具、洗碗机、洗衣机、干衣机、烹饪器具、电机和压缩机、变压器、外置电源、消费类电子设备
    张工nx808593 2025-02-27 18:04 92浏览
  • Vscode C语言编程环境配置
    1,微软下载免费Visual Studio Code2,安装C/C++插件,如果无法直接点击下载, 可以选择手动install from VSIX:ms-vscode.cpptools-1.23.6@win32-x64.vsix3,安装C/C++编译器MniGW (MinGW在 Windows 环境下提供类似于 Unix/Linux 环境下的开发工具，使开发者能够轻松地在 Windows 上编写和编译 C、C++ 等程序.)4,C/C++插件扩展设置中添加Include Path 5,
    黎查 2025-02-28 14:39 100浏览
  • RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！
    RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！随着科技的进步和消费者需求变化，电脑接口设备单一功能性已无法满足市场需求，因此在产品上增加「动态光效」的形式便应运而生，藉此吸引消费者目光。这种RGB灯光效果，不仅能增强电脑周边产品的视觉吸引力，还能为用户提供个性化的体验，展现独特自我风格。如今，笔记本电脑、键盘、鼠标、鼠标垫、耳机、显示器等多种电脑接口设备多数已配备动态光效。这些设备的灯光效果会随着音乐节奏、游戏情节或使用者的设置而变化。想象一个画面，当一名游戏玩家，按下电源开关，整
    百佳泰测试实验室 2025-02-27 14:15 132浏览
  • 振动样品磁强计测量准确度的影响因素
    振动样品磁强计是一种用于测量材料磁性的精密仪器，广泛应用于科研、工业检测等领域。然而，其测量准确度会受到多种因素的影响，下面我们将逐一分析这些因素。一、温度因素温度是影响振动样品磁强计测量准确度的重要因素之一。随着温度的变化，材料的磁性也会发生变化，从而影响测量结果的准确性。因此，在进行磁性测量时，应确保恒温环境，以减少温度波动对测量结果的影响。二、样品制备样品的制备过程同样会影响振动样品磁强计的测量准确度。样品的形状、尺寸和表面处理等因素都会对测量结果产生影响。为了确保测量准确度，应严格按照规
    锦正茂科技 2025-02-28 14:05 117浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦