替换两个函数,Python版YOLOv5+OpenCV推理帧率提升1.5倍

OpenCV学堂 2025-02-12 22:29

点击上方蓝字关注我们

微信公众号:OpenCV学堂

关注获取更多计算机视觉与深度学习知识

测试与发现

YOLOv5官方给出的YOLOv5在OpenCV上推理的程序相对来说是比较通俗易懂的,条理清晰,有基本的封装,直接可用!但是我也发现,模型的推理时间跟前后处理的时间相差无几,特别是当视频流有多个检测到的对象时候,整个帧率会有明显下降!官方推荐的参考示例代码链接为:
    https://github.com/doleron/yolov5-opencv-cpp-python/blob/main/python/yolo-tiny.py
    最后发现推理时间没有明显变化,主要是前后处理,有两个函数耗时比较高!从输入图像转换到模型输入数据的函数:
      cv2.dnn.blobFromImage(input_image , 1/255.0, (640, 640), swapRB=True)
      推理之后的重叠目标框非最大抑制函数:
        indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.25, 0.45)
        特别是非最大抑制函数,随着图像中目标数目增多,导致帧率成明显下降趋势!

        修改输入转换

          cv2.dnn.blobFromImage(input_image , 1/255.0, (640, 640), swapRB=True)

          可以通过下面的代码等价替换:

          rgb = cv.cvtColor(image, cv.COLOR_BGR2RGB)
          input_image = cv.resize(src=rgb, dsize=(INPUT_WIDTH, INPUT_HEIGHT))
          blob_img = np.float32(input_image) / 255.0
          input_x = blob_img.transpose((201))
          input_blob = np.expand_dims(input_x, 0)


          修改之后测试发现该替代降低了执行时间,说明替代有效!


          修改非最大抑制

            indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.25, 0.45)

            输入的box格式x, y,w,h,我参考了网上的代码,修改实现一个基于并交比最简单的NMS抑制算法,基于矩阵计算,保证不会因为对象变得多了,增加计算耗时,然后把它们封装成一个单独的方法,导入该方法直接替换之前的代码行为:

              class_ids, boxes = non_max_suppression_fast(np.asarray(class_ids), np.asarray(boxes), 0.75)

              该函数完整的实现代码如下:

              import numpy as np


              def non_max_suppression_fast(class_ids, boxes, nms_threshold):
                  # if there are no boxes, return
                  if len(boxes) == 0:
                      return [], []

                  if boxes.dtype.kind == "i":
                      boxes = boxes.astype("float")

                  # initialize the list of picked indexes
                  pick = []

                  # grab the coordinates of the bounding boxes
                  x1 = boxes[:,0]
                  y1 = boxes[:,1]
                  x2 = boxes[:,2]
                  y2 = boxes[:,3]

                  # compute the area of the bounding boxes and sort the bounding
                  # boxes by the bottom-right y-coordinate of the bounding box
                  area = (x2 - x1 + 1) * (y2 - y1 + 1)
                  idxs = np.argsort(y2)

                  # keep looping while some indexes still remain in the indexes
                  # list
                  while len(idxs) > 0:
                      # grab the last index in the indexes list and add the
                      # index value to the list of picked indexes
                      last = len(idxs) - 1
                      i = idxs[last]
                      pick.append(i)

                      # find the largest (x, y) coordinates for the start of
                      # the bounding box and the smallest (x, y) coordinates
                      # for the end of the bounding box
                      xx1 = np.maximum(x1[i], x1[idxs[:last]])
                      yy1 = np.maximum(y1[i], y1[idxs[:last]])
                      xx2 = np.minimum(x2[i], x2[idxs[:last]])
                      yy2 = np.minimum(y2[i], y2[idxs[:last]])

                      # compute the width and height of the bounding box
                      w = np.maximum(0, xx2 - xx1 + 1)
                      h = np.maximum(0, yy2 - yy1 + 1)

                      # compute the ratio of overlap
                      overlap = (w * h) / area[idxs[:last]]

                      # delete all indexes from the index list that have
                      idxs = np.delete(idxs, np.concatenate(([last],
                          np.where(overlap > nms_threshold)[0])))

                  # return only the bounding boxes that were picked using the
                  # integer data type
                  return class_ids[pick], boxes[pick].astype("int")


              if __name__ == "__main__":
                  boxes = []
                  boxes.append((163,   0,  27+163,  41))
                  boxes.append((164,   0,  28+164,  43))
                  boxes.append((165,    0,   29+165,   42))
                  res = non_max_suppression_fast(None, np.asarray(boxes), 0.25)
                  print(res)


              对比测试

              两处都修改完成之后,其它输入条件与代码不变,硬件相同条件下对比测试效果如下:修改之前 Python版本OpenCV与OpenVINO上推理速度:


              修改之后 Python版本OpenCV与OpenVINO上推理速度:

              可以看到FPS较之前有明显的提升!

              拥抱AI时代 先必须搞定深度学习主流框架Pytorch,扫码学习Pytorch最新视频课程,2025启航争锋AI时代。

              图片


              原价:398

              折扣:299


              推荐阅读

              OpenCV4.8+YOLOv8对象检测C++推理演示

              ZXING+OpenCV打造开源条码检测应用

              总结 | OpenCV4 Mat操作全接触

              三行代码实现 TensorRT8.6 C++ 深度学习模型部署

              实战 | YOLOv8+OpenCV 实现DM码定位检测与解析

              对象检测边界框损失 – 从IOU到ProbIOU

              YOLOv8 OBB实现自定义旋转对象检测

              初学者必看 | 学习深度学习的五个误区

              YOLOv8自定义数据集训练实现安全帽检测


              图片


              OpenCV学堂 专注计算机视觉开发技术分享,技术框架使用,包括OpenCV,Tensorflow,Pytorch教程与案例,相关算法详解,最新CV方向论文,硬核代码干货与代码案例详解!作者在CV工程化方面深度耕耘15年,感谢您的关注!
              评论 (0)
              • 现阶段,Zigbee、Z-Wave、Thread、Wi-Fi与蓝牙等多种通信协议在智能家居行业中已得到广泛应用,但协议间互不兼容的通信问题仍在凸显。由于各协议自成体系、彼此割据,智能家居市场被迫催生出大量桥接器、集线器及兼容性软件以在不同生态的设备间构建通信桥梁,而这种现象不仅增加了智能家居厂商的研发成本与时间投入,还严重削减了终端用户的使用体验。为应对智能家居的生态割裂现象,家居厂商需为不同通信协议重复开发适配方案,而消费者则需面对设备入网流程繁琐、跨品牌功能阉割及兼容隐患等现实困境。在此背景
                华普微HOPERF 2025-04-17 17:53 89浏览
              • 近日,全球6G技术与产业生态大会(简称“全球6G技术大会”)在南京召开。紫光展锐应邀出席“空天地一体化与数字低空”平行论坛,并从6G通信、感知、定位等多方面分享了紫光展锐在6G前沿科技领域的创新理念及在空天地一体化技术方面的研发探索情况。全球6G技术大会是6G领域覆盖广泛、内容全面的国际会议。今年大会以“共筑创新 同享未来”为主题,聚焦6G愿景与关键技术、安全可信、绿色可持续发展等前沿主题,汇聚国内外24家企业、百余名国际知名高校与科研代表共同商讨如何推动全行业6G标准共识形成。6G迈入关键期,
                紫光展锐 2025-04-17 18:55 177浏览
              •   无人机蜂群电磁作战仿真系统全解析   一、系统概述   无人机蜂群电磁作战仿真系统是专业的仿真平台,用于模拟无人机蜂群在复杂电磁环境中的作战行为与性能。它构建虚拟电磁环境,模拟无人机蜂群执行任务时可能遇到的电磁干扰与攻击,评估作战效能和抗干扰能力,为其设计、优化及实战应用提供科学依据。   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提
                华盛恒辉l58ll334744 2025-04-17 16:29 121浏览
              • 【摘要/前言】4月春日花正好,Electronica就在浪漫春日里,盛大启幕。2025年4月15-17日,慕尼黑上海电子展于上海新国际博览中心成功举办。伴随着AI、新能源汽车、半导体的热潮,今年的Electronica盛况空前。请跟随Samtec的视角,感受精彩时刻!【 Samtec展台:老虎的朋友圈技术派对】借天时、占地利、聚人和,Samtec 展台人气爆棚!每年展会与大家相聚,总能收获温暖与动力~Samtec展台位于W3展馆716展位,新老朋友相聚于此,俨然一场线下技术派对!前沿D
                电子资讯报 2025-04-17 11:38 56浏览
              •   无人机电磁环境效应仿真系统:深度剖析   一、系统概述   无人机电磁环境效应仿真系统,专为无人机在复杂电磁环境下的性能评估及抗干扰能力训练打造。借助高精度仿真技术,它模拟无人机在各类电磁干扰场景中的运行状态,为研发、测试与训练工作提供有力支撑。   应用案例   目前,已有多个无人机电磁环境效应仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁环境效应仿真系统。这些成功案例为无人机电磁环境效应仿真系统的推广和应用提供了有力支持。   二、系统功能  
                华盛恒辉l58ll334744 2025-04-17 15:51 109浏览
              •   北京华盛恒辉无人机电磁兼容模拟训练系统软件是专门用于模拟与分析无人机在复杂电磁环境中电磁兼容性(EMC)表现的软件工具。借助仿真技术,它能帮助用户评估无人机在电磁干扰下的性能,优化电磁兼容设计,保障无人机在复杂电磁环境中稳定运行。   应用案例   目前,已有多个无人机电磁兼容模拟训练系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁兼容模拟训练系统。这些成功案例为无人机电磁兼容模拟训练系统的推广和应用提供了有力支持。   系统功能   电磁环境建模:支持三维
                华盛恒辉l58ll334744 2025-04-17 15:10 82浏览
              • 一、行业背景与需求随着智能化技术的快速发展和用户对便捷性需求的提升,电动车行业正经历从传统机械控制向智能交互的转型。传统电动车依赖物理钥匙、遥控器和独立防盗装置,存在操作繁琐、功能单一、交互性差等问题。用户期待通过手机等智能终端实现远程控制、实时数据监控及个性化交互体验。为此,将蓝牙语音芯片集成至电动车中控系统,成为推动智能化升级的关键技术路径。二、方案概述本方案通过在电动车中控系统中集成WT2605C蓝牙语音芯片,构建一套低成本、高兼容性的智能交互平台,实现以下核心功能:手机互联控制:支持蓝牙
                广州唯创电子 2025-04-18 08:33 157浏览
              • 置信区间反映的是“样本均值”这个统计量的不确定性,因此使用的是标准误(standard error),而不是直接用样本标准差(standard deviation)。标准误体现的是均值的波动程度,而样本标准差体现的是个体数据的波动程度,两者并非一回事,就如下图所显示的一样。下面优思学院会一步一步解释清楚:一、标准差和标准误,究竟差在哪?很多同学对“标准差”和“标准误”这两个概念傻傻分不清楚,但其实差别明显:标准差(Standard Deviation,σ或s):是衡量单个数据点相对于平均值波动的
                优思学院 2025-04-17 13:59 29浏览
              • 一、行业背景与需求智能门锁作为智能家居的核心入口,正从单一安防工具向多场景交互终端演进。随着消费者对便捷性、安全性需求的提升,行业竞争已从基础功能转向成本优化与智能化整合。传统门锁后板方案依赖多颗独立芯片(如MCU、电机驱动、通信模块、语音模块等),导致硬件复杂、功耗高、开发周期长,且成本压力显著。如何通过高集成度方案降低成本、提升功能扩展性,成为厂商破局关键。WTVXXX-32N语音芯片通过“单芯片多任务”设计,将语音播报、电机驱动、通信协议解析、传感器检测等功能整合于一体,为智能门锁后板提供
                广州唯创电子 2025-04-18 09:04 154浏览
              •   无人机电磁兼容模拟训练系统软件:全方位剖析   一、系统概述   北京华盛恒辉无人机电磁兼容模拟训练系统软件,专为满足无人机于复杂电磁环境下的运行需求而打造,是一款专业训练工具。其核心功能是模拟无人机在电磁干扰(EMI)与电磁敏感度(EMS)环境里的运行状况,助力用户评估无人机电磁兼容性能,增强其在复杂电磁场景中的适应水平。   应用案例   目前,已有多个无人机电磁兼容模拟训练系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁兼容模拟训练系统。这些成功案例为
                华盛恒辉l58ll334744 2025-04-17 14:52 52浏览
              • 1. 在Ubuntu官网下载Ubuntu server  20.04版本https://releases.ubuntu.com/20.04.6/2. 在vmware下安装Ubuntu3. 改Ubuntu静态IP$ sudo vi /etc/netplan/00-installer-config.yaml# This is the network config written by 'subiquity'network:  renderer: networkd&nbs
                二月半 2025-04-17 16:27 114浏览
              •   无人机蜂群电磁作战仿真系统软件,是专门用于模拟、验证无人机蜂群在电磁作战环境中协同、干扰、通信以及对抗等能力的工具。下面从功能需求、技术架构、典型功能模块、发展趋势及应用场景等方面展开介绍:   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提供了有力支持。   功能需求   电磁环境建模:模拟构建复杂多样的电磁环境,涵盖各类电磁干扰源与
                华盛恒辉l58ll334744 2025-04-17 16:49 111浏览
              我要评论
              0
              0
              点击右上角,分享到朋友圈 我知道啦
              请使用浏览器分享功能 我知道啦