使用Caffe模型+DPU进行实时人脸检测:Vitis-AI3.0的非官方支持流程

FPGA开发圈 2024-06-14 12:04

作者:Shaoyi Chen,AMD工程师;来源:AMD开发者社区

近年来,深度学习框架的快速发展使得人工智能应用领域取得了巨大的进步。其中,Caffe框架以其简单易用、高效快速的特点受到了广泛关注和应用。然而,随着Vitis-AI 2.0的推出,Caffe框架的支持也宣告结束,这引起了许多开发者的关注和讨论。

Caffe框架的简介

首先,让我们简要介绍一下Caffe框架。Caffe是由伯克利视觉与学习中心(Berkeley Vision and Learning Center)开发的一个深度学习框架,以其速度快、配置简单、易于扩展等特点而广受欢迎。其采用了C++语言编写,支持命令行界面和Python接口,使得用户可以轻松地定义、训练和部署各种深度学习模型。

Vitis-AI 2.0之后对Caffe的支持终止

然而,随着Xilinx推出Vitis-AI 2.0,Caffe框架的支持也随之终止。这一决定引起了广泛的讨论和反响。一些开发者表示担忧,担心他们之前基于Caffe框架开发的项目将受到影响,而另一些人则认为这是迈向更先进、更高效的深度学习框架的必然选择。

Model Zoo中的训练好的模型

尽管Caffe框架的支持终止了,但在其官方的Model Zoo中仍然存在大量经过训练的模型,涵盖了各种各样的应用场景,如图像分类、目标检测、语义分割等。这些预训练的模型可以为开发者提供便利,节省大量的训练时间和资源,使得他们能够更快地搭建和部署深度学习模型。

Vitis-AI 3.0对Caffe模型的非官方支持

尽管在Vitis-AI 3.0中官方已经不再支持Caffe框架,但开发者仍然可以继续使用这些Caffe模型。虽然这并不是官方支持的流程,但通过一些额外的工作,开发者仍然可以成功地在Vitis-AI 3.0中调用和部署这些模型。

通过人脸检测实验展示如何调用Caffe模型

为了更具体地展示如何在Vitis-AI 3.0中调用Caffe模型,我们将进行一个简单的人脸检测实验。首先,我们需要选择一个合适的Caffe模型,如densebox320人脸检测模型。然后,我们需要将该模型转换成Vitis-AI 3.0支持的格式,并对其进行部署和调用。最后,我们可以通过USB摄像头输入一张人脸图像,观察模型的输出结果,验证其在人脸检测任务上的性能和准确性。

在代码中我们创建DPU runner,从摄像头读取图像并用DPU进行推理计算,然后进行后处理,并通过X11转发画面。

def detect():    resolution = 4    threshold = 0.9    nms_threshold = 0.3       g = xir.Graph.deserialize("../densebox320/densebox320.xmodel")    subgraphs = get_child_subgraph_dpu(g)    assert len(subgraphs) == 1  # only one DPU kernel       dpu_runner = vart.Runner.create_runner(subgraphs[0], "run")    camera = cv2.VideoCapture(0)    width = 640    height = 360    camera.set(cv2.CAP_PROP_FRAME_WIDTH,width)    camera.set(cv2.CAP_PROP_FRAME_HEIGHT,height)    while True:        (grabbed, image_ori) = camera.read()        imagePad = padProcess(image_ori)        image = cv2.resize(imagePad,(32*int(320/32), 32*int(320/32)), interpolation = cv2.INTER_CUBIC)        szs = (float(imagePad.shape[0])/float(image.shape[0]), float(imagePad.shape[1])/float(image.shape[1]))        sz = image.shape        image = image.astype(np.float)        image = image - 128        # image = np.transpose(image, (2, 0, 1))        output = rundensebox(image, dpu_runner)        # generate result        prob = output[1][0, ..., 1]        bb = output[0][0, ...]        bb = np.transpose(bb, (2, 0, 1))        gy = np.arange(0, sz[0], resolution)        gx = np.arange(0, sz[1], resolution)        [x, y] = np.meshgrid(gx, gy)        bb[0, :, :] = bb[0, :, :] + x        bb[0, :, :] = bb[0, :, :] * szs[1]        bb[1, :, :] = bb[1, :, :] + y        bb[1, :, :] = bb[1, :, :] * szs[0]        bb[2, :, :] = bb[2, :, :] + x        bb[2, :, :] = bb[2, :, :] * szs[1]        bb[3, :, :] = bb[3, :, :] + y        bb[3, :, :] = bb[3, :, :] * szs[0]        bb = np.reshape(bb, (4, -1)).T        prob = np.reshape(prob, (-1, 1))        bb = bb[prob.ravel() > threshold, :]        prob = prob[prob.ravel() > threshold, :]        # nms        rects = np.hstack((bb, prob))        keep = nms(rects, nms_threshold)        rects = rects[keep, :]        # write result to file        for rect in rects:            cv2.rectangle(image_ori,(int(rect[0]),int(rect[1])),(int(rect[2]),int(rect[3])),(0,255,0),3)        cv2.imshow("img", image_ori)    camera.release()    cv2.destroyAllWindows()

DPU的调用由rundensebox来执行。

def rundensebox(img, dpu_runner):    """get tensor"""    inputTensors = dpu_runner.get_input_tensors()    outputTensors = dpu_runner.get_output_tensors()     input_ndim = tuple(inputTensors[0].dims)    # print(input_ndim)    input_fixpos = inputTensors[0].get_attr("fix_point")    input_scale = 2**input_fixpos    output_ndim_0 = tuple(outputTensors[0].dims)     # print(output_ndim_0)    output_ndim_1 = tuple(outputTensors[1].dims)    # print(output_ndim_1)     output_fixpos_0 = outputTensors[0].get_attr("fix_point")    output_scale_0 = 1 / (2**output_fixpos_0)    output_fixpos_1 = outputTensors[1].get_attr("fix_point")    output_scale_1 = 1 / (2**output_fixpos_1)    imgquant = img * input_scale    runSize = input_ndim[0]    """prepare batch input/output """    inputData = [np.empty(input_ndim, dtype=np.int8, order="C")]    outputData = [np.empty(output_ndim_0, dtype=np.int8, order="C"),                np.empty(output_ndim_1, dtype=np.int8, order="C")]       """init input image to input buffer """    imageRun = inputData[0]    imageRun[0, ...] = imgquant.reshape(input_ndim[1:])       """run with batch """    job_id = dpu_runner.execute_async(inputData, outputData)    dpu_runner.wait(job_id)       result = [outputData[0] * output_scale_0,              outputData[1] * output_scale_1]    return result

最后的显示结果如图所示。

结语

尽管Caffe框架在Vitis-AI 2.0之后的支持已经终止,但在Vitis-AI 3.0中仍然可以继续使用这些经过训练的Caffe模型。通过一些额外的工作和非官方的支持流程,开发者仍然可以成功地调用和部署这些模型,为各种应用场景提供强大的深度学习解决方案。

FPGA开发圈 这里介绍、交流、有关FPGA开发资料(文档下载,技术解答等),提升FPGA应用能力。
评论
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 47浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 47浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 70浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 74浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦