【EsDA应用】5分钟快速实现图像人脸检测

原创 ZLG致远电子 2023-05-17 11:36
人脸识别是一种高安全性的生物识别技术,广泛应用在安防、身份验证等领域。而人脸检测是进行人脸识别的重要前提,本文主要介绍如何基于EsDA设计的人脸检测节点,快速实现人脸检测功能。

  简介

人脸识别是一种高安全性的生物识别技术,在安防、身份验证等领域被广泛应用。

本文在【EsDA应用】5分钟快速实现摄像头图像采集 的基础上,使用M6G2C核心板,简单介绍如何基于EsDA设计的face_detection人脸检测功能节点,快速实现人脸检测识别。


  前期准备

若是刚开始接触EsDA,可先阅读EsDA其他系列文章,从零开始搭建环境和掌握基本开发流程,已有基础的可以跳过:
  • EsDA MPC-ZC1 入门(一)—— 软件安装
  • EsDA MPC-ZC1入门(二)—— LED控制
  • 【EsDA应用】5分钟实现一个串口通信业务
  • 【EsDA应用】5分钟快速实现摄像头图像采集

1. 硬件准备

1.1 准备一个摄像头,这里我们以OV7725摄像头为例,搭配转接板使用。

1.2 准备一块LCD显示屏。
1.3 准备一张SD卡,用于存放人脸模型。
1.4 准备一块M6G2C核心板和EPC-6G2C-L评估板,并按照下图所示连接好硬件。其中,eth0网口用于下载流图,并连接LCD显示屏接口、电源,以及将OV7725摄像头通过转接板连接到开发板背面的CSI接口上。

2. 其它准备

将人脸检测相关的模型文件存放到SD卡中。


  节点介绍

这里我们需要使用到摄像头、图像格式转换以及人脸检测相关的AWFlow节点,包括在【EsDA应用】5分钟快速实现摄像头图像采集 中介绍的camera_video节点、camera配置节点、lcd_display节点,以及本文介绍的用于图像数据格式转换的image_format_convert节点和人脸检测节点face_detection。

1. image_format_convert节点

图像格式转换节点,用于将摄像头输出的图像转换为人脸检测节点支持的RGB888格式。
1.1 属性

  • 输入图像格式:待转换图像的格式,一般是摄像头输出的原始数据格式;

  • 输入图像宽度:待转换图像的宽度;

  • 输入图像高度:待转换图像的高度;

  • 输出图像格式:转换后的图像的格式,必须指定为RGB888;

  • 输出图像宽度:转换后的图像的宽度;

  • 输出图像高度:转换后的图像的高度。

1.2 输入

  • image:需要进行转换的原始图像的地址,一般由camera_video节点提供输入;

1.3 输出

  • image:指向转换完成后的目标格式图像数据的指针,一般由后级节点接收并处理;
  • format:转换后的图像的格式;
  • width:转换后的图像的宽度;
  • height:转换后的图像的高度。

2. face_detection节点

face_detection是人脸检测节点,该节点对输入的图像数据进行人脸检测处理,当检测到图像中存在人脸时,截取图像中的人脸数据并输出。后级节点可以使用这个图像数据进行特征值提取、比对等操作。

2.1 属性

  • 活体检测:是否进行活体检测;

  • 模糊检测:是否进行模糊检测;

  • 人脸矫正:是否进行人脸整理矫正;

  • 模型和参数路径:检测模型和参数文件路径;

  • 人脸图像主题:需要进行人脸检测的图像的主题,此节点只对与此属性匹配的输入图像进行检测。

2.2 输入

  • image:输入图像数据的缓冲区指针,必须是RGB888格式,可以由image_format_convert转换后提供输入;

  • width:输入图像的宽度;

  • height:输入图像的高度;

  • topic:输入图像的主题。

2.3 输出

  • image:从输入图像中截取的人脸图像缓冲区;

  • coord_x1:人脸的左上角横坐标,与后面三个坐标共同决定坐标系上的两个点,这两个点可以确定图像中的人脸位置;

  • coord_y1:左上角纵坐标;

  • coord_x2:右下角横坐标;

  • coord_y2:右下角纵坐标。


  业务处理

本应用主要实现M6G2C开发板采集摄像头图像,并在LCD显示屏上进行显示。同时,将摄像头输出的原始数据进行格式转换后,输入到face_detection节点中进行人脸检测。具体实现如下:
1. 添加节点并连线
首先我们需要添加一个camera_video节点用于采集图像,并输出到lcd_display节点中显示。然后,将camera_video节点输出的RGB565原始图像在image_format_convert节点中转换为RGB888格式,接下来将转换后的图像输入到face_detection中进行人脸检测,并将检测的结果输入到lcd_display节点中。另外,增加两个fscript节点,用于指定图像主题和打印坐标点信息。
2. 配置节点
2.1 配置camera_video节点
双击camera_video节点,并在配置项中选择添加一个新的camera节点。

在camera配置节点中,根据所使用的摄像头,分别设置设备名、输出图像的数据格式和图像宽度、高度。

然后更新配置,在camera_video节点的配置项中,选择上一步新增的camera配置节点即可。

2.2 配置image_format_convert
使用image_format_convert节点目的是将图像格式转换为RGB888,因此,根据图像的信息进行设置即可。如果摄像头输出的原始数据即为RGB888,那么这一步可以省略。

2.3 face_detection节点

使用人脸检测节点需要将相关的模型文件存放到文件系统中,并在face_detection节点中指定模型存放的路径,这里我们存放到SD卡中,并指定路径。人脸图像主题属性用于对输入的图像进行过滤,这里我们设置为摄像头输出的图像的主题即可。

2.4 fscript

流图中标识为“1”的fscript节点主要是为图像指定一个主题,我们将其设置为face,和face_detection节点中的主题一致。

msg.topic = "face"

另一个节点用于打印人脸检测结果的坐标点信息,方便我们对结果进行验证。其内容如下:

print("(x1, y1)#:  (" + msg.coord_x1 + ", " + msg.coord_y1 + ")")

print("(x2, y2)#:  (" + msg.coord_x2 + ", " + msg.coord_y2 + ")")

2.5 lcd_display节点

lcd_display节点用于显示图像,不需要我们进行配置。它会实时显示camera_video节点输出的图像,并且在检测到图像中存在人脸后,根据face_detection节点输入的坐标,在图像中将人脸框选显示出来。
3. 下载验证
因为M6G2C开发板是通过网口去下载流图,所以打开AWFlow Designer后需要配置目标板IP和端口号。然后点击下载运行即可。

流图下载完成后,通过LCD可以看到,我们已经成功从摄像头获取图像,并且成功在显示屏上显示。

当摄像头采集的图像中含有人脸时,face_detection节点可以正常检测到人脸并且输出准确的坐标点。


  技术交流群
长按识别如下二维码可加入“EsDA嵌入式系统设计自动化交流群”,与志同道合的朋友交流,并有专业技术人员为您答疑解惑,如有问题可以咨询小致微信zlgmcu-888。

更多往期文章,请点击“ 阅读原文 ”。

评论
  •         温度传感器的精度受哪些因素影响,要先看所用的温度传感器输出哪种信号,不同信号输出的温度传感器影响精度的因素也不同。        现在常用的温度传感器输出信号有以下几种:电阻信号、电流信号、电压信号、数字信号等。以输出电阻信号的温度传感器为例,还细分为正温度系数温度传感器和负温度系数温度传感器,常用的铂电阻PT100/1000温度传感器就是正温度系数,就是说随着温度的升高,输出的电阻值会增大。对于输出
    锦正茂科技 2024-12-03 11:50 111浏览
  • TOF多区传感器: ND06   ND06是一款微型多区高集成度ToF测距传感器,其支持24个区域(6 x 4)同步测距,测距范围远达5m,具有测距范围广、精度高、测距稳定等特点。适用于投影仪的无感自动对焦和梯形校正、AIoT、手势识别、智能面板和智能灯具等多种场景。                 如果用ND06进行手势识别,只需要经过三个步骤: 第一步&
    esad0 2024-12-04 11:20 58浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 120浏览
  • RDDI-DAP错误通常与调试接口相关,特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法: 1. 硬件连接问题:     检查调试器(如ST-Link)与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接,没有松动或短路。 2. 电源问题:     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题: &n
    丙丁先生 2024-12-01 17:37 102浏览
  • 最近几年,新能源汽车愈发受到消费者的青睐,其销量也是一路走高。据中汽协公布的数据显示,2024年10月,新能源汽车产销分别完成146.3万辆和143万辆,同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看,比亚迪再度夺得了销冠宝座,其10月新能源汽车销量达到了502657辆,同比增长66.53%。众所周知,比亚迪是新能源汽车领域的重要参与者,其一举一动向来为外界所关注。日前,比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8,该款车型一上市就迅速吸引了消费者的目光,成为SUV
    刘旷 2024-12-02 09:32 119浏览
  • 作为优秀工程师的你,已身经百战、阅板无数!请先醒醒,新的项目来了,这是一个既要、又要、还要的产品需求,ARM核心板中一个处理器怎么能实现这么丰富的外围接口?踌躇之际,你偶阅此文。于是,“潘多拉”的魔盒打开了!没错,USB资源就是你打开新世界得钥匙,它能做哪些扩展呢?1.1  USB扩网口通用ARM处理器大多带两路网口,如果项目中有多路网路接口的需求,一般会选择在主板外部加交换机/路由器。当然,出于成本考虑,也可以将Switch芯片集成到ARM核心板或底板上,如KSZ9897、
    万象奥科 2024-12-03 10:24 68浏览
  • 当前,智能汽车产业迎来重大变局,随着人工智能、5G、大数据等新一代信息技术的迅猛发展,智能网联汽车正呈现强劲发展势头。11月26日,在2024紫光展锐全球合作伙伴大会汽车电子生态论坛上,紫光展锐与上汽海外出行联合发布搭载紫光展锐A7870的上汽海外MG量产车型,并发布A7710系列UWB数字钥匙解决方案平台,可应用于数字钥匙、活体检测、脚踢雷达、自动泊车等多种智能汽车场景。 联合发布量产车型,推动汽车智能化出海紫光展锐与上汽海外出行达成战略合作,联合发布搭载紫光展锐A7870的量产车型
    紫光展锐 2024-12-03 11:38 101浏览
  • 概述 说明(三)探讨的是比较器一般带有滞回(Hysteresis)功能,为了解决输入信号转换速率不够的问题。前文还提到,即便使能滞回(Hysteresis)功能,还是无法解决SiPM读出测试系统需要解决的问题。本文在说明(三)的基础上,继续探讨为SiPM读出测试系统寻求合适的模拟脉冲检出方案。前四代SiPM使用的高速比较器指标缺陷 由于前端模拟信号属于典型的指数脉冲,所以下降沿转换速率(Slew Rate)过慢,导致比较器检出出现不必要的问题。尽管比较器可以使能滞回(Hysteresis)模块功
    coyoo 2024-12-03 12:20 116浏览
  • 11-29学习笔记11-29学习笔记习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-02 23:58 73浏览
  • 遇到部分串口工具不支持1500000波特率,这时候就需要进行修改,本文以触觉智能RK3562开发板修改系统波特率为115200为例,介绍瑞芯微方案主板Linux修改系统串口波特率教程。温馨提示:瑞芯微方案主板/开发板串口波特率只支持115200或1500000。修改Loader打印波特率查看对应芯片的MINIALL.ini确定要修改的bin文件#查看对应芯片的MINIALL.ini cat rkbin/RKBOOT/RK3562MINIALL.ini修改uart baudrate参数修改以下目
    Industio_触觉智能 2024-12-03 11:28 87浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦