FacenetPytorch人脸识别方案--基于米尔全志T527开发板

米尔电子嵌入式 2024-11-28 08:00

本篇测评由电子工程世界的优秀测评者“小火苗”提供。


本文将介绍基于米尔电子MYD-LT527开发板(米尔基于全志 T527开发板)的FacenetPytorch人脸识别方案测试。

一、facenet_pytorch算法实现人脸识别

深度神经网络
1.简介
Facenet-PyTorch 是一个基于 PyTorch 框架实现的人脸识别库。它提供了 FaceNet 模型的 PyTorch 实现,可以用于训练自己的人脸识别模型。FaceNet 是由 Google 研究人员提出的一种深度学习模型,专门用于人脸识别任务。
在利用PyTorch神经网络算法进行人脸图像对比的实验设置中,我们专注于对比环节,而不涉及实际项目的完整实现细节。但为了贴近实际应用,我们可以构想以下流程:
1)捕捉新人脸图像:首先,我们使用摄像头或其他图像采集设备捕捉一张新的人脸照片。
2)加载存储的人脸图像:接着,从数据库中加载所有已存储的人脸图像。这些图像是之前采集并存储的,用于与新捕捉到的人脸照片进行对比。
3)构建神经网络模型:为了实现对比功能,我们需要一个预先训练好或自定义的神经网络模型。这个模型能够提取人脸图像中的关键特征,使得相似的图像在特征空间中具有相近的表示。
4)特征提取:利用神经网络模型,对新捕捉到的人脸照片和存储的每一张人脸图像进行特征提取。这些特征向量将用于后续的对比计算。
5)计算相似度:采用合适的相似度度量方法(如余弦相似度、欧氏距离等),计算新照片特征向量与存储图像特征向量之间的相似度。
6)确定匹配图像:根据相似度计算结果,找到与新照片相似度最高的存储图像,即认为这两张图像匹配成功。
7)输出匹配结果:最后,输出匹配成功的图像信息或相关标识,以完成人脸对比的实验任务。

2.核心组件
MTCNN:Multi-task Cascaded Convolutional Networks,即多任务级联卷积网络,专门设计用于同时进行人脸检测和对齐。它在处理速度和准确性上都有出色的表现,是当前人脸检测领域的主流算法之一。
FaceNet:由Google研究人员提出的一种深度学习模型,专门用于人脸识别任务。FaceNet通过将人脸图像映射到一个高维空间,使得同一个人的不同图像在这个空间中的距离尽可能小,而不同人的图像距离尽可能大。这种嵌入表示可以直接用于人脸验证、识别和聚类。

3.功能

    支持人脸检测:使用MTCNN算法进行人脸检测,能够准确识别出图像中的人脸位置。

    支持人脸识别:使用FaceNet算法进行人脸识别,能够提取人脸特征并进行相似度计算,实现人脸验证和识别功能。

二、安装facenet_pytorch库

1.更新系统
更新ubuntu系统,详情查看米尔提供的资料文件

2.更新系统软件
apt-get update

3.安装git等支持软件

sudo apt-get install -y python3-dev python3-pip libopenblas-dev libssl-dev libffi-dev git cmake

4.安装Pytorch支持工具

# 克隆 PyTorch 源代码git clone --recursive https://github.com/pytorch/pytorch# 进入 PyTorch 目录cd pytorch# 安装 PyTorch (需要根据你的需求选择 CUDA 版本,如果不需要 GPU 支持则不需要 --cuda 参数)pip3 install --no-cache-dir torch -f https://download.pytorch.org/whl/torch_stable.html# 测试 PyTorch 安装python3 -c "import torch; print(torch.__version__)"

5.安装facenet_pytorch

pip3 install facenet_pytorch

三、CSDN参考案例

1.代码实现

############face_demo.py#############################import cv2import torchfrom facenet_pytorch import MTCNN, InceptionResnetV1# 获得人脸特征向量def load_known_faces(dstImgPath, mtcnn, resnet):aligned = []knownImg = cv2.imread(dstImgPath) # 读取图片face = mtcnn(knownImg) # 使用mtcnn检测人脸,返回人脸数组if face is not None:aligned.append(face[0])aligned = torch.stack(aligned).to(device)with torch.no_grad():known_faces_emb = resnet(aligned).detach().cpu()# 使用ResNet模型获取人脸对应的特征向量print("\n人脸对应的特征向量为:\n", known_faces_emb)return known_faces_emb, knownImg# 计算人脸特征向量间的欧氏距离,设置阈值,判断是否为同一张人脸def match_faces(faces_emb, known_faces_emb, threshold):isExistDst = Falsedistance = (known_faces_emb[0] - faces_emb[0]).norm().item()print("\n两张人脸的欧式距离为:%.2f" % distance)if (distance < threshold):isExistDst = Truereturn isExistDstif __name__ == '__main__':# help(MTCNN)# help(InceptionResnetV1)# 获取设备device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')# mtcnn模型加载设置网络参数,进行人脸检测mtcnn = MTCNN(min_face_size=12, thresholds=[0.2, 0.2, 0.3],keep_all=True, device=device)# InceptionResnetV1模型加载用于获取人脸特征向量resnet = InceptionResnetV1(pretrained='vggface2').eval().to(device)MatchThreshold = 0.8 # 人脸特征向量匹配阈值设置known_faces_emb, _ = load_known_faces('yz.jpg', mtcnn, resnet) # 已知人物图faces_emb, img = load_known_faces('yz1.jpg', mtcnn, resnet) # 待检测人物图isExistDst = match_faces(faces_emb, known_faces_emb, MatchThreshold) # 人脸匹配print("设置的人脸特征向量匹配阈值为:", MatchThreshold)if isExistDst:boxes, prob, landmarks = mtcnn.detect(img, landmarks=True)print('由于欧氏距离小于匹配阈值,故匹配')else:print('由于欧氏距离大于匹配阈值,故不匹配')

此代码是使用训练后的模型程序进行使用,在程序中需要标明人脸识别对比的图像。

2.实践过程

第一次运行时系统需要下载预训练的vggface模型,下载过程较长,后面就不需要在下载了运行会很快。如图所示:

3.程序运行异常呗终止

运行程序,提示killed,系统杀死了本程序的运行,经过多方面的测试,最终发现是识别的图片过大,使得程序对内存消耗过大导致。后将图片缩小可以正常运行了。

以下是对比图像和对比结果。

四、gitHub开源代码

1.首先下载代码文件
代码库中,大致的介绍了facenet算法的训练步骤等。

2.代码实现
以下是facenet的python代码,注意需要更改下面的一条程序"cuda" False,因为t527使用的是cpu,芯片到时自带gpu但是cuda用不了,因为cuda是英伟达退出的一种计算机架构。

import matplotlib.pyplot as pltimport numpy as npimport torchimport torch.backends.cudnn as cudnnfrom nets.facenet import Facenet as facenetfrom utils.utils import preprocess_input, resize_image, show_config#--------------------------------------------## 使用自己训练好的模型预测需要修改2个参数# model_path和backbone需要修改!#--------------------------------------------#class Facenet(object):_defaults = {#--------------------------------------------------------------------------## 使用自己训练好的模型进行预测要修改model_path,指向logs文件夹下的权值文件# 训练好后logs文件夹下存在多个权值文件,选择验证集损失较低的即可。# 验证集损失较低不代表准确度较高,仅代表该权值在验证集上泛化性能较好。#--------------------------------------------------------------------------#"model_path" : "model_data/facenet_mobilenet.pth",#--------------------------------------------------------------------------## 输入图片的大小。#--------------------------------------------------------------------------#"input_shape" : [160, 160, 3],#--------------------------------------------------------------------------## 所使用到的主干特征提取网络#--------------------------------------------------------------------------#"backbone" : "mobilenet",#-------------------------------------------## 是否进行不失真的resize#-------------------------------------------#"letterbox_image" : True,#-------------------------------------------## 是否使用Cuda# 没有GPU可以设置成False#-------------------------------------------#"cuda" : False,}@classmethoddef get_defaults(cls, n):if n in cls._defaults:return cls._defaults[n]else:return "Unrecognized attribute name '" + n + "'"#---------------------------------------------------## 初始化Facenet#---------------------------------------------------#def __init__(self, **kwargs):self.__dict__.update(self._defaults)for name, value in kwargs.items():setattr(self, name, value)self.generate()show_config(**self._defaults)def generate(self):#---------------------------------------------------## 载入模型与权值#---------------------------------------------------#print('Loading weights into state dict...')device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')self.net = facenet(backbone=self.backbone, mode="predict").eval()self.net.load_state_dict(torch.load(self.model_path, map_location=device), strict=False)print('{} model loaded.'.format(self.model_path))if self.cuda:self.net = torch.nn.DataParallel(self.net)cudnn.benchmark = Trueself.net = self.net.cuda()#---------------------------------------------------## 检测图片#---------------------------------------------------#def detect_image(self, image_1, image_2):#---------------------------------------------------## 图片预处理,归一化#---------------------------------------------------#with torch.no_grad():image_1 = resize_image(image_1, [self.input_shape[1], self.input_shape[0]], letterbox_image=self.letterbox_image)image_2 = resize_image(image_2, [self.input_shape[1], self.input_shape[0]], letterbox_image=self.letterbox_image)photo_1 = torch.from_numpy(np.expand_dims(np.transpose(preprocess_input(np.array(image_1, np.float32)), (2, 0, 1)), 0))photo_2 = torch.from_numpy(np.expand_dims(np.transpose(preprocess_input(np.array(image_2, np.float32)), (2, 0, 1)), 0))if self.cuda:photo_1 = photo_1.cuda()photo_2 = photo_2.cuda()#---------------------------------------------------## 图片传入网络进行预测#---------------------------------------------------#output1 = self.net(photo_1).cpu().numpy()output2 = self.net(photo_2).cpu().numpy()#---------------------------------------------------## 计算二者之间的距离#---------------------------------------------------#l1 = np.linalg.norm(output1 - output2, axis=1)plt.subplot(1, 2, 1)plt.imshow(np.array(image_1))plt.subplot(1, 2, 2)plt.imshow(np.array(image_2))plt.text(-12, -12, 'Distance:%.3f' % l1, ha='center', va= 'bottom',fontsize=11)plt.show()return l1

3.代码实现
此代码调用的签名的代码,但其可以直接的去调用图片进行人脸识别。

from PIL import Imagefrom facenet import Facenetif __name__ == "__main__":model = Facenet()while True:image_1 = input('Input image_1 filename:')try:image_1 = Image.open(image_1)except:print('Image_1 Open Error! Try again!')continueimage_2 = input('Input image_2 filename:')try:image_2 = Image.open(image_2)except:print('Image_2 Open Error! Try again!')continueprobability = model.detect_image(image_1,image_2)print(probability)

4.程序运行

运行程序后首先显示的是程序的配置信息,然后可以输入图像对比检测的内容。以下是图像识别的效果和对比的准确率。

五、参考文献

CSDN博客

https://blog.csdn.net/weixin_45939929/article/details/124789487?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-124789487-blog-142987324.235^v43^pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.2&utm_relevant_index=4

官方源码来源

https://gitcode.com/gh_mirrors/fac/facenet-pytorch/overview

*部分图片来源于网络,如有版权问题请联系删除


米尔电子最新“明星产品”速报







 米尔电子 
领先的嵌入式处理器模组厂商
关注“米尔MYiR”公众号
不定期分享产品资料及干货
第一时间发布米尔最新资讯

米尔电子嵌入式 米尔-领先的嵌入式处理器模组厂商,专业为您提供CPU模组,NXP、ST、全志、XILINX等核心板开
评论
  • 本文继续介绍Linux系统查看硬件配置及常用调试命令,方便开发者快速了解开发板硬件信息及进行相关调试。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。查看系统版本信息查看操作系统版本信息root@ido:/# cat /etc/*releaseDISTRIB_ID=UbuntuDISTRIB_RELEASE=20.04DISTRIB_CODENAME=focalDIS
    Industio_触觉智能 2025-01-03 11:37 136浏览
  • 前言近年来,随着汽车工业的快速发展,尤其是新能源汽车与智能汽车领域的崛起,汽车安全标准和认证要求日益严格,应用范围愈加广泛。ISO 26262和ISO 21448作为两个重要的汽车安全标准,它们在“系统安全”中扮演的角色各自不同,但又有一定交集。在智能网联汽车的高级辅助驾驶系统(ADAS)应用中,理解这两个标准的区别及其相互关系,对于保障车辆的安全性至关重要。ISO 26262:汽车功能安全的基石如图2.1所示,ISO 26262对“功能安全”的定义解释为:不存在由于电子/电气系统失效引起的危害
    广电计量 2025-01-02 17:18 211浏览
  • 物联网(IoT)的快速发展彻底改变了从智能家居到工业自动化等各个行业。由于物联网系统需要高效、可靠且紧凑的组件来处理众多传感器、执行器和通信设备,国产固态继电器(SSR)已成为满足中国这些需求的关键解决方案。本文探讨了国产SSR如何满足物联网应用的需求,重点介绍了它们的优势、技术能力以及在现实场景中的应用。了解物联网中的固态继电器固态继电器是一种电子开关设备,它使用半导体而不是机械触点来控制负载。与传统的机械继电器不同,固态继电器具有以下优势:快速切换:确保精确快速的响应,这对于实时物联网系统至
    克里雅半导体科技 2025-01-03 16:11 160浏览
  • 国际标准IPC 标准:IPC-A-600:规定了印刷电路板制造过程中的质量要求和验收标准,涵盖材料、外观、尺寸、焊接、表面处理等方面。IPC-2221/2222:IPC-2221 提供了用于设计印刷电路板的一般原则和要求,IPC-2222 则针对高可靠性电子产品的设计提供了进一步的指导。IPC-6012:详细定义了刚性基板和柔性基板的要求,包括材料、工艺、尺寸、层次结构、特征等。IPC-4101:定义了印刷电路板的基板材料的物理和电气特性。IPC-7351:提供了元件封装的设计规范,包括封装尺寸
    Jeffreyzhang123 2025-01-02 16:50 194浏览
  • 车身域是指负责管理和控制汽车车身相关功能的一个功能域,在汽车域控系统中起着至关重要的作用。它涵盖了车门、车窗、车灯、雨刮器等各种与车身相关的功能模块。与汽车电子电气架构升级相一致,车身域发展亦可以划分为三个阶段,功能集成愈加丰富:第一阶段为分布式架构:对应BCM车身控制模块,包含灯光、雨刮、门窗等传统车身控制功能。第二阶段为域集中架构:对应BDC/CEM域控制器,在BCM基础上集成网关、PEPS等。第三阶段为SOA理念下的中央集中架构:VIU/ZCU区域控制器,在BDC/CEM基础上集成VCU、
    北汇信息 2025-01-03 16:01 166浏览
  • 在快速发展的能源领域,发电厂是发电的支柱,效率和安全性至关重要。在这种背景下,国产数字隔离器已成为现代化和优化发电厂运营的重要组成部分。本文探讨了这些设备在提高性能方面的重要性,同时展示了中国在生产可靠且具有成本效益的数字隔离器方面的进步。什么是数字隔离器?数字隔离器充当屏障,在电气上将系统的不同部分隔离开来,同时允许无缝数据传输。在发电厂中,它们保护敏感的控制电路免受高压尖峰的影响,确保准确的信号处理,并在恶劣条件下保持系统完整性。中国国产数字隔离器经历了重大创新,在许多方面达到甚至超过了全球
    克里雅半导体科技 2025-01-03 16:10 117浏览
  • 影像质量应用于多个不同领域,无论是在娱乐、医疗或工业应用中,高质量的影像都是决策的关键基础。清晰的影像不仅能提升观看体验,还能保证关键细节的准确传达,例如:在医学影像中,它对诊断结果有着直接的影响!不仅如此,影像质量还影响了:▶ 压缩技术▶ 存储需求▶ 传输效率随着技术进步,影像质量的标准不断提高,对于研究与开发领域,理解并提升影像质量已成为不可忽视的重要课题。在图像处理的过程中,硬件与软件除了各自扮演着不可或缺的基础角色,有效地协作能够确保图像处理过程既高效又具有优异的质量。软硬件各扮演了什么
    百佳泰测试实验室 2025-01-03 10:39 129浏览
  • 光耦合器,也称为光隔离器,是一种利用光在两个隔离电路之间传输电信号的组件。在医疗领域,确保患者安全和设备可靠性至关重要。在众多有助于医疗设备安全性和效率的组件中,光耦合器起着至关重要的作用。这些紧凑型设备经常被忽视,但对于隔离高压和防止敏感医疗设备中的电气危害却是必不可少的。本文深入探讨了光耦合器的功能、其在医疗应用中的重要性以及其实际使用示例。什么是光耦合器?它通常由以下部分组成:LED(发光二极管):将电信号转换为光。光电探测器(例如光电晶体管):检测光并将其转换回电信号。这种布置确保输入和
    腾恩科技-彭工 2025-01-03 16:27 155浏览
  • 在测试XTS时会遇到修改产品属性、SElinux权限、等一些内容,修改源码再编译很费时。今天为大家介绍一个便捷的方法,让OpenHarmony通过挂载镜像来修改镜像内容!触觉智能Purple Pi OH鸿蒙开发板演示。搭载了瑞芯微RK3566四核处理器,树莓派卡片电脑设计,支持开源鸿蒙OpenHarmony3.2-5.0系统,适合鸿蒙开发入门学习。挂载镜像首先,将要修改内容的镜像传入虚拟机当中,并创建一个要挂载镜像的文件夹,如下图:之后通过挂载命令将system.img镜像挂载到sys
    Industio_触觉智能 2025-01-03 11:39 112浏览
  • 自动化已成为现代制造业的基石,而驱动隔离器作为关键组件,在提升效率、精度和可靠性方面起到了不可或缺的作用。随着工业技术不断革新,驱动隔离器正助力自动化生产设备适应新兴趋势,并推动行业未来的发展。本文将探讨自动化的核心趋势及驱动隔离器在其中的重要角色。自动化领域的新兴趋势智能工厂的崛起智能工厂已成为自动化生产的新标杆。通过结合物联网(IoT)、人工智能(AI)和机器学习(ML),智能工厂实现了实时监控和动态决策。驱动隔离器在其中至关重要,它确保了传感器、执行器和控制单元之间的信号完整性,同时提供高
    腾恩科技-彭工 2025-01-03 16:28 157浏览
  • Matter加持:新世代串流装置如何改变智能家居体验?随着现在智能家庭快速成长,串流装置(Streaming Device,以下简称Streaming Device)除了提供更卓越的影音体验,越来越多厂商开始推出支持Matter标准的串流产品,使其能作为智能家庭中枢,连结多种智能家电。消费者可以透过Matter的功能执行多样化功能,例如:开关灯、控制窗帘、对讲机开门,以及操作所有支持Matter的智能家电。此外,再搭配语音遥控器与语音助理,打造出一个更加智能、便捷的居家生活。支持Matter协议
    百佳泰测试实验室 2025-01-03 10:29 136浏览
  • 【工程师故事】+半年的经历依然忧伤,带着焦虑和绝望  对于一个企业来说,赚钱才是第一位的,对于一个人来说,赚钱也是第一位的。因为企业要活下去,因为个人也要活下去。企业打不了倒闭。个人还是要吃饭的。企业倒闭了,打不了从头再来。个人失业了,面对的不仅是房贷车贷和教育,还有找工作的焦虑。企业说,一个公司倒闭了,说明不了什么,这是正常的一个现象。个人说,一个中年男人失业了,面对的压力太大了,焦虑会摧毁你的一切。企业说,是个公司倒闭了,也不是什么大的问题,只不过是这些公司经营有问题吧。
    curton 2025-01-02 23:08 284浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦