面包芯语

使用DNN深度神经网络实现图像AIGC的开发-基于米尔瑞萨RZ/G2L开发板的创新应用

米尔电子嵌入式 2023-10-20 08:02
工程师必看：B2900隐藏的15个超频测试模式 揭秘实时频谱分析的黑科技原理

本文由米尔论坛优秀评测者“ALSET”提供。


01.


项目背景介绍


AIGC（即ArtificialIntelligence Generated Content），中文译为人工智能生成内容。简单来说，就是经过大量特征训练过的神经网络模型来对新的内容或者需求来生成人们需要的创作内容，类似使用人类用思考和创造力才能完成的工作过程，而现在可以利用人工智能技术来替代我们完成。在狭义上AIGC是指利用AI自动生成内容的生产方式，比如自动写作、自动设计等。在广义上，AIGC是指像人类一样具备生成创造能力的AI技术，它可以基于训练数据和生成算法来完成各类的内容生成创作。
在图像生成模型生成方面最主要的几个代表模型，是以下常见的4个模型：
DNN
GAN
VAE
Diffusion
其中基于深度神经网络（DNN）的进行图像艺术风格转移（Transform），生成高质量的具有艺术风格图像的神经网络模型。该模型通过深度神经网络分别提取图像中的内容和风格特征，然后对其目标图片内容进行重组，生成具有原图内容和艺术风格的图像，其风格转移不仅对图像的图案，颜色，特征等进行修改还保留原图高可辨识的内容载体。
通常AIGC对硬件性能要求较高，只要具备高性能的图形图像的PC图形工作站或者服务器上来运行。而这里我们将使用MYD-YG2L开发板上来实现在嵌入式设备上完成图像风格转移计算这一任务。并且结合图形界面和USB摄像头完成对任意拍摄的图片进行图像风格化的开发。让嵌入式上也能够体验这种独特的AIGC内容生成方式。


02.


技术硬件方案


项目采用MYD-YG2L为主控板，使用800万像素4K级广角USB相机镜头，通过采集画面，在主控板内完成对画面的风格化处理，并通过HDMI输出显示生成的图像。
这里使用开发板连接HDMI显示器和接入一个4K高清镜头，主要硬件连接如下图：


03.


主要技术原理


图像风格转移的主要过程是对输入img_content和img_style，然后要把img_content的内容主体和img_style进行一个结合，实现一个图像的创意创作，这个过程也叫做Style Transform 即风格转移。如下图中，第一列是输入的原图像, 第二列是风格图，第三列之后就是各种控制参数下的输出风格图像：
 
其核心的算法是把基于CNN卷积编码后的特征向量transformer第一个结合到风格迁移任务中，再对混合后的内容进行解码，从而输出新的图像内容，主要参考李飞飞论文，其核心流程如下图：
 
经过测试MYD-YG2L较好的支持OpenCV这个工具库，并且具备较强的图像处理能力。那么就可以在板上使用OpenCV的DNN模块来实现以上算法过程。OpenCV的DNN模块从发行版开始，主要是支持推理，而数据训练不是其支持的目标。因此我们可以使用已经训练好的模型，在板上上完成推理过程，即图像风格转移生成的这一过程。现在OpenCV已经支持TensorFlow、Pytorch/Torch、Caffe、DarkNet等模型的读取，OpenCV的 DNN模块的用法。
OpenCV的DNN模块进行模型推理就显得比较简单，过程就是：
1.加载模型
因为OpenCV DNN模块主要用来做推理计算，所以在使用前首先准备一个训练好的模型（如何训练自己的不同风格的模型后面也会阐述）。OpenCV支持所有主流框架的大部分模型。OpenCV的readNet系列函数就可以看出所支持的框架类型：
readNetFromCaffe
readNetFromTensorflow
readNetFromTorch
readNetFromDarknet
readNetFromONNX
readNetFromModelOptimizer
这里所用风格迁移模型是开源的Torch/Lua的模型fast-neural-style。他们提供了十种风格迁移的模型，模型的下载脚本在：https://github.com/jcjohnson/fas ... _transfer_models.sh。这里使用OpenCV的readNetFromTorch函数加载PyTorch模型。
2.输入图像预处理
在OpenCV中输入给模型的图像需要首先被构建成一个4个区块的数据块（Blob），并且做如resize、归一化和缩放之类的一些预处理。
3.模型推理
模型推理过程就是把输入构建的blob输入给模型神经网络模型进行一次前向传播，在OpenCV中，用以下非常简单的两行代码即可完成：
net.setInput(blob)
output = net.forward()


04.


软件系统设计


在本软件开发，主要使用MYD-YG2L的SDK中，使用了OpenCV SDK与QT SDK。QT 主要实现文件图像风格转移的界面操作，使用OpenCV实现DNN图像推理计算。
设计QTUI，选择文件或者摄像头采集原图像

 

开发UI交互逻辑代码

 

开发OpenCV DNN神经网络调用模块

 

在开发板的交叉编译环境编译，把编译的结果部署到开发板上。另外把风格转移用到的训练模型文件也部署到开发板上，经过实际测试，以下模型在开发板上运行正常，而其它模型则因内存不够而报错。
1: "udnie",
    2: "la_muse",
    3: "the_scream",
    4: "candy",
    5: "mosaic",
    6: "feathers",
    7: "starry_night"


05.


软件运行效果


把QT软件与相关模型文件部署到开发板上后，即可以运行测试效果，开发板上启动运行QT程序命令：
./style_transform -platform linuxfb
运行后，选择一张图片显示如下：

 

点击 “transform”按钮，等待约13秒，得到风格转移输出画面，如下：

 

再换一张米尔的LOGO图，这个图片尺寸较小，图像内容变化率低看一下，风格化转换时间：

 

测试仍然为13秒左右，得到如下输出图像：

 

这上面使用的是feathers模型生成的风格图片，其它模型时间也差不多在这个时间。


06.


开发后记


最后使用开发的图像转换程序，在MAC电脑上编译了MAC版本与开发板上对同一图片转换进行比较。其使用MacBook Pro 2.2G 16G内存主频硬件运行该图片转换时，需要8.6秒。多次测试，对不同模型的转换分别测试，基本上在MYD-YG2LX上运行速度能达到MAC电脑转换的66%性能，这个结果看该开发板其DNN推理计算性能比较强悍。
  该项目在后续的发展中，在有更多时间时，将尝试训练更多特色的风格，以及融入GAN生成神经网络模型的内容生成模型，尝试多种方法来进行更丰富多彩的内容生成。
在做本项目开发时，从资料中已知知名的内容生成项目stable diffusion已经在一些嵌入式开发板上移植运行成功，这个振奋的消息会不会又给自己挖了一个坑呢。


07.


参考文献与资料


[1]. MYD-YG2LX开发板文档：
http://down.myir-tech.com/MYD-YG2LX
[2] PerceptualLosses for Real-Time Style Transfer and Super-Resolution。李飞飞
[3].MYD-YG2LX_Linux软件开发指南
http://down.myir-tech.com/MYD-YG2LX/User_Manual.zip
[4].SDK 及原理图仓库：
http://down.myir-tech.com/MYD-YG2LX/01_Documents.zip
[5] 黄俊明; 陈平平; 王彩申; Linux环境下基于OpenCV图像处理，电脑编程技巧与维护，2023.1
[6] Perceptual lossfor Real time Style Transfer and Super-Resolution 论文阅读分析
https://zhuanlan.zhihu.com/p/27165113
[7] Torch风格转移训练完成模型：
https://github.com/jcjohnson/fast-neural-style

 米尔电子 
领先的嵌入式处理器模块厂商
关注“米尔MYiR”公众号
☞不定期分享产品资料及干货
☞第一时间发布米尔最新资讯

  

长按二维码 关注我们


想要了解更多信息，欢迎联系我们
深圳总部电话：
0755-25622735 17324413392
地址：深圳坂田云里智能园2栋6楼
上海办事处电话：
021-62087019 17324413392
北京办事处电话：
010-84675491 13316862895
技术支持电话：
027-59621648
邮箱：support.cn@myir.cn

登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
米尔电子嵌入式 米尔-领先的嵌入式处理器模组厂商，专业为您提供CPU模组，NXP、ST、全志、XILINX等核心板开
评论 （0）
  • 飞凌嵌入式邀您共聚第91届中国国际医疗器械博览会
    4月8-11日，第91届中国国际医疗器械博览会（CMEF）将在国家会展中心（上海）举办。这场全球瞩目的医疗科技盛宴以“创新科技，智领未来”为主题，旨在全方位展示医疗科技的最新成果，与来自全球的行业同仁一道，为全球医疗健康领域带来一场科技与商贸交融的产业“盛宴”。飞凌嵌入式作为专业的嵌入式技术解决方案提供商，一直致力于为医疗器械行业提供丰富的、高可靠性的嵌入式硬件主控解决方案。届时，飞凌嵌入式将为来自全球的观众带来适用于IVD、医疗影像、生命体征监测等医疗设备的嵌入式板卡、显控一体屏产品以及多款动
    飞凌嵌入式 2025-03-20 11:46 40浏览
  • 优思学院｜精益六西格玛实施难？破解3大障碍的关键策略！
    如同任何对我们工作方式的改变，新的工作方式必然会遇到许多必须面对的挑战。如果不解决组织在实施精益六西格玛过程中面临的障碍以及如何克服它们的问题，那么关于精益六西格玛的讨论就不算完整。以下列举了组织在成功实施精益六西格玛时常见的几个障碍，以及克服它们的方法：1）对精益六西格玛方法论缺乏理解。抵触情绪通常源于对精益六西格玛方法论的不了解，以及不相信它能真正发挥作用。这种情况在所有层级的人员中都会出现，包括管理层。虽然教育培训可以帮助改善这一问题，但成功的项目往往是打消疑虑的最佳方式。归根结底，这是一
    优思学院 2025-03-20 12:35 109浏览
  • 服务器高速缆线大解密！如何实现全数质量验证？
    PCIe 5.0应用环境逐步成形，潜在风险却蠢蠢欲动？随着人工智能、云端运算蓬勃发展，系统对于高速数据传输的需求不断上升，PCI Express(PCIe)成为服务器应用最广的传输技术，尤其在高效能运算HPC(High Performance Computing)及AI服务器几乎皆导入了最新的PCIe 5.0规格，使得数据传输的双向吞吐量达到了128GB/s，让这两类的服务器能够发挥最大的效能。不过随着PCIe 5.0的频率达到16GHz，PCB板因为高频而导致讯号衰减加剧的特性，使得厂商面临很
    百佳泰测试实验室 2025-03-20 13:47 113浏览
  • 飞凌嵌入式携手瑞芯微成为2025年全国大学生嵌入式大赛命题企业
    近日，保定飞凌嵌入式技术有限公司（以下简称“飞凌嵌入式”）携手瑞芯微电子股份有限公司（以下简称“瑞芯微”）正式加入2025年全国大学生嵌入式芯片与系统设计竞赛（以下简称“嵌入式大赛”），并在应用赛道中设立专属赛题。本次嵌入式大赛，双方选用基于瑞芯微RK3588芯片设计的ELF 2开发板作为参赛平台，旨在通过此次合作，促进产教融合，共同推动嵌入式系统创新人才的培养。全国大学生嵌入式芯片与系统设计竞赛是一项A类电子设计竞赛，同时也是被教育部列入白名单的赛事，由中国电子学会主办，是学生保研、求职的公认
    飞凌嵌入式 2025-03-20 11:53 97浏览
  • 汽车免拆诊断案例 | 2024 款路虎发现运动版车无法正常识别智能钥匙
    故障现象　一辆2024款路虎发现运动版车，搭载2.0 L发动机，累计行驶里程约为5 000 km。车主反映，使用遥控器无法解锁车门，随后使用机械钥匙打开车门，踩下制动踏板，按压起动按钮，仪表盘提示“将智能钥匙放在图示位置，然后按下起动按钮”（图1）。 图1　故障车的仪表盘提示采用上述应急起动方法，发动机能够起动着机。上述故障现象已出现过多次，过一段时间又会恢复正常，这次故障出现要求将车辆拖入店内进行彻底检修。 故障诊断　车辆进店后进行试车，车辆一切功能又恢复正常。经过反复测试
    虹科Pico汽车示波器 2025-03-20 10:17 87浏览
  • AEB自动急刹误触发问题如何避免？
    为有效降低人为疏失导致交通事故发生的发生率，各大汽车制造厂及系统厂近年来持续开发「先进驾驶辅助系统」ADAS, Advanced Driver Assistance Systems。在众多车辆安全辅助系统之中，「紧急刹车辅助系统」功能(AEB, Autonomous Emergency Braking)对于行车安全性的提升便有着相当大的帮助。AEB透过镜头影像模块与毫米波雷达感测前方目标，可在发生碰撞前警示或自动刹车以降低车辆损伤以及乘员伤害。面临的挑战以本次分享的客户个案为例，该车厂客户预计在
    百佳泰测试实验室 2025-03-20 15:07 119浏览
  • 朋友想用RK3506核心板自研一款嵌入式工业网关，分享一下我的设计思路
    本文内容来自微信公众号【工程师进阶笔记】，以工程师的第一视角分析了飞凌嵌入式OK3506J-S开发板的产品优势，感谢原作者温老师的专业分享。前两周，有一位老朋友联系我，他想找人开发一款数据采集器，用来采集工业现场的设备数据，并且可以根据不同的业务场景，通过不同的接口把这些数据分发出去。我把他提的需求总结了一下，这款产品方案大概有以下功能接口，妥妥地一款工业网关，在网上也能找到很多类似的产品方案，为啥他不直接买来用？再跟朋友深入地聊了一下，他之所以联系我，是因为看到我在公众号介绍过一款由飞凌嵌入式
    飞凌嵌入式 2025-03-20 11:51 130浏览
  • 升级换代的家电产品是如何实现智能控制的呢？
    家电“以旧换新”政策的覆盖范围已从传统的八大类家电（冰箱、洗衣机、电视、空调、电脑、热水器、家用灶具、吸油烟机）扩展至各地根据本地特色和需求定制的“8+N”新品类。这一政策的补贴再叠加各大电商平台的优惠，家电销售规模显著增长，消费潜力得到进一步释放。晶尊微方案为升级换代的智能家电提供了高效且稳定的触摸感应和水位检测功能，使得操作更加便捷和可靠！主要体现在：水位检测1健康家电：养生壶、温奶器、加湿器的缺水保护安全2清洁电器：洗地机、扫地机器人的低液位和溢液提醒3宠物家电：宠物饮水机的缺水提醒/满水
    ICMAN 2025-03-20 15:23 167浏览
  • 技术干货 | TVS管及压敏电阻的‌箝位电压
            在当今电子设备高度集成的时代，电路保护显得尤为重要。TVS管（瞬态电压抑制二极管）和压敏电阻作为一种高效的电路保护器件，被广泛应用于各种电子设备中，用以吸收突波，抑制瞬态过电压，从而保护后续电路免受损坏。而箝位电压，作为TVS管和压敏电阻的核心参数之一，直接关系到其保护性能的优劣。箝位电压的定义        箝位电压指瞬态保护器件（如TVS二极管、压敏电阻）在遭遇过压时，将电路电压限制在安全范围内的
    广电计量 2025-03-20 14:05 102浏览
  • 艾迈斯欧司朗×福尔达：定义座舱照明新范式
    全球领先的光学解决方案供应商艾迈斯欧司朗（SIX：AMS）近日宣布，凭借AS1163独立智能驱动器（SAID）成为中国领先的智能集成系统产品汽车制造商宁波福尔达智能科技股份有限公司（“福尔达”）环境动态照明应用的关键供应商。此次合作标志着汽车技术发展的一个重要时刻，充分展现了AS1163在优化动态照明应用系统成本方面的多功能性和先进性能。该产品支持传感器集成，拥有专为车顶照明设计的超薄外形，并能提升车内照明系统的性能。AS1163是一款先进的智能LED驱动器，能够与开放系统协议（OSP）网络无缝
    艾迈斯欧司朗 2025-03-20 14:26 106浏览
  • AI服务器电源模块：光颉高精密薄膜电阻0.01%精度如何提升能效？
    贞光科技代理的品牌-光颉科技高精密薄膜电阻凭借0.01%的超高精度，在AI服务器电源模块中实现了精确电压分配、优化功率因数和减少热损耗，显著提升系统能效和可靠性。在当今的数字时代，人工智能（AI）服务器已成为数据中心的核心。随着AI应用的激增，服务器的性能和能效需求也在不断提高。电源模块作为服务器的关键组件，其性能直接影响整个系统的效率和可靠性。本文将探讨光颉科技高精密薄膜电阻，特别是其0.01%的精度，如何在AI服务器电源模块中提升能效。电源模块在AI服务器中的重要性电源模块负责将输入电源转换
    贞光科技 2025-03-20 16:55 167浏览
  • ​高可靠性PCB制造：捷多邦如何实现20年以上的使用寿命？
    在电子制造领域，PCB（印刷电路板）的使用寿命直接决定了产品的长期稳定性和可靠性。捷多邦作为全球领先的PCB制造商，始终将质量放在首位，致力于为客户提供高可靠性、高性能的PCB解决方案。以下是捷多邦如何确保PCB使用寿命超过20年的核心技术与优势。 1. ​高品质原材料：从源头保障耐用性捷多邦采用国际认证的优质基材，如FR4、高频材料和高TG板材，确保PCB在高温、高湿等极端环境下的稳定性。通过严格的原材料筛选和入库检验，捷多邦从源头控制质量，避免因材料缺陷导致的失效问题。 
    捷多邦 2025-03-20 11:22 100浏览
  • 可穿戴设备里的"四两拨千斤"！光学设计竟能这样玩？
    流感季急诊室外彻夜排起的长队，手机屏幕里不断闪烁的重症数据，深夜此起彼伏的剧烈咳嗽声——当病毒以更狡猾的姿态席卷全球，守护健康的战争早已从医院前移到每个人的身上。在医学界公认的「72小时黄金预警期」里，可穿戴设备闪烁的光芒正穿透皮肤组织，持续捕捉血氧浓度、心率变异性和体温波动数据。这不是科幻电影的末日警报，而是光电传感器发出的生命预警，当体温监测精度精确到±0.0℃，当动态血氧检测突破运动伪影干扰……科技正在重新定义健康监护的时空边界。从智能手表到耳机，再到智能戒指和智能衣物，这些小巧的设备通过
    艾迈斯欧司朗 2025-03-20 15:45 183浏览
我要评论
0
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦