面包芯语

后摩尔时代的创新：在米尔FPGA上实现TinyYOLOV4，助力AIoT应用

米尔电子嵌入式 2024-11-21 08:01
如何提升高压系统的实时性能? 如何增强能源基础设施的实时控制？

学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋）

一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制

在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。

米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。

 CPU GPU FPGA 架构对比

二、 了解 Tiny YOLO 模型及其适用性

YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。

而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。

相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。

Yolo V4 网络结构图

Tiny Yolo V4 网络结构图

（通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用）

三、 获取数据集和模型

可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。

1.下载 Tiny YOLO V4 模型：从Darknet 的 GitHub 仓库 获取 Tiny YOLO 的预训练权重，或者在 COCO 等数据集上自行训练模型。自定义的模型适用于特定应用场景（如车辆检测、人脸检测等）。

2.数据准备：若要自定义模型，可使用 LabelImg 等工具对数据集进行标注，将数据转为 YOLO 格式。之后，可将 YOLO 格式转换为 ONNX 格式，以便兼容 FPGA 优化工具链。

Tiny YOLO 在 Darknet 上训练的截图

四、 通过 Vivado HLS 为 FPGA 准备模型

要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。

详细步骤：

1.模型层映射和优化：

  • 将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。

2.算子加速与指令优化：

  • 流水线（Pipelining）：利用流水线来处理多项操作并行，减少延迟。

  • 循环展开（Loop Unrolling）：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。

  • 设置 DATAFLOW 指令，使层间独立处理。

3.量化与位宽调整：

  • 将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。

Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图

五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EG FPGA开发板

当 HLS 生成的 RTL 代码准备就绪后，可以使用 Vivado 将模型部署到 FPGA。

1.Vivado 中的设置：

  • 将 HLS 输出的 RTL 文件导入 Vivado。

  • 在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。

2.I/O 约束与时序：

  • 定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。

  • 进行时序分析，确保延迟和响应速度达到实时要求。

3.生成比特流并下载到 ZU3EG：

  • 生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。

将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口

六、 在 FPGA 上测试并运行推理

现在 Tiny YOLO 已部署，可以验证其实时对象检测性能。

1.数据采集：

  • 通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。

  • 使用 ZU3EG 的 ARM 核上的 OpenCV 对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。

2.后处理与显示：

  • 模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。

3.性能测试：

  • 测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。

Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象

七、 性能优化与调试技巧

为提高性能，可以进行以下调整：

  • 内存访问：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。

  • 降低延迟：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。

  • 量化改进：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。

不同优化配置对资源使用的影响

米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板

在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。

关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。


米尔电子最新“明星产品”速报





 米尔电子 
领先的嵌入式处理器模组厂商
关注“米尔MYiR”公众号
☞不定期分享产品资料及干货
☞第一时间发布米尔最新资讯

登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
米尔电子嵌入式 米尔-领先的嵌入式处理器模组厂商，专业为您提供CPU模组，NXP、ST、全志、XILINX等核心板开
评论
  • 无人机锂电池行业发展现状及市场潜力分析报告
    根据环洋市场咨询（Global Info Research)项目团队最新调研，预计2030年全球无人机锂电池产值达到2457百万美元，2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池，大多数是锂聚合物电池，相较其他电池，锂聚合物电池具有较高的能量密度，较长寿命，同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等，前五大厂商占有全球
    GIRtina 2025-01-07 11:02 58浏览
  • 谈大模型的赋能
    大模型的赋能是指利用大型机器学习模型（如深度学习模型）来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力，包括但不限于以下几个方面： 1. 企业服务：大模型可以用于构建智能客服系统、知识库问答系统等，提升企业的服务质量和运营效率。 2. 教育服务：在教育领域，大模型被应用于个性化学习、智能辅导、作业批改等，帮助教师减轻工作负担，提高教学质量。 3. 工业智能化：大模型有助于解决工业领域的复杂性和不确定性问题，尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 74浏览
  • PLC组态的方式与比较
    PLC组态方式主要有三种，每种都有其独特的特点和适用场景。下面来简单说说： 1. 硬件组态   定义：硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件，并按照实际需求进行连接和配置。    灵活性：这种方式允许用户根据项目需求自由搭配硬件组件，具有较高的灵活性。    成本：可能需要额外的硬件购买成本，适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义：软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 82浏览
  • 硅电容系列一：硅电容概述
    这篇内容主要讨论三个基本问题，硅电容是什么，为什么要使用硅电容，如何正确使用硅电容？1.  硅电容是什么首先我们需要了解电容是什么？物理学上电容的概念指的是给定电位差下自由电荷的储藏量，记为C，单位是F，指的是容纳电荷的能力，C=εS/d=ε0εrS/4πkd（真空）=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体，中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到，在各个变量中比较能够改变的就是εr，S和d，也就是介质的介电常数，金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 163浏览
  • 德鲁克著作的解读：从“人”与“事”看管理的本质
    彼得·德鲁克被誉为“现代管理学之父”，他的管理思想影响了无数企业和管理者。然而，关于他的书籍分类，一种流行的说法令人感到困惑：德鲁克一生写了39本书，其中15本是关于管理的，而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传，但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法，解析其中的矛盾与根源，进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 110浏览
  • NXP iMX8MP 处理器基于 Linux 关闭 Debug Console 输出
    By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期，为了安全以及提高启动速度等考虑，希望将 ARM 处理器平台的 Debug Console 输出关闭，本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 32浏览
  • 国产高性能CPU--米尔瑞芯微RK3576赋能AIoT、工业、智能显示终端
    随着市场需求不断的变化，各行各业对CPU的要求越来越高，特别是近几年流行的 AIOT，为了有更好的用户体验，CPU的算力就要求更高了。今天为大家推荐由米尔基于瑞芯微RK3576处理器推出的MYC-LR3576核心板及开发板。关于RK3576处理器国产CPU，是这些年的骄傲，华为手机全国产化，国人一片呼声，再也不用卡脖子了。RK3576处理器，就是一款由国产是厂商瑞芯微，今年第二季推出的全新通用型的高性能SOC芯片，这款CPU到底有多么的高性能，下面看看它的几个特性：8核心6 TOPS超强算力双千
    米尔电子嵌入式 2025-01-03 17:04 55浏览
  • 封闭式电机行业发展现状及市场潜力分析报告
    根据Global Info Research项目团队最新调研，预计2030年全球封闭式电机产值达到1425百万美元，2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机，其外壳设计为密闭结构，通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部，从而保护电机的内部组件，延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告，2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 102浏览
  • Matter 标准：破生态枷锁，启家居智能新时代
    在智能家居领域中，Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段，它们常在实际应用中交叉运用，以满足智能家居生态系统多样化的功能需求。然而，这些协议之间并未遵循统一的互通标准，缺乏直接的互操作性，在进行组网时需要引入额外的网关作为“翻译桥梁”，极大地增加了系统的复杂性。 同时，Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 140浏览
  • MCU应用第008篇 Eclipse环境下MCU寄存器描述文件的存储位置
        为控制片内设备并且查询其工作状态，MCU内部总是有一组特殊功能寄存器（SFR，Special Function Register）。    使用Eclipse环境调试MCU程序时，可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢？它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例：南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 96浏览
  • Linux系统更换开机logo方法教程，触觉智能RK3562开发板演示
    本文介绍Linux系统更换开机logo方法教程，通用RK3566、RK3568、RK3588、RK3576等开发板，触觉智能RK3562开发板演示，搭载4核A53处理器，主频高达2.0GHz；内置独立1Tops算力NPU，可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项（1）图片必须为bmp格式；（2）图片大小不能大于4MB；（3）BMP位深最大是32，建议设置为8；（4）图片名称为logo.bmp和logo_kernel.bmp；开机
    Industio_触觉智能 2025-01-06 10:43 87浏览
  • 硅电容系列二：硅电容主要厂家– 村田
    村田是目前全球量产硅电容的领先企业，其在2016年收购了法国IPDiA头部硅电容器公司，并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理，村田高密度硅电容器采用半导体MOS工艺开发，并使用3D结构来大幅增加电极表面，因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础（单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属） 村田硅电容采用先进3D拓扑结构在100um内，使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 54浏览
  • 如何区分315MHz和433MHz遥控模块？
    每日可见的315MHz和433MHz遥控模块，你能分清楚吗？众所周知，一套遥控设备主要由发射部分和接收部分组成，发射器可以将控制者的控制按键经过编码，调制到射频信号上面，然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码，从而得到与控制按键相对应的信号，然后再去控制相应的设备工作。当前，常见的遥控设备主要分为红外遥控与无线电遥控两大类，其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz，通常应用在电视、投影仪等设备中；而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 120浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦