AI技术专题之六:STM32计算机视觉包FP-AI-VISION1简介

STM32单片机 2021-11-22 10:00

☝ 点击上方蓝字关注我们

‍‍‍‍‍‍‍‍

作为世界上领先的半导体公司之一,意法半导体一直积极参与快速发展的嵌入式人工智能技术研发。为了让经济实用型低功耗微控制器加速应用机器学习和深度神经网络,意法半导体开发了一款全面的Edge AI系统,支持嵌入式开发人员利用众多STM32微控制器产品上的AI,轻松添加新特性和强大的解决方案。


如图1所示,意法半导体AI解决方案涵盖了整个STM32产品组合,借助预训练神经网络,嵌入式开发人员可以在任何基于Cortex M4、M33和M7的STM32上进行移植、优化和验证。STM32Cube.AI是STM32CubeMX的AI扩展包,让客户能够更高效地开发自己的AI产品。


您可以在STM32应用中运用深度学习的强大功能来增强信号处理性能和提高生产率。

图1运行机器学习和深度学习算法的STM32产品组合



本文概述了计算机视觉开发框架FP-AI-VISION1,附有在STM32H7上运行的视觉应用代码示例。

从FP-AI-VISION1代码示例起步,可以轻松实现运行在边缘的不同计算机视觉用例,比如:

  • 生产线上的目标分类,根据目标类型调整皮带的速度

  • 检测产品的典型缺陷

  • 将不同类型的螺栓、意式面食、乐高零件进行分类,并归类到不同的容器中

  • 将设备或机器人操作的材料分类,并相应地调整其行为

  • 将食品分类,以便于烹饪/烧烤/酿造、或重新订购货架上的新产品



FP-AI-VISION1
概述


FP-AI-VISION1是一种STM32Cube功能包(FP),含有基于卷积神经网络(CNN)的计算机视觉应用实例。它由STM32Cube.AI生成的软件组件组成,与专门用于基于人工智能的计算机视觉应用的应用软件组件相辅相成。功能包中提供的应用程序示例如下:
  • 食品识别:识别18种常见食物

  • 人员在场检测:确定是否有人出现在图像中

  • 人数统计:基于目标检测模型统计场景中的人数。

主要特性


FP-AI-VISION1运行在与STM32F4DIS-CAM相机子模块或B-CAMS-OMV相机模块套装相连的STM32H747I-DISCO板件上。它包括完整的应用固件,用于摄像头捕捉、帧图像预处理、推理执行以及后处理。它还提供浮点和8位量化C模型的集成示例,并支持数据存储器位置的几种配置,以满足应用需求。

该FP最重要的主要优点之一是提供示例,描述如何有效地将不同类型的数据置于片上和外部存储器中。如此一来,用户便能轻松理解哪种内存分配最适合需求,并有助于创建运行在STM32系列产品(特别是STM32H747-disco板)上的自定义神经网络模型。

图2 用于评估FP-AI-VISION1示例的设备


FP-AI-VISION1包括三个基于CNN的图像分类应用示例:
  • 一个在彩色(RGB 24位)帧图像上运行的食品识别应用

  • 一个在彩色(RGB 24位)帧图像上运行的人员存在检测应用

  • 一个在灰度(8位)帧图像上运行的人员存在检测应用

在本文中,我们重点介绍两个示例:食品识别人员存在检测

首先,让我们看看食品识别应用

食品识别CNN是MobileNet模型的衍生模型。MobileNet是一种适用于移动和嵌入式视觉应用的高效模型架构。该模型架构由Google®提出。

MobileNet模型架构包括两个简单的全局超参数,可以有效地在延迟和精度之间进行权衡。原则上,这些超参数允许模型构建者根据问题的约束条件确定大小适当的应用模型。该FP中使用的食品识别模型基于STM32H747目标约束条件调整这些超参数,实现精度、计算资源和内存占用之间的最优权衡。

图3 食品识别模型的执行流程


图3为食品识别模型的执行流程。它在STM32H747上运行,大约需要150ms完成推理。

接下来,让我们看看人员在场检测应用

FP-AI-VISION1提供了两个人员存在检测示例应用:
  • 一个示例应用基于低复杂度的CNN模型(所谓的Google_Model),作用于分辨率为96 × 96像素的灰度图像(8位/像素)。该模型可以从storage.googleapis.com下载。

  • 另一个示例应用基于复杂度较高的CNN模型(所谓的MobileNetv2模型),作用于分辨率为128 × 128像素的彩色图像(24位/像素)。


这里看到的是前一个模型。人员在场检测应用确定一个人是否出现在图像中。当我们在与STM32F4DIS-CAM连接的STM32L4R上运行此应用时,需要大约270 ms进行推理。flash存储器和RAM虽然小,但是仍然可以在微控制器上运行神经网络(NN),如图4所示。

图4 人员存在检测概述


人员在场检测可用于从低功耗模式中唤醒。可能的用例是打开灯光、打开门,或任何其他自定义方法。典型实现通常基于被动式红外传感器,在检测到运动时触发事件。但这种PIR系统存在的问题是,可能会发生虚假检测,一只猫经过或树叶在风中飘过都可能触发该系统。人员在场检测应用将只检测人类,这样有助于轻松开发更智能的检测系统。
系统架构


FP-AI-VISION1的顶层架构如图5所示。

图5 FP-AI-VISION1架构

应用构建流程


从浮点CNN模型(使用Keras等框架设计和训练)起步,用户生成优化的C代码(使用STM32Cube.AI工具),并将其集成到计算机视觉框架(作为FP-AI-VISION1的一部分)中,以便在STM32H7上构建计算机视觉应用。
在生成C代码时,用户可以选择以下两种选项之一:
  • 直接从浮点CNN模型生成浮点C代码

  • 或者对浮点CNN模型进行量化以得到8位模型,然后生成相应的量化C代码


对于大多数CNN模型,第二种选择可以减少资源占用(Flash和RAM)以及推理时间。对最终输出精度的影响取决于CNN模型和量化过程(主要是测试数据集和量化算法)。

图6 FP-AI-VISION1运行架构


应用执行流程


图7 执行流程中的数据缓冲区


在计算机视觉应用情景中,集成需要几个数据缓冲区,如图7所示。

应用依次执行以下操作:
  1. 在camera_capture缓冲区中获取相机帧(通过DMA引擎从DCMI数据寄存器获取)。

  2. 此时,根据所选的内存分配配置,将camera_capture缓冲区内容复制到camera_frame缓冲区,并启动对后续帧的捕获。

  3. 将camera_frame缓冲区中包含的图像重新缩放到Resize_Dst_Img缓冲区,以匹配预期的CNN输入张量维度。例如,食品识别NN模型需要像‘高度 × 宽度 = 224 × 224像素’这样的输入张量。

  4. 执行从Resize_Dst_Img缓冲区到Pfc_Dst_Img缓冲区的像素颜色格式转换。

  5. 将Pfc_Dst_Img缓冲区内容中包含的每个像素的格式调整到nn_input缓冲区中。

  6. 运行NN模型的推理:nn_input缓冲区以及激活缓冲区作为NN的输入。分类结果存储在nn_output缓冲区中。

  7. 对nn_output缓冲区内容进行后处理,并在LCD显示器上显示结果。


表1详细说明了食品识别应用在集成量化C模型或浮动C模型时所需的数据RAM大小。

表1食品识别应用的SRAM内存缓冲区

                                


想了解更多详情?
扫描二维码下载免费资料~


FP-AI-VISION1


UM2611:FP-AI-VISION1手册




UM2526:STM32Cube.AI手册





 我们将策划一系列AI主题文章,详细介绍意法半导体在Deep Edge AI领域的努力成果。
  欢迎您在文后积极留言,告诉我们想了解意法半导体AI的哪些方面,我们将为您呈现更多精彩内容。


相关阅读




▷ 学知识赢好礼!AI技术专题之一:意法半导体人工智能解决方案概述

▷ AI技术专题之二:机器学习模型设计过程和MEMS MLC【文末留言好礼】

▷ AI技术专题之三:嵌入式机器学习核心运行决策树分类器【文末留言好礼】

▷ AI技术专题之四:AI在Deep Edge领域中的应用

▷ AI技术专题之五:专为STM32 MCU优化的STM32Cube.AI库


END



长按二维码关注,了解更多信息
 长按关注STM32



点击“阅读原文”查看更多STM32 AI相关资讯

STM32单片机 ST MCU (产品+工具+资料+技术+市场+活动)x 您的关注x您的支持 = STM32 单片机蝴蝶乐园
评论 (0)
  • 近日,紫光展锐蜂窝物联网芯片V8850荣获国密一级认证,标志着展锐V8850在安全能力方面获得权威认可,位居行业领先水平。这是紫光展锐继短距物联网芯片V5663在2020获得ARM PSA Level 2认证,蜂窝物联网芯片V8811在2021年获得ARM PSA Level 1 认证后,第三次荣获安全行业权威认证。荣获国密一级安全认证,意味着紫光展锐V8850能支持智能支付、共享经济、定位追踪、安防监控、智能表计、工业DTU、公网对讲,以及车载通信终端设备上的国密升级改造,可为移动支付、短信
    紫光展锐 2025-02-14 19:26 75浏览
  • 电磁铁通电时会产生磁场,磁力随电流增强而增强,表现出吸引铁磁性物质的特性。电磁铁是一种能够产生磁场的装置,其特性在于可以通过通电来控制磁场的产生和消失。那么,当电磁铁通电时,它具体会表现出哪些特性和现象呢?一、产生磁场通电是电磁铁产生磁场的关键。当电流通过电磁铁的线圈时,线圈周围就会产生磁场。这个磁场与电流的大小和方向密切相关,电流越大,产生的磁场也越强。同时,磁场的方向可以通过改变电流的方向来改变,这是电磁铁灵活性的重要体现。二、磁力变化随着电流的增强,电磁铁产生的磁力也会相应增强。这种磁力的
    锦正茂科技 2025-02-15 09:59 107浏览
  •  探针台是半导体测试领域的重要设备,用于支撑和固定待测芯片,以便进行jing确的电气测试。在使用过程中,探针台可能会出现位置偏移,这时就需要进行复位操作。下面,我们将详细介绍探针台复位的zui简单三个步骤。  一、确定复位基准点复位操作的di一步是确定复位基准点。通常,探针台会配备有明确的复位标记或感应点。用户需要仔细查找并确认这些标记,确保复位操作的准确性。找到基准点后,将探针台移动到该位置附近,准备进行下一步操作。二、执行复位动作在确认基准点后,接下来需要执行复
    锦正茂科技 2025-02-15 09:36 93浏览
  • 文心一言免费对于创业来说是一个很大的机遇,加油!虽然是一个很大的挑战,但是好处还是很大的。文心一言的免费开放为创业者提供了一个低成本甚至零成本使用先进人工智能技术的机会。在以往,创业者若想在项目中融入AI技术,往往需要支付高昂的研发或授权费用。而现在,他们可以直接利用文心一言的强大功能,如语言理解、生成能力、深度搜索等,来构建自己的产品或服务,从而显著降低创业成本。文心一言的全面免费开放为创业者提供了广阔的创新空间。创业者可以基于文心一言开发出各种创新的应用和服务,满足市场的多样化需求。例如,利
    curton 2025-02-14 13:37 303浏览
  • 随着科技快速进步,蓝牙技术也在持续演化。Bluetooth LE Audio(低功耗蓝牙音讯)因其省电及音质提升等特性,俨然成为目前热门的音讯技术之一。对于经常性使用耳机、手机或笔电的人来说,音频传输的延迟性能不仅影响游戏体验,也同时影响着影音同步与通话质量。然而,由于目前市面上针对LE Audio延迟测试的工具和服务实属不多,厂商在验证设备性能往往面临到技术困难。有鉴于此,百佳泰所提供的专业延迟量测验证服务,可有效协助客户了解产品表现,从而提升市场竞争力!百佳泰技术小词典延迟指的是从声音讯号发
    百佳泰测试实验室 2025-02-14 10:38 90浏览
  • 在设备间通信日益增长的需求中,对于十几米甚至更长距离的高速外设数据传输变得尤为重要。RS-232C接口,凭借其仅需简单的接收、发送及地线配置,以及成本效益高的双绞线连接,凭借其卓越性能,成为了连接通信接口芯片的关键纽带。为了在这种长距离高速通信场景下实现线路的可靠隔离,并有效抵御外部噪声对通信信号的干扰,虽然上一期介绍的晶体管类型输出系列光耦能够满足100kbps速率的隔离传输需求,但面对更高的速率稳定性和性能要求,业界更倾向于采用速率可达300Kbps的KL6N138和KL6N139达林顿高速
    晶台光耦 2025-02-14 13:40 59浏览
  •  芯片设计中的软硬件接口概述作者: Insaf MelianeInsaf Meliane 是 Arteris 的产品管理和营销经理。在加入产品团队之前,她是一名现场应用经理,为客户提供复杂 SoC 设计集成支持。在加入 Arteris 之前,她曾在领先的半导体公司担任过其他设计和应用工程职务。Insaf 拥有法国格勒诺布尔国立高等电子与无线电工程学院微电子专业系统级芯片方面的工程学位。软硬件接口 (HSI) 在芯片设计中扮演着重要角色,用于将物理硬件与其对应软件连接起来。它为复杂的系统
    ArterisIP 2025-02-14 10:28 89浏览
  • 《哪吒2》票房破百亿背后的科技密码:解码中国动画产业的技术跃迁与制造底气2024年夏季,国产动画电影《哪吒2》以雷霆之势席卷全球院线,不仅成为中国影史第二部票房突破百亿的现象级作品,更以多项技术突破刷新行业纪录。这些成就背后,不仅是中国动画工业的崛起,更是中国科技创新与高端制造业协同突破的缩影。作为深耕PCB行业多年的捷多邦小编,今天带您从技术视角,解读这场银幕奇迹背后的制造密码。一、从“数字造神”到“算力革命”:动画技术背后的硬核突破《哪吒2》的视觉革命始于AI工业化管道的深度应用。影片中大量
    捷多邦 2025-02-15 17:57 424浏览
  • 导读:2025年1月6日,在 ChatGPT 诞生两周年之际,OpenAI 的核心人物 Sam Altman 回顾了一段波澜壮阔且充满挑战的历程。九年前,怀揣着对通用人工智能(AGI)的坚定信念,OpenAI 踏上征程。彼时,质疑声不绝于耳,多数人认为这毫无成功的可能。但他们未曾动摇,毅然投身这一充满未知的领域。直至 2022 年 ChatGPT 的推出,如同在科技领域投入巨石,引发轩然大波,开启了前所未有的发展态势。然而,荣耀背后是难以想象的艰难。围绕新技术构建公司,犹如在黑暗中摸索前行,每一
    用户1739588245528 2025-02-15 11:03 145浏览
  • NoC的下一步发展是什么?作者: Andy NightingaleAndy Nightingale 是 Arteris 产品管理和营销副总裁,拥有超过 37 年的高科技行业经验,其中包括在 Arm 担任各种工程和产品管理职位 23 年。当今的高端 SoC 在很大程度上依赖复杂的片上网络(NoC)技术来实现性能和可扩展性。随着 人工智能(AI)、高性能计算(HPC)和其他计算密集型应用的需求不断发展,设计下一代 SoC 将需要更智能、更高效的 NoC 解决方案来应对这些挑战。尽管这些进步带来了令人
    ArterisIP 2025-02-14 10:16 40浏览
  •                           春天来了,我们中国的传统节日--春节到了,随着国家富强,人们民族文化自信心的增强,这个中国年过的还挺热闹,挺红火。一段山村过新年的快乐时光,即兴而发赋了两首新诗。《渔家乐·山村新春》白发垂髫同喜乐,新春佳节意情奢。烟花璀璨腾空起,山村美景醉心涯。晓雾轻笼林野静,晚云淡抹岫峰斜。自然恩赐千般好,福满人间岁月嘉
    广州铁金刚 2025-02-17 15:59 97浏览
  • 文心一言准备免费,说实话,这个是好事情,但是他也会产生非常大的影响,总体来说,对技术的发展还是起到积极的作用。文心新苑为什么要免费呢?无非就是市场的原因,绝对不是文心一言不想利用这个AI赚钱。我分析下原因:1、市场竞争:在人工智能技术高速发展的背景下,各类AI产品层出不穷,市场竞争日益激烈。尤其是DEEPSEEK的出现,真是的非常重大的一个事件,作为同类产品,文心一言非常无奈的被迫的选择全面免费策略,旨在迅速提高用户量,争夺市场份额。通过免费使用,文心一言能够吸引更多用户,形成网络效应,进而提升
    curton 2025-02-14 10:30 444浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦