试试在只有150MHz的MCU上跑通全套时装识别系统~

嵌入式资讯精选 2021-12-02 11:41


它不是传说,它就在这儿


如果说,在一个只有150MHz主频,256KB闪存,96KB RAM,没有摄像头接口,没有显示接口,朴实无华的MCU上,实现一整套应用人工智能技术的时装识别系统,包括采集时装图像,识别时装种类,并把结果以每秒30帧以上流畅的显示出来,是不是可以干脆利落地回怼“臣妾做不到啊!”。 
但是,如果是LPC5500的话,那就不一样了,回答一定是干脆响亮的“小case!” 
咱不吹牛,上图上视频为证: 
先是一个极客范儿十足的硬件: 

这是一个扩展了LCD和摄像头的LPC55S69-EVK开发板,图中的摄像头模块是OV7670。

下面这张是一张运行中的特写: 

在150MHz的LPC5500上只花了21ms就完成了识别,小编还学到了英语,“Sandal”是凉鞋的意思。 

再来一个T恤:


同样是21ms。

这不但显示出LPC5500可以绝对实时地识别,还有就是深度学习识别具有几乎完美的“时间确定性”:对于任何输入,都在固定的时间内给出输出。 

这个模型总共能识别十种时装,分别是: 

  1. T-shirt/top(T恤) 

  2. Trouser(裤子) 

  3. Pullover(套衫) 

  4. Dress(裙子) 

  5. Coat(外套) 

  6. Sandal(凉鞋) 

  7. Shirt(汗衫) 

  8. Sneaker(运动鞋) 

  9. Bag(包) 

  10. Ankle boot(踝靴) 

训练模型使用了是经过数据增广后的fashion-mnist数据集。 

先来看看这个方案的演示视频:

真是令人不禁感叹,这世道真是变了,竟然还有如此神奇的MCU! 

其实,说神奇也不神奇,你只要会用,你就能创造神奇!这里用到的都是NXP已经推出很久的技术,只是把它们有机地组合在一起了,且看小编一一道来。



没有摄像头接口?
LPC5500有一颗魔术师之心


这是咋回事?原来,LPC5500内部有一个可编程的专用处理模块,它最擅长的地方在于可以得心应手地操作GPIO口(其中有32个GPIO口支持单周期翻转和读取)来生成或者识别多种多样、光怪陆离的时序波形,还可以花式传输数据,充当一个智能DMA,甚至可以在CPU休眠的时候打点很多外设的基本操作与数据收发。

对于时装识别的系统,我们使用这个专用处理模块去识别来自OV7670摄像头的波形,并提取出内部的图像数据。详情点击Camera Interface in LPC55(S)xx (nxp.com.cn)。 

这个模块还没有通用的编程工具,但NXP为客户常常用到的时序和总线协议开发了相应的库,支持的功能除了在本文中的摄像头接口,还包括LCD的显示、多线SPI协议、5.1声道I2S输出、旋转编码器、简易的的2D像素处理管线等,可以通过查看应用笔记和咨询分销商来了解更多。 



没有LCD接口?
高速SPI来救场


虽然LPC5500没有直接与裸LCD屏打交道的并行接口,但凭借最高50MHz频率的SPI,搭配SPI LCD模块,可以在320x240的分辨率下达到视频中流畅的刷新效果。

有了专用处理模块实现的摄像头接口和高速SPI的加持,使得LPC5500可以在不少微型计算机视觉任务中媲美更高端的微控制器,并且极富性价比。 



没有充足的算力和空间?
专业模型瘦身术加持


和动辄几个T的NPU相比,LPC5500在150MHz下的理论最大算力也只有0.0003T,比四两和千金还鲜明。在这种平台上部署深度学习,是痴人说梦吗?
其实,不要被华丽的宣传所迷惑,深度学习对于不同任务所需要的算力相差6个数量级都是很正常的,而且常常出现算力和存储空间要求有天壤之别的模型,因为架构的合理性和对执行硬件的适应性不同,而有差不多的表现。 

对于这次识别时尚装备的任务,我们通过用步幅为2的卷积来替换池化;拆解大的卷积为空间卷积+通道线性组合,这样几乎是“嗖”地一下,就降低了模型算力要求和内存规模。

另外为了保证精度,我们用修改图片背景、增加多个缩放级别、添加随机噪声等增强数据集的方法,使得原本纯黑底色的fashion-mnist数据集,也可以识别丰富背景下大小不同的时装,最终得到的模型只有不到16K参数,在150MHz的LPC5500上运行一次只需21ms,占用内存不到80KB。即使这样,识别精度也还保持在88%。 



MCU上无法运行TF或PyTorch?
用eIQ推理技术来搞定


模型推理技术负责贯彻执行神经网络模型中的计算操作。
在PC上,既可以使用流行的Tensorflow、PyTorch等框架来训练和推理,也可以安装专用的推理引擎(比如TensorRT等),但它们无法运行在Cortex-M设备上。
不过,NXP的eIQ机器学习套件支持了3套专门为微控制器量身定做的推理技术,分别是:
  • 开源的Tensorflow Lite for Microcontrollers (TFLm),

  • 原版开源但经过NXP深度优化过的GLOW,

  • 以及可以在MCU和MPU上通用的DeepView-RT。

在这个demo中,我们选用了我们最熟悉的和ARM CMSIS-NN库配合使用的TFLm,配合在GCC和KEIL下支持的“.incbin”伪指令,直接像包含头文件一样包含模型文件到工程里,方便实验。 



总结


从这个项目可以看出,LPC5500确实是在“大路货”的微控制器中有不平凡的潜能,在关键时刻或许能顶得上一个高端微控制器。
而且,深度学习技术也并没有很多吃瓜小伙伴们想象得那么高不可攀,通过合理化简模型架构和改进数据集的质量,可以大幅减少对算力和存储器的需求。
简单地说,对于中小规模的图像分类,语音口令检测,基于运动传感器或AD采集数据的一些分类和异常判断,一般的主流Cortex微控制器大多能支持,可能缺少摄像头接口或显示接口反而是硬伤,而这一切在NXP的LPC5500面前都不是事儿。 

1.还在写大量 if 来判断?试试用一个规则执行器来替代它

2.深度学习的热与冷~

3.杨福宇专栏|TESLA EV突然加速,特别是加速踏板开度100%问题的讨论~

4.嵌入式工程师,一起来探索深度学习领域吧~

5.RISC-V嵌入式开发线上课程授课内容早知道!

6.转发周立功先生的朋友圈~

免责声明:本文系网络转载,版权归原作者所有。如涉及作品版权问题,请与我们联系,我们将根据您提供的版权证明材料确认版权并支付稿酬或者删除内容。


嵌入式资讯精选 掌握最鲜资讯,尽领行业新风
评论 (0)
  • ​2025年3月27日​,贞光科技授权代理品牌紫光同芯正式发布新一代汽车安全芯片T97-415E。作为T97-315E的迭代升级产品,该芯片以大容量存储、全球化合规认证、双SPI接口协同为核心突破,直击智能网联汽车"多场景安全并行"与"出口合规"两大行业痛点,助力车企抢占智能驾驶与全球化市场双赛道。行业趋势锚定:三大升级回应智能化浪潮1. 大容量存储:破解车联网多任务瓶颈随着​车机功能泛在化​(数字钥匙、OTA、T-BOX等安全服务集成),传统安全芯片面临存储资源挤占难题。T97-415E创新性
    贞光科技 2025-03-27 13:50 189浏览
  • 在嵌入式语音系统的开发过程中,广州唯创电子推出的WT588系列语音芯片凭借其优异的音质表现和灵活的编程特性,广泛应用于智能终端、工业控制、消费电子等领域。作为该系列芯片的关键状态指示信号,BUSY引脚的设计处理直接影响着系统交互的可靠性和功能拓展性。本文将从电路原理、应用场景、设计策略三个维度,深入解析BUSY引脚的技术特性及其工程实践要点。一、BUSY引脚工作原理与信号特性1.1 电气参数电平标准:输出3.3V TTL电平(与VDD同源)驱动能力:典型值±8mA(可直接驱动LED)响应延迟:语
    广州唯创电子 2025-03-26 09:26 224浏览
  • 在电子设计中,电磁兼容性(EMC)是确保设备既能抵御外部电磁干扰(EMI),又不会对自身或周围环境产生过量电磁辐射的关键。电容器、电感和磁珠作为三大核心元件,通过不同的机制协同作用,有效抑制电磁干扰。以下是其原理和应用场景的详细解析:1. 电容器:高频噪声的“吸尘器”作用原理:电容器通过“通高频、阻低频”的特性,为高频噪声提供低阻抗路径到地,形成滤波效果。例如,在电源和地之间并联电容,可吸收电源中的高频纹波和瞬态干扰。关键应用场景:电源去耦:在IC电源引脚附近放置0.1μF陶瓷电容,滤除数字电路
    时源芯微 2025-03-27 11:19 206浏览
  • 在当今竞争激烈的工业环境中,效率和响应速度已成为企业制胜的关键。为了满足这一需求,我们隆重推出宏集Panorama COOX,这是Panorama Suite中首款集成的制造执行系统(MES)产品。这一创新产品将Panorama平台升级为全面的工业4.0解决方案,融合了工业SCADA和MES技术的双重优势,帮助企业实现生产效率和运营能力的全面提升。深度融合SCADA与MES,开启工业新纪元宏集Panorama COOX的诞生,源于我们对创新和卓越运营的不懈追求。通过战略性收购法国知名MES领域专
    宏集科技 2025-03-27 13:22 238浏览
  • 汽车导航系统市场及应用环境参照调研机构GII的研究报告中的市场预测,全球汽车导航系统市场预计将于 2030年达到472亿美元的市场规模,而2024年至2030年的年复合成长率则为可观的6.7%。汽车导航系统无疑已成为智能汽车不可或缺的重要功能之一。随着人们在日常生活中对汽车导航功能的日渐依赖,一旦出现定位不准确或地图错误等问题,就可能导致车主开错路线,平白浪费更多行车时间,不仅造成行车不便,甚或可能引发交通事故的发生。有鉴于此,如果想要提供消费者完善的使用者体验,在车辆开发阶段便针对汽车导航功能
    百佳泰测试实验室 2025-03-27 14:51 249浏览
  • 文/陈昊编辑/cc孙聪颖‍2025 年,作为中国实施制造强国战略第一个十年计划的关键里程碑,被赋予了极为重大的意义。两会政府工作报告清晰且坚定地指出,要全力加速新质生产力的发展进程,推动传统产业全方位向高端化、智能化与绿色化转型。基于此,有代表敏锐提议,中国制造应从前沿技术的应用切入,逐步拓展至产业生态的构建,最终延伸到提升用户体验的维度,打出独树一帜、具有鲜明特色的发展牌。正是在这样至关重要的时代背景之下,于 AWE 2025(中国家电及消费电子博览会)这一备受瞩目的舞台上,高端厨房的中国方案
    华尔街科技眼 2025-03-25 16:10 97浏览
  • 长期以来,智能家居对于大众家庭而言就像空中楼阁一般,华而不实,更有甚者,还将智能家居认定为资本家的营销游戏。商家们举着“智慧家居、智慧办公”的口号,将原本价格亲民、能用几十年的家电器具包装成为了高档商品,而消费者们最终得到的却是家居设备之间缺乏互操作性、不同品牌生态之间互不兼容的碎片化体验。这种早期的生态割裂现象致使消费者们对智能家居兴趣缺失,也造就了“智能家居无用论”的刻板印象。然而,自Matter协议发布之后,“命运的齿轮”开始转动,智能家居中的生态割裂现象与品牌生态之间的隔阂正被基于IP架
    华普微HOPERF 2025-03-27 09:46 156浏览
  • 案例概况在丹麦哥本哈根,西门子工程师们成功完成了一项高安全设施的数据集成项目。他们利用宏集Cogent DataHub软件,将高安全设施内的设备和仪器与远程监控位置连接起来,让技术人员能够在不违反安全规定、不引入未经授权人员的情况下,远程操作所需设备。突破OPC 服务器的远程连接难题该项目最初看似是一个常规的 OPC 应用:目标是将高安全性设施中的冷水机(chiller)设备及其 OPC DA 服务器,与远程监控站的两套 SCADA 系统(作为 OPC DA 客户端)连接起来。然而,在实际实施过
    宏集科技 2025-03-27 13:20 137浏览
  • 在智能语音产品的开发过程中,麦克风阵列的选型直接决定了用户体验的优劣。广州唯创电子提供的单麦克风与双麦克风解决方案,为不同场景下的语音交互需求提供了灵活选择。本文将深入解析两种方案的性能差异、适用场景及工程实现要点,为开发者提供系统化的设计决策依据。一、基础参数对比分析维度单麦克风方案双麦克风方案BOM成本¥1.2-2.5元¥4.8-6.5元信噪比(1m)58-62dB65-68dB拾音角度全向360°波束成形±30°功耗8mW@3.3V15mW@3.3V典型响应延迟120ms80ms二、技术原
    广州唯创电子 2025-03-27 09:23 212浏览
  • WT588F02B是广州唯创电子推出的一款高性能语音芯片,广泛应用于智能家电、安防设备、玩具等领域。然而,在实际开发中,用户可能会遇到烧录失败的问题,导致项目进度受阻。本文将从下载连线、文件容量、线路长度三大核心因素出发,深入分析烧录失败的原因并提供系统化的解决方案。一、检查下载器与芯片的物理连接问题表现烧录时提示"连接超时"或"设备未响应",或烧录进度条卡顿后报错。原因解析接口错位:WT588F02B采用SPI/UART双模通信,若下载器引脚定义与芯片引脚未严格对应(如TXD/RXD交叉错误)
    广州唯创电子 2025-03-26 09:05 154浏览
  • 六西格玛首先是作为一个量度质量水平的指标,它代表了近乎完美的质量的水平。如果你每天都吃一个苹果,有一间水果店的老板跟你说,他们所卖的苹果,质量达到六西格玛水平,换言之,他们每卖一百万个苹果,只会有3.4个是坏的。你算了一下,发现你如果要从这个店里买到一个坏苹果,需要805年。你会还会选择其他店吗?首先发明六西格玛这个词的人——比尔·史密斯(Bill Smith)他是摩托罗拉(Motorloa)的工程师,在追求这个近乎完美的质量水平的时候,发明了一套方法模型,开始时是MAIC,后来慢慢演变成DMA
    优思学院 2025-03-27 11:47 191浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦