端侧AI应用如何落地?RSL10智能相机拍摄平台给出答案

安森美半导体 2021-04-13 00:00

点击蓝字 关注我们


作者:刘岩轩

文章来源:21ic


导读:Edge AI是新的发展方向,它能够把数据处理分析过程从云端搬回本地,来避免网络传输延迟和潜在的隐私安全问题,同时可以大大减少成本。在未来的图像传感器里,不仅仅包含模拟数字信号处理,人工智能算法也会被加入加快图像传感器的高度智能化,从而使系统能够通过新的计算和决策提供更快更准确的结果。而受限于端侧的有限资源,我们需要更有效的算法支持来平衡计算能力和功耗。


人工智能的概念起源可以追溯到1956年,John McCarthy在达特矛斯会议上提出了“人工智能”这一概念。而在2018年前后随着诸多人工智能专用芯片的初创公司出现、众多具有未来感的应用场景的曝光...人工智能话题真正被大众熟知和热捧。这种广义的AI的话题似乎在最近几年削弱了很多,但其实在AI正在各个细分领域进行下放和落地。现在我们可以看到,其实在各种各样的物联网端侧设备中,也可以实现AI和ML的诸多应用。


图:RSL10 智能相机拍摄平台


当然受限于供电、算力等等端侧特定场景的要求,端侧AI的应用落地需要结合端侧的实际场景。最近安森美半导体推出的全新智能相机拍摄平台,就给了业界一个端侧AI应用的很好启发。近日笔者专门采访了安森美半导体亚太地区方案中心的市场营销工程师贾鹏先生,他对于RSL10这一全新平台进行了精彩的分享。

▲安森美半导体亚太地区方案中心 

市场营销工程师 贾鹏 


将AI图片识别部署到物联网端点


图像识别是AI的典型应用案例之一,在端侧也有着诸多实际应用需求。安森美半导体的RSL10 智能相机拍摄平台就是为端侧实现了图像采集的功能,并通过低功耗蓝牙来实现数据传输,通过云端AI来智能识别物体。RSL10 智能相机拍摄平台中包含了安森美半导体的多个成功的芯片,其中包括蓝牙低功耗的RSL10 SIP、ARX3A0 Mono 65° DFOV IAS模块、多种传感器芯片和电源管理芯片等。


据贾鹏先生分享,RSL10智能相机拍摄平台最独特的一点是它提供了一种超自动化应用的典型思路:传感器触发(条件)- 拍摄(动作)- AI识别 - 获取信息并处理。


我们在相关的介绍中可以看到,在实际应用中,开发者可以将RSL10 智能相机拍摄平台配置成一个端点,设置特定的时间、环境变量作为触发条件。例如在某个时间段,或者环境温湿度达到触发值时,平台自动将图像发送到云端进行分析,云端通过图像分析来给出相应的反馈的决策。


据贾鹏先生分享,RSL10智能相机拍摄平台的图像可以上传至亚马逊AWS,AWS在云端提供了图像识别服务,能够识别大部分用户拍摄的物体,为后续的数据处理提供了可能。


虽然RSL10智能相机拍摄平台的成品度非常高,但对于不同的客户仍可以根据自己的实际情况在不同的步骤进行设计,实现具备差异化的产品研发。除了安森美现在提供的所有相关资料之外,贾鹏先生表示安森美半导体的技术服务团队也可提供现场支持。


端侧AI应用需符合端侧应用条件要求


当我们提到物联网端侧的应用,功耗、成本和可靠性等都是最为重要的设计考量。同样的,端侧AI的部署也都需要考虑到这些因素。


据贾鹏先生介绍,RSL10智能相机拍摄平台的超低功耗是其重要特点之一:RSL10智能相机拍摄平台有连续拍摄和正常拍摄两种模式,一块1700 mAh的充电电池能够支持它在全传感器工作并保持蓝牙低功耗(BLE)时刻连接状态下正常使用约半年(此状态下平均功耗小于2 mW)。


笔者还关注到RSL10智能相机拍摄平台中搭载的ARX3A0图像传感器的每秒帧数可以达到360,远超现在主流手机的30 fps、60fps的水准。但据贾鹏先生分享,ARX3A0图像传感器拥有的高帧率特性,主要是为了眼球跟踪、VR/AR等需要高速摄影的应用场景


但在RSL10智能相机拍摄平台中ARX3A0图像传感器以较低帧率就可以满足端侧的采集需求,这样也不会对与蓝牙数据传输即时性、整体的平台功耗产生过多的压力。当然我们可以看到这种硬件上的参数富裕也给了设计者更多个性化发挥的空间。


贾鹏先生表示,Edge AI是新的发展方向,它能够把数据处理分析过程从云端搬回本地,来避免网络传输延迟和潜在的隐私安全问题,同时可以大大减少成本。在未来的图像传感器里,不仅仅包含模拟数字信号处理,人工智能算法也会被加入加快图像传感器的高度智能化,从而使系统能够通过新的计算和决策提供更快更准确的结果。而受限于端侧的有限资源,我们需要更有效的算法支持来平衡计算能力和功耗。


对于安森美半导体这样具有非常宽广的产品组合的厂商而言,除了优势的单品外,还可以提供非常多丰富的解决方案。RSL10智能相机拍摄平台就是其中之一,它为业界的端侧AI应用提供了很好的范例和启示。相信我们也可以在诸多实地应用中看到它的身影。


安森美半导体 安森美(onsemi, 纳斯达克股票代码:ON)专注于汽车和工业终端市场,包括汽车功能电子化和安全、可持续能源网、工业自动化以及5G和云基础设施等。以高度差异化的创新产品组合,创造智能电源和感知技术,解决最复杂的挑战,帮助建设更美好的未来。
评论
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 71浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 47浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 75浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 49浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 138浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 81浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 87浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 81浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦