嵌入式AI技术漫谈|特征空间在端侧的用武之地

瑞萨MCU小百科 2025-04-03 12:01


作者:苏勇Andrew


作为一家国际知名半导体公司的人工智能技术专家,我在向客户介绍瑞萨的AI硬件和AI工具时,总会收到我关于机器学习算法的询问,例如:卷积神经网络、K均值算法或其他什么算法。但事实是,在构建人工智能解决方案的过程中,算法并不是最重要的因素(虽然是必要的),尤其是对于端侧应用。数据才是关键,一旦有了数据,真正起决定作用的,其实是隐藏在其中的“特征”(Feature)。


在机器学习的术语中,特征是作为算法输入的特定变量。特征可以是直接来自于输入数据中的原始值,也可以是对这些数据进行处理(预处理)后间接得到的值。有了合适的特征,几乎任何机器学习算法都能找到你要找的东西。如果没有好的特征,任何算法都无济于事。对于现实世界中的问题来说尤其如此,因为现实世界中的数据往往带有大量的固有噪声和差异,干扰和迷惑我们,妨碍我们直接通过数据看到真相。


我的同事Jeff(瑞萨AI COE部门的技术总监,前Reality AI独立公司的联合创始人)喜欢用这样一个例子跟同事们解释机器学习中关于特征的概念:


“假设我试图用人工智能模型检测我妻子何时回家,我会准备一组传感器,将其对准门口并收集数据。为了将这些数据应用于机器学习,我需要确定一组特征,这些特征能帮助模型将妻子与传感器可能检测到的其他任何事物区分开来。那么,最好用的特征会是什么呢?是能表明“她在那儿!”的那个特征。那将是完美的——一个具有完全预测能力的特征。这样一来,机器学习的任务就变得轻而易举了。”


诚然,如果能预知直接从底层数据中计算出完美特征的算法就最好了,实际上,深度学习通过多层卷积神经网络践行了这个思路,但这会带来大量的计算开销,并且需要大量的数据样本做支撑。正如在前文《深度学习的困局》中所阐述的那样。不过,还有其他方法,比如,使用Reality AI提供的工具集。


瑞萨的Reality AI工具基于连续采样的信号输入(如加速度、振动、声音、电信号等等)来创建分类器和探测器,而这些输入通常带有大量噪声和固有的信号波动。我们的价值在于,能够探索到那些以最低计算开销实现最强推测能力(关联度最高)的特征。Reality AI工具会遵循一套数学流程,先从数据中发现经过优化的特征,然后才会考虑使用这些特征来做出决策的算法(SVM或者NN)细节。Reality AI工具探索到越接近完美的特征,最终得到的推测结果就越好,需要参与训练和推理过程的数据更少,训练时间更少,结果更准确,并且所需的处理能力也更低。经过验证,行之有效。


这里举个例子说明有效的特征对后续判决起到显著作用。当以比较高的采样率(50 Hz及以上)对客观上世界的信号数据进行分析,比如,从振动或声音转化成的电信号进行采样得到的数据中发现某些规律或模式。在信号处理领域,工程师们通常采用频率分析方法提取信号特征。对于这类数据,机器学习的常见做法是,也是对输入数据流进行快速傅里叶变换(FFT),然后将这些频率系数中的峰值作为神经网络或其他某种算法的输入。


为什么采用这种方法呢?

  • 一方面,是因为它很方便,毕竟数据工程师使用的所有数据处理工具都支持FFT,例如:MATLAB、Numpy、Scipy。

  • 另一方面,也是因为他们理解这种方法,因为在学校里,每个人都会学习FFT。

  • 同时,也是因为这种方法易于解释,因为其结果很容易与底层物理原理联系起来。


但是,FFT并不是总会提供最优的特征,它常会模糊掉重要的时间信息,而这些时间信息对于底层时序信号的分类或检测可能极为有用。


例如

在一项测试中,将Reality AI优化后的特征与FFT在一组中等复杂程度且带有噪声的信号上进行了比较。在图1中,展示了针对这一特定信号输入进行FFT处理后的时频图(或称为频谱图)。纵轴是频率,横轴是时间,在流信号上的滑动窗口中每次计算FFT。图中的颜色是热图,颜色越暖表示在该特定频率范围内的能量越高。


图1 测试信号的频谱图


把现在看到的这张图,同另一张图做个对比,见图2。图2是对当前这个分类问题,用Reality AI探索到的方法做出来的,它展示的是经过优化的特征。在图2中,细节展现得更丰富,之前模糊的地方现在都能分辨出来,而且降低了描述的复杂度(不需要使用不同的颜色在第三个维度上表达能量的分布情况)。如此,理解图中的内容也容易多了。


图2 测试信号在Reality AI探索到特征空间中的分布


仔细看这个图,

就可以试着解释这段信号的模式:

  • 最基础的信号其实是一种低沉的(初始频率分布在较低的频段)、带着好几种音调(能量分布在多个频点)的嗡嗡声

  • 同时还伴随着一阵一阵逐渐变响的啁啾声(有效频率分布的范围随着时间的推移在逐步升高)

  • 另外还有一些突然出现又消失的其他信号(随着时间的推移,在某些频点出现能量后又消失)。


哈哈,你可能猜到了,这是一种独特的鸟在传递某种信息时发出的鸣叫声。


因为用了Reality AI探索出的方法,图中的信息不再模糊不清,那些干扰的噪声也被去掉了。所以,即使不是专业搞信号处理的人,也能一下子能看明白。现在,无论使用什么分类方法,要检测这些信号可比以前简单太多了。


一开始就对特征进行优化还有另一个关键的好处,可以提升最终分类器的计算效率。对于嵌入式解决方案而言,内存空间和计算负载都是最宝贵的资源,如果没有选对合适的特征,可能会导致最终可用模型的尺寸和计算复杂度急剧攀升,从而导致选型的芯片成本增加。


如前文《深度学习的困局》所述,深度学习也能够发现特征,不过效率不高。尽管如此,深度学习方法在处理某些使用信号数据的问题时非常成功,包括图像中的物体识别以及声音中的语音识别。对于广泛的各类问题,它都是一种可行的方法,但深度学习需要大量的训练数据,计算效率不是很高,而且对于非专业人士来说使用起来可能有难度。分类器的准确性往往对大量的配置参数有着敏感的依赖,这使得许多使用深度学习的开发者把大量精力放在调整预训练的模型上,而不是专注于为每个新问题找到最佳特征。


我的同事Jeff(同时作为数学家的他)也解释说,深度学习的本质上是“一种广义的非线性函数映射 ——数学原理很精妙,但与几乎任何其他方法相比,其收敛速度慢得离谱”。而Reality AI的方法则是针对信号进行了优化调整,通过探索和提取有效特征的方法,能够在使用较少数据的情况下实现更快的收敛。对于资源有限的端侧AI的应用场景,这种方法的效率将比深度学习高出好几个数量级。


虽然,深度学习在目前主流的AI产品中取得了显著的成功,这使得相关领域的人们将更多的关注放到了算法方面。在深度学习及其周边领域,机器学习算法已经有了大量令人兴奋的创新成果。但是,不要忘记一些基本的要义:


归根结底,

一切都来自于数据,与特征有关。


需要技术支持?

如您在使用瑞萨MCU/MPU产品中有任何问题,可识别下方二维码或复制网址到浏览器中打开,进入瑞萨技术论坛寻找答案或获取在线技术支持。

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/



1

END

1


推荐阅读

让AI发生 | 一站式嵌入式AI开发平台:Reality AI Tools


视频介绍 | 使用AI思维定义嵌入式系统

扩展中高端视觉AI应用 | RZ V2N新产品介绍——高能效、先进AI技术


评论 (0)
  • 在万物互联时代,智能化安防需求持续升级,传统报警系统已难以满足实时性、可靠性与安全性并重的要求。WT2003H-16S低功耗语音芯片方案,以4G实时音频传输、超低功耗设计、端云加密交互为核心,重新定义智能报警设备的性能边界,为家庭、工业、公共安防等领域提供高效、稳定的安全守护。一、技术内核:五大核心突破,构建全场景安防基座1. 双模音频传输,灵活应对复杂场景实时音频流传输:内置高灵敏度MIC,支持环境音实时采集,通过4G模块直接上传至云端服务器,响应速度低至毫秒级,适用于火灾警报、紧急呼救等需即
    广州唯创电子 2025-04-08 08:59 108浏览
  • 曾几何时,汽车之家可是汽车资讯平台领域响当当的“扛把子”。2005 年成立之初,它就像一位贴心的汽车小助手,一下子就抓住了大家的心。它不仅吸引了海量用户,更是成为汽车厂商和经销商眼中的“香饽饽”,广告投放、合作推广不断,营收和利润一路高歌猛进,2013年成功在纽交所上市,风光无限。2021年更是在香港二次上市,达到了发展的巅峰,当年3月15日上市首日,港股股价一度高达184.6港元,市值可观。然而,如今的汽车之家却陷入了困境,业务下滑明显。业务增长瓶颈从近年来汽车之家公布的财报数据来看,情况不容
    用户1742991715177 2025-04-07 21:48 80浏览
  • HDMI从2.1版本开始采用FRL传输模式,和2.0及之前的版本不同。两者在物理层信号上有所区别,这就需要在一些2.1版本的电路设计上增加匹配电路,使得2.1版本的电路能够向下兼容2.0及之前版本。2.1版本的信号特性下面截取自2.1版本规范定义,可以看到2.1版本支持直流耦合和交流耦合,其共模电压和AVCC相关,信号摆幅在400mV-1200mV2.0及之前版本的信号特性HDMI2.0及之前版本采用TMDS信号物理层,其结构和参数如下:兼容设计根据以上规范定义,可以看出TMDS信号的共模电压范
    durid 2025-04-08 19:01 91浏览
  • 贞光科技作为三星电机车规电容代理商,针对电动汽车领域日益复杂的电容选型难题,提供全方位一站式解决方案。面对高温稳定性、高可靠性、高纹波电流和小型化等严苛要求,三星车规电容凭借完整产品矩阵和卓越技术优势,完美满足BMS、电机控制器和OBC等核心系统需求。无论技术选型、供应链保障、样品测试还是成本优化,贞光科技助力客户在电动汽车产业高速发展中占据技术先机。在电动汽车技术高速发展的今天,作为汽车电子系统中不可或缺的关键元器件,电容的选型已成为困扰许多工程师和采购人员的难题。如何在众多参数和型号中找到最
    贞光科技 2025-04-07 17:06 59浏览
  • 在全球电子产业面临供应链波动、技术迭代和市场需求变化等多重挑战的背景下,安博电子始终秉持“让合作伙伴赢得更多一点”的核心理念,致力于打造稳健、高效、可持续的全球供应链体系。依托覆盖供应商管理、品质检测、智能交付的全链路品控体系,安博电子不仅能确保电子元器件的高可靠性与一致性,更以高透明的供应链管理模式,助力客户降低风险、提升运营效率,推动行业标准升级,与全球合作伙伴共同塑造更具前瞻性的产业生态。动态优选机制:构建纯净供应链生态安博电子将供应商管理视为供应链安全的根基。打造动态优选管控体系,以严格
    电子资讯报 2025-04-07 17:06 72浏览
  • 及时生产 JIT(Just In Time)的起源JIT 起源于 20 世纪 70 年代爆发的全球石油危机和由此引发的自然资源短缺,这对仰赖进口原物料发展经济的日本冲击最大。当时日本的生产企业为了增强竞争力、提高产品利润,在原物料成本难以降低的情况下,只能从生产和流通过程中寻找利润源,降低库存、库存和运输等方面的生产性费用。根据这种思想,日本丰田汽车公司创立的一种具有特色的现代化生产方式,即 JIT,并由此取得了意想不到的成果。由于它不断地用于汽车生产,随后被越来越多的许多行业和企业所采用,为日
    优思学院 2025-04-07 11:56 103浏览
  •     在研究Corona现象时发现:临界电压与介电材料表面的清洁程度有关。表面越清洁的介电材料,临界电压越高;表面污染物越多的地方,越容易“爬电”。关于Corona现象,另见基础理论第007篇。    这里说的“污染物”,定义为——可能影响介电强度或表面电阻率的固体、液体或气体(电离气体)的任何情况。    IEC 60664-1 (对应GB/T 16935.1-2023) 定义了 Pollution Degree,中文术语是“污染等
    电子知识打边炉 2025-04-07 22:06 74浏览
  • 在追求环境质量升级与产业效能突破的当下,温湿度控制正成为横跨多个行业领域的核心命题。作为环境参数中的关键指标,温湿度的精准调控不仅承载着人们对舒适人居环境的期待,更深度关联着工业生产、科研实验及仓储物流等场景的运营效率与安全标准。从应用场景上看,智能家居领域要求温湿度系统实现与人体节律的协同调节,半导体洁净车间要求控制温湿度范围及其波动以保障良品率,而现代化仓储物流体系则依赖温湿度的实时监测预防各种产品的腐损与锈化。温湿度传感器作为实现温湿度监测的关键元器件,其重要性正在各行各业中凸显而出。温湿
    华普微HOPERF 2025-04-07 10:05 121浏览
  • 在人工智能技术飞速发展的今天,语音交互正以颠覆性的方式重塑我们的生活体验。WTK6900系列语音识别芯片凭借其离线高性能、抗噪远场识别、毫秒级响应的核心优势,为智能家居领域注入全新活力。以智能风扇为起点,我们开启一场“解放双手”的科技革命,让每一缕凉风都随“声”而至。一、核心技术:精准识别,无惧环境挑战自适应降噪,听懂你的每一句话WTK6900系列芯片搭载前沿信号处理技术,通过自适应降噪算法,可智能过滤环境噪声干扰。无论是家中电视声、户外虫鸣声,还是厨房烹饪的嘈杂声,芯片均能精准提取有效指令,识
    广州唯创电子 2025-04-08 08:40 129浏览
  • 文/Leon编辑/cc孙聪颖‍转手绢、跳舞、骑车、后空翻,就在宇树、智元等独角兽企业率领“机器人大军”入侵短视频时,却有资本和科技大佬向此产业泼了一盆冷水。金沙江创投管理合伙人朱啸虎近日突然对人形机器人发难,他表示“最近几个月正在批量退出人形机器人公司”。“只是买回去做研究的,或者买回去做展示的,这种都不是我们意义上的商业化,谁会花十几万买一个机器人去干这些活?”朱啸虎吐槽。不过,朱啸虎的观点很快就遭到驳斥,众擎机器人的创始人、董事长赵同阳回怼道:“(朱啸虎)甚至问出了人形机器人在这个阶段有什么
    华尔街科技眼 2025-04-07 19:24 118浏览
  •   工业自动化领域电磁兼容与接地系统深度剖析   一、电磁兼容(EMC)基础认知   定义及关键意义   电磁兼容性(EMC),指的是设备或者系统在既定的电磁环境里,不但能按预期功能正常运转,而且不会对周边其他设备或系统造成难以承受的电磁干扰。在工业自动化不断发展的当下,大功率电机、变频器等设备被大量应用,现场总线、工业网络等技术也日益普及,致使工业自动化系统所处的电磁环境变得愈发复杂,电磁兼容(EMC)问题也越发严峻。   ​电磁兼容三大核心要素   屏蔽:屏蔽旨在切断电磁波的传播路
    北京华盛恒辉软件开发 2025-04-07 22:55 143浏览
  • 医疗影像设备(如CT、MRI、超声诊断仪等)对PCB的精度、可靠性和信号完整性要求极高。这类设备需要处理微伏级信号、高频数据传输,同时需通过严格的EMC/EMI测试。制造此类PCB需从材料选择、层叠设计、工艺控制等多维度优化。以下是关键技术与经验分享。 1. 材料选择:高频与生物兼容性优先医疗影像设备PCB常采用 Rogers RO4000系列 或 Isola FR4高速材料,以降低介电损耗并保证信号稳定性。例如,捷多邦在客户案例中曾为某超声探头厂商推荐 Rogers RO4350B
    捷多邦 2025-04-07 10:22 101浏览
  • 引言:小型化趋势下的语音芯片需求随着消费电子、物联网及便携式设备的快速发展,产品设计对芯片的小型化、高集成度和低功耗提出了更高要求。厂家凭借其创新的QFN封装技术,推出WTV系列(如WTV380)及WT2003H系列语音芯片,以超小体积、高性能和成本优势,为紧凑型设备提供理想解决方案。产品核心亮点1. QFN封装技术赋能超小体积极致尺寸:WTV380采用QFN32封装,尺寸仅4×4毫米,WT2003H系列同样基于QFN工艺,可满足智能穿戴、微型传感器等对空间严苛的场景需求。高密度集成:QFN封装
    广州唯创电子 2025-04-07 08:47 133浏览
  • 引言:POPO声的成因与影响在语音芯片应用中,WT588F08A作为一款支持DAC+功放输出的高集成方案,常因电路设计或信号处理不当,在音频播放结束后出现POPO声(瞬态噪声)。这种噪声不仅影响用户体验,还可能暴露电路设计缺陷。本文将基于实际案例,解析POPO声的成因并提供系统化的解决方案。一、POPO声的根源分析1. 功放电路状态切换的瞬态冲击当DAC输出的音频信号突然停止时,功放芯片的输入端若处于高阻态或无信号状态,其内部放大电路会因电源电压突变产生瞬态电流,通过喇叭表现为POPO声。关键因
    广州唯创电子 2025-04-07 09:01 107浏览
  •     根据 IEC术语,瞬态过电压是指持续时间几个毫秒及以下的过高电压,通常是以高阻尼(快速衰减)形式出现,波形可以是振荡的,也可以是非振荡的。    瞬态过电压的成因和机理,IEC 60664-1给出了以下四种:    1. 自然放电,最典型的例子是雷击,感应到电力线路上,并通过电网配电系统传输,抵达用户端;        2. 电网中非特定感性负载通断。例如热处理工厂、机加工工厂对
    电子知识打边炉 2025-04-07 22:59 92浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦