所有AI处理器都仰赖于数据集,也就是“学习过的“对象种类模型,用以执行识别功能;每个对象的识别和分类都需要多次存取内存,而当今工程师面临的最大挑战就是如何克服现有架构中的内存访问速度和功耗瓶颈…

机器学习有两个基本阶段:训练和推理。人工神经网络旨在模仿大脑的运作方式,首先要读取大量的已知数据——例如狗和猫的图片——这样才能学会识别每个物体的样子以及它们的不同之处;然后经过训练的神经网络或模型就可以开始工作,根据所学到的知识推断呈现在面前的新数据是什么事物,例如判别影像中的是狗还是猫。

目前大多数训练都是在数据中心进行的,但也有少数是在边缘端进行。像Google、Facebook、Amazon、Apple和Microsoft这样的大公司都拥有大量消费者资料,因此可以为他们的“服务器农场”提供足够多的数据进行工业规模的AI训练,以改善其算法。训练阶段需要速度非常高的处理器,例如绘图处理器(GPU)或Google开发的张量处理器(TPU)。

当边缘设备收集到数据——例如建筑物或人脸的照片——并传送到推理引擎进行分类时,推理就会发生。以云端为基础的AI因为固有的延迟缺点,对许多应用来说是不可接受的;例如自动驾驶车需要对看到的物体做出实时决策,这以云端AI架构就不可能实现。

随着AI功能逐渐向边缘端发展,它们将推动更多的AI应用,而且这些应用会越来越需要更强大的分析能力和智能,好让系统在本地即可做出运作决策,无论是部分还是完全自主的,就像自动驾驶车辆所配备的功能。

传统CPU不是很擅长这类任务,而高端GPU则是功耗大、价格昂贵;边缘端推理需要更便宜、功率更低的芯片,可快速透过神经网络识别一种动物、一张脸,锁定一个肿瘤,或将德语翻译成英语。如今有超过30家公司正在研发AI专用的硬件,以提高在智能手机、平板电脑和其他边缘设备中完成这类特殊运算任务的效率。

分析师们预测,从2017~2021年,全球AI芯片市场将取得高达54%的年复合成长率(CAGR),其关键成长动力在于能满足机器学习要求的强大硬件。

消除内存瓶颈

所有AI处理器都仰赖于数据集,也就是“学习过的”对象种类(如影像、声音等等)模型,用以执行识别功能;每个对象的识别和分类都需要多次存取内存,而当今工程师面临的最大挑战就是如何克服现有架构中的内存访问速度和功耗瓶颈,以实现更快的数据存取,同时降低数据存取消耗的能源成本。

透过在尽可能接近AI处理器核心的位置储存训练数据,可获得最快访问速度和最大能效;但是目前的设计所采用之储存架构,都是几年前还没有其他实用解决方案时打造的,仍然是速度快但小容量的嵌入式SRAM与大容量但速度较慢的外部DRAM之传统组合。当训练模型以这种方式储存,嵌入式SRAM、外部DRAM和神经网络之间频繁且大规模的数据交换会增加功耗及传输延迟;此外,SRAM和DRAM都是挥发性内存,限制了在待机状态的省电效果。

利用高密度、高速和低功耗的非挥发性内存将整个训练模型直接储存在AI处理器芯片上,就可以实现更高的能效和速度。透过实现以内存为中心的新架构(如图1),整个训练模型或知识库就可以放在芯片上,直接与神经网络链接,这样就有实现大规模节能与性能提升的潜力,并因此能大幅延长电池寿命并提供更好的用户体验。现在已经有几种新一代内存技术正竞相实现此一目标。

edgeReRAM2.jpg

图1 内存位于AI架构中心。

ReRAM的潜力

针对AI应用的理想非易失性嵌入式内存应该具备如下特点:容易制造、容易整合到成熟的CMOS后段工艺、容易微缩到先进工艺节点、可大量供应,并且能够满足各种应用对功耗和速度的要求。

在工艺微缩方面,电阻式内存(ReRAM)会比磁性内存(MRAM)或相变化内存(PCM)更具优势,这在考虑14纳米、12纳米甚至是7纳米晶圆工艺时是一个重要因素;其他内存技术都需要比ReRAM更复杂和昂贵的工艺,运作功耗也更高。

edgeReRAM1.jpg

图2 ReRAM可以填补内存技术的空白。

举例来说,美国业者Crossbar的ReRAM所采用之纳米丝(nanofilament)技术,可以在不影响性能的情况下微缩到10纳米以下。ReRAM以简单的组件结构为基础,采用适合CMOS工艺的材料和标准生产流程,可以在现有的CMOS晶圆厂生产;因为是一种低温、后段工艺整合的方案,可以在CMOS逻辑晶圆上整合多层ReRAM数组,以构建3D ReRAM储存架构。

AI需要最佳的每瓦性能,尤其对于小功率的边缘设备;ReRAM的能效可达到DRAM的五倍——达到每奈焦(nanojoule) 1,000位的读取—同时表现出比DRAM更好的整体读取性能,高达12.8GB/s,随机延迟小于20ns。

以内存为中心的架构

科学家们一直在探索各种新颖的大脑启发典范,试图透过模仿中枢神经系统的神经元和突触(synapses)之交互作用来实现更高的能效。以ReRAM技术为基础的人工神经突触是一种非常有前途的方法,可用于在神经形态结构中实现这些高密度且能终极微缩的突触数组。藉由在边缘端启动AI,ReRAM有可能在现有和全新的AI解决方案中扮演重要角色。

本文同步刊登于EDN电子技术设计2018年10月刊杂志 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

您可能感兴趣
美国半导体巨头微芯科技(Microchip Technology)宣布了一项重大重组计划,将裁减约2000人,约占员工总数的9%,以应对汽车芯片需求持续低迷的挑战......
马来西亚政府也希望与Arm的交易将使国内生产商扩大规模,创建十家本地芯片公司,年收入总额达约200亿美元,将助GDP增加一个百分点。
2024 年,中国人工智能专业在校生约 4 万多人,而整个领域的人才缺口却高达 500 万……
从品牌战略的角度来看,华为本次选择古代神话中的人物作为商标,可能是为了借助这些神话角色的知名度和文化内涵,打造具有中国特色的品牌形象……
全球前十大高产机构中,9家为中国机构(如中国科学院、清华大学等)。其中,中国科学院以 2018-2023 年期间发布的 14,387 篇文章位居榜首。
这一新指导政策不仅反映了中国在芯片产业中减少对外依赖的战略意图,也体现了RISC-V架构在中国芯片产业中的重要地位和发展潜力。
TEL宣布自2025年3月1日起,现任TEL中国区地区总部——东电电子(上海)有限公司高级执行副总经理赤池昌二正式升任为集团副总裁,同时兼任东电电子(上海)有限公司总裁和东电光电半导体设备(昆山)有限公司总裁。
预计在2025年,以下七大关键趋势将塑造物联网的格局。
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCON China 2025一展全看,速登记!
本次股东大会将采取线上和线下相结合的混合形式召开,股东们可选择现场出席或线上参会。
本文来源:智能通信定位圈最新消息显示,全球领先的厘米级定位导航企业苏州天硕导航科技有限公司(简称“天硕导航”)近期宣布获得数千万元级的A轮融资。本轮融资目的是扩展业务、产品开发和团队建设,深创投作为本
Mar. 5, 2025 产业洞察根据TrendForce集邦咨询最新研究,TSMC(台积电)近日宣布提高在美国的先进半导体制造投资,总金额达1650亿美元,若新增的三座厂区扩产进度顺利,预计最快20
引言 嘿,各位电动汽车的爱好者们!咱们今儿个就来聊聊电动汽车里那些“看不见,摸不着”,但又至关重要的零部件。要说电动汽车这玩意儿,那可真是科技含量满满,各种高精尖的技术都往里堆。但要让这些
差分运算放大电路,对共模信号得到有效抑制,而只对差分信号进行放大,因而得到广泛的应用。差分电路的电路构型    上图是差分电路。    目标处理电压:是采集处理电压,比如在系统中像母线电压的采集处理,
本文来源:智能通信定位圈自动跟随类的产品属于比较酷炫功能的“黑科技”产品。要实现自动跟随的技术可以有很多,但是最常用的就是UWB,因为UWB定位精度高,现在的成本也在下降,手机中也开始逐渐普及UWB等
在储能行业蓬勃发展的浪潮中,安富利凭借卓越的技术实力与广泛的市场影响力,荣获2025“北极星杯”储能影响力BMS/EMS供应商奖。这一荣誉不仅是对安富利过往成就的高度认可,更是对其在储能领域持续创新与
3月4日,中国商务部接连发布三则公告,对26家美国实体/企业采取不同的管制措施。商务部公告2025年第13号显示,根据《中华人民共和国出口管制法》和《中华人民共和国两用物项出口管制条例》等法律法规有关
面板价格预测(3月)根据TrendForce集邦咨询旗下面板研究中心《TrendForce 2025面板价格预测月度报告》最新调研数据:2025年3月,电视面板与显示器面板价格预期上涨,笔记本面板价格
文|金融街老李奇瑞终于正式向港交所递交上市申请了。其实,支持奇瑞汽车实现IPO,此前就已经被安徽省列在了汽车产业2025年重点工作的第38条,但正如奇瑞汽车一贯的低调作风,此次赴香港上市,奇瑞在资本市
为进一步推进商业信用体系建设,促进企业诚实守信经营,面向企业普及诚信与品牌建设的意义,指导企业加强诚信品牌建设,提升其整体竞争力,“崛起的民族品牌”专题系列节目以诚信为内涵,在全国范围内遴选出有行业代