为什么存储器会成为阻碍AI发展的难题?

ittbank 2019-03-20 17:49

边缘计算性能的提升给存储器的设计,类型的选择和配置都带来挑战,这也导致在不同的应用市场中需要进行更复杂的权衡。


芯片架构正在与新市场一起发展,但数据在芯片、设备之间以及系统之间如何移动并不总是很清楚。汽车和AI应用的数据正变得越来越多和复杂,但芯片架构在处理时有时不清楚如何优先处理数据。这让芯片设计人员面临抉择,是选择共用内存降低成本,还是增加不同类型内存提高性能和降低功耗。


所有这些都是以安全为前提,并且不同的市场设计的要求也不一样。比如,汽车中的各种类型的图像传感器(如激光雷达和摄像头)的大量数据需要在本地处理。AI芯片则希望性能能够提升100倍。


解决内存问题有一些方法,其中一种是片上存储器,也就是将存储器分散地集成在运算单元旁,最大程度减少数据搬移,这种方法的目标是通过减少负载和存储的数量来突破内存瓶颈,也能降低功耗。


“存算一体(In-memory computing)可能是模拟的、数字的,或两者都有。” Cadence Digital&Signoff Group的高级首席产品经理Dave Pursley说,“虽然在内存中进行计算的想法可能是日益增长的趋势,但在这种计算中实际发生的情况似乎大不相同。”


SRAM和DRAM仍是主流


尽管市场出现了新的变化,但片上SRAM和片外DRAM仍是主流。已经有专家预测DRAM多年后将“死亡”,但它仍然是最经济和可靠的选择。DRAM具有高密度、架构简单、低延迟和高性能的特性,兼具耐用和低功耗的特性。


DRAM密度的增速正在放缓,但HBM2等新架构允许通过堆叠模块的方式而不是使用DIMM来垂直增加密度,这种方法还让DRAM更靠近处理单元。


另外,SRAM价格昂贵且密度有限,但其高速性能多年来已被验证。片上存储器的挑战是采用分布还是共用的方式,在某些情况下,为保证安全性需要增加冗余。


“所有这些要求都会影响存储器的类型和数量的选择,还涉及片上和片外存储器之间的权衡,以及访问每个存储器互连的复杂性。”Arm高级物联网架构师Ryan Lim表示。


低功耗存储器是关键


存储器的一个关键问题是功耗,其中存储器类型和配置等多种因素都会影响功耗。例如,在7nm的存储器中进行数据的存取可能消耗更多功耗,这是因为线路中的RC延迟。当然,这也会产生热量,有可能会破坏输入输出存储器的信号的完整性。


不过,较慢的片外数据使用高带宽内存可以节省功耗,并且可以与高速GDDR6一样快。如何做出这些决定取决有多种因素,包括设备的平均售价和选择的存储器类型。


还有针对手持移动设备的极低功耗的存储器,包括越来越多使用电池的边缘设备。


“这些存储器具有极高的效能,可在一定程度上提升电池供电设备的功耗和数据速率。” Rambus杰出的院士Steven Woo说。“它们也可以在多种模式下工作,当处于待机状态时,可以消耗很少的能量满足手机和平板电脑等产品的需求,并在需要进行处理时快速切换到更高性能/更高功率的模式。 ”


低功耗存储器还支持多种封装方式,允许它们与手机处理器堆叠在一起,满足智能手机的轻薄需求,也能集成在PCB上支持平板电脑和其他消费类设备高容量内存配置的需求。


毫无疑问,开发低功耗存储器是一项挑战。“当设计低功耗存储器时,它们支持的速率范围很广,相对低功耗存储器而言,这些数据速率往往是相当高的。”Woo说。“这通常是由一两个主要应用市场驱动,所以它必须面向一个市场很大的行业,拥有足够大市场的行业才能催生新的存储器。从历史上看,手机市场是成功的例子。如果与不同的手机制造商交谈,他们都希望获得性能和电源效率更高的存储器,因为他们希望能够延长电池寿命。对于其他想要使用低功耗存储器的公司,他们会很庆幸其他人正在帮他们实现。“


通常,这些合格的存储器可能在几种不同的数据速率下运行,但速率很接近。“这些存储器可能有一个是每秒4.2千兆比特的速率,另一个是3.2千兆比特。”他解释道,“这可以让内存制造商在生产所有这些存储器时,进行所谓的分级。当某些部件没有全速运行时会发生这种情况,但制造商依旧会出售这些内存,因为有些客户需要以更便宜的价格购买性能较低的存储器。Binning(数据合并)允许这种情况。这些产品的性能在一定的范围内,都属于合格品。“


存储器如何影响人工智能发展?


人工智能在几乎所有新技术中都扮演着重要角色,而存储器又在人工智能中起着重要作用。极高的速度和极低的功率是芯片一直以来追求的,不过这并不总是有效,因为空间有限。但它能解释为什么数据中心和用于训练的AI芯片比应用于终端推理设备的芯片更大。另一种方法是减少一些片外存储芯片,以提高数据吞吐量并通过设计减少到内存的距离,或者限制片外数据流。


在任何一种情况下,片外存储器的竞争很大程度上归结为DRAM-GDDR和HBM。


“从工程和生产的角度来看,GDDR看起来很像其他类型的DRAMs,如DDR和LPDDR,”Woo说。“你可以将它集成到标准PCB板上,还能用类似的制造工艺。HBM是新一些的技术,它涉及堆叠和内插器(interposers),因为HBM有许多连接速度较慢。每个HBM堆栈将具有一千个连接,因此需要高密度的互连,这远远超过PCB的处理能力。这就是为什么有些公司正在使用内插器,因为可以将这些导线蚀刻得非常接近,很像片上连接,可以获得更多的连接。“


HBM追求最高性能和最佳功效,但成本更高,需要更多的工程时间和技术。使用GDDR,DRAM和处理器之间的互连就没那么多,但它们的运行速度要快得多,这会影响信号完整性。


图1:各种类型DRAM的特点。图片来源:Rambus


PPA 


功率,性能和面积(Power、Performance、Area)仍然是关键驱动因素,尽管有架构和变革和新技术。


“这三个都非常重要,但很大程度上取决于应用。”西门子Mentor知识产权部门总经理Farzad Zarrinfar表示。“例如,如果是一个便携应用,功耗非常重要。电源本身也分动态和静态。一部分是动态功率,一部是静态功率。如果应用于无线通信,如果有大量计算,动态功率非常重要。但是,如果是可穿戴式应用,使用者会处于睡觉、醒来运动,然后又回到睡眠的不同状态,静态/泄漏功率非常重要。“


浅睡眠等功能使设计人员能够大幅减少泄漏,这时,不工作的存储器进入源偏置模式以减少泄漏,而其他被直接访问的存储组是工作的。在设计的深度睡眠时,可以通过电源管理,管理Vdd和最小化泄漏的技术来保留数据。如果不需要保留数据,则用关闭模式能进一步减少泄漏。


与电源效率相关的一切在汽车中也是至关重要的。“在电动汽车中,电池的寿命非常重要,因此耗电量至关重要,”Zarrinfar说。“人们希望从-40°C一直到125°C都具有线性的特性,甚至在更高的150°C情况下。他们不希望在高温下泄漏陡然增长,并且他们希望尽可能地将其保持在线性范围内。同样,我们必须在整个温度范围内注意功耗和泄漏,这非常重要。“


无论应用领域如何,功率仍然是首要考虑因素。“我们看到随着SoC设计向更小化发展。”他说。“存储器的消耗正在增加,嵌入式存储器的容量也在增加。现在,我们看到超过50%的裸片是存储器。所以人们必须注意存储器的耗电量。“

 

图2:1999 - 2023年平均晶圆面积 来源:Semico Research


结论


尽管有大量革命性技术和创新架构,但内存仍然是设计的核心。虽然即将出现新的存储器类型,例如相变和自旋扭矩,但大部分仍然应用于各种条件的市场。最大的变化在于如何对现有存储器进行优先级划分、共用、在设计中选择,以及最终如何使用它们。虽然这听起来像是一个简单的问题,但事实并非如此。


“选择正确的内存解决方案通常是获得最佳系统性能的最关键。” Synopsys高级技术营销经理Vadhiraj Sankaranarayanan 在最近发表的一份白皮书中指出,这说起来容易做起来难。


来源:雷锋网

ittbank 让电子库存因技术而改变的ITT模式电商平台。引领和适应市场,以共享经济理念的创客及工程师为核心、以免费开放用户生成的数据为基础,为其提供高性价比的应用解决方案和及时精准的供求信息,快速提高产品开发周期和生产直通率、提升电子器件的应用附加值。
评论 (0)
  • 文/Leon编辑/cc孙聪颖‍2023年,厨电行业在相对平稳的市场环境中迎来温和复苏,看似为行业增长积蓄势能。带着对市场向好的预期,2024 年初,老板电器副董事长兼总经理任富佳为企业定下双位数增长目标。然而现实与预期相悖,过去一年,这家老牌厨电企业不仅未能达成业绩目标,曾提出的“三年再造一个老板电器”愿景,也因市场下行压力面临落空风险。作为“企二代”管理者,任富佳在掌舵企业穿越市场周期的过程中,正面临着前所未有的挑战。4月29日,老板电器(002508.SZ)发布了2024年年度报告及2025
    华尔街科技眼 2025-04-30 12:40 104浏览
  • 随着电子元器件的快速发展,导致各种常见的贴片电阻元器件也越来越小,给我们分辨也就变得越来越难,下面就由smt贴片加工厂_安徽英特丽就来告诉大家如何分辨的SMT贴片元器件。先来看看贴片电感和贴片电容的区分:(1)看颜色(黑色)——一般黑色都是贴片电感。贴片电容只有勇于精密设备中的贴片钽电容才是黑色的,其他普通贴片电容基本都不是黑色的。(2)看型号标码——贴片电感以L开头,贴片电容以C开头。从外形是圆形初步判断应为电感,测量两端电阻为零点几欧,则为电感。(3)检测——贴片电感一般阻值小,更没有“充放
    贴片加工小安 2025-04-29 14:59 129浏览
  • 你是不是也有在公共场合被偷看手机或笔电的经验呢?科技时代下,不少现代人的各式机密数据都在手机、平板或是笔电等可携式的3C产品上处理,若是经常性地需要在公共场合使用,不管是工作上的机密文件,或是重要的个人信息等,民众都有防窃防盗意识,为了避免他人窥探内容,都会选择使用「防窥保护贴片」,以防止数据外泄。现今市面上「防窥保护贴」、「防窥片」、「屏幕防窥膜」等产品就是这种目的下产物 (以下简称防窥片)!防窥片功能与常见问题解析首先,防窥片最主要的功能就是用来防止他人窥视屏幕上的隐私信息,它是利用百叶窗的
    百佳泰测试实验室 2025-04-30 13:28 99浏览
  • 文/郭楚妤编辑/cc孙聪颖‍越来越多的企业开始蚕食动力电池市场,行业“去宁王化”态势逐渐明显。随着这种趋势的加强,打开新的市场对于宁德时代而言至关重要。“我们不希望被定义为电池的制造者,而是希望把自己称作新能源产业的开拓者。”4月21日,在宁德时代举行的“超级科技日”发布会上,宁德时代掌门人曾毓群如是说。随着宁德时代核心新品骁遥双核电池的发布,其搭载的“电电增程”技术也走进业界视野。除此之外,经过近3年试水,宁德时代在换电业务上重资加码。曾毓群认为换电是一个重资产、高投入、长周期的产业,涉及的利
    华尔街科技眼 2025-04-28 21:55 84浏览
  •  探针台的维护直接影响其测试精度与使用寿命,需结合日常清洁、环境控制、定期校准等多维度操作,具体方法如下:一、日常清洁与保养1.‌表面清洁‌l 使用无尘布或软布擦拭探针台表面,避免残留清洁剂或硬物划伤精密部件。l 探针头清洁需用非腐蚀性溶剂(如异丙醇)擦拭,检查是否弯曲或损坏。2.‌光部件维护‌l 镜头、观察窗等光学部件用镜头纸蘸取wu水jiu精从中心向外轻擦,操作时远离火源并保持通风。3.‌内部防尘‌l 使用后及时吹扫灰尘,防止污染物进入机械滑
    锦正茂科技 2025-04-28 11:45 94浏览
  • 在智能硬件设备趋向微型化的背景下,语音芯片方案厂商针对小体积设备开发了多款超小型语音芯片方案,其中WTV系列和WT2003H系列凭借其QFN封装设计、高性能与高集成度,成为微型设备语音方案的理想选择。以下从封装特性、功能优势及典型应用场景三个方面进行详细介绍。一、超小体积封装:QFN技术的核心优势WTV系列与WT2003H系列均提供QFN封装(如QFN32,尺寸为4×4mm),这种封装形式具有以下特点:体积紧凑:QFN封装通过减少引脚间距和优化内部结构,显著缩小芯片体积,适用于智能门铃、穿戴设备
    广州唯创电子 2025-04-30 09:02 120浏览
  • 一、gao效冷却与控温机制‌1、‌冷媒流动设计‌采用低压液氮(或液氦)通过毛细管路导入蒸发器,蒸汽喷射至样品腔实现快速冷却,冷却效率高(室温至80K约20分钟,至4.2K约30分钟)。通过控温仪动态调节蒸发器加热功率,结合温度传感器(如PT100铂电阻或Cernox磁场不敏感传感器),实现±0.01K的高精度温度稳定性。2、‌宽温区覆盖与扩展性‌标准温区为80K-325K,通过降压选件可将下限延伸至65K(液氮模式)或4K(液氦模式)。可选配475K高温模块,满足材料在ji端温度下的性能测试需求
    锦正茂科技 2025-04-30 13:08 96浏览
  • 在CAN总线分析软件领域,当CANoe不再是唯一选择时,虹科PCAN-Explorer 6软件成为了一个有竞争力的解决方案。在现代工业控制和汽车领域,CAN总线分析软件的重要性不言而喻。随着技术的进步和市场需求的多样化,单一的解决方案已无法满足所有用户的需求。正是在这样的背景下,虹科PCAN-Explorer 6软件以其独特的模块化设计和灵活的功能扩展,为CAN总线分析领域带来了新的选择和可能性。本文将深入探讨虹科PCAN-Explorer 6软件如何以其创新的模块化插件策略,提供定制化的功能选
    虹科汽车智能互联 2025-04-28 16:00 141浏览
  • 4月22日下午,备受瞩目的飞凌嵌入式「2025嵌入式及边缘AI技术论坛」在深圳深铁皇冠假日酒店盛大举行,此次活动邀请到了200余位嵌入式技术领域的技术专家、企业代表和工程师用户,共享嵌入式及边缘AI技术的盛宴!1、精彩纷呈的展区产品及方案展区是本场活动的第一场重头戏,从硬件产品到软件系统,从企业级应用到高校教学应用,都吸引了现场来宾的驻足观看和交流讨论。全产品矩阵展区展示了飞凌嵌入式丰富的产品线,从嵌入式板卡到工控机,从进口芯片平台到全国产平台,无不体现出飞凌嵌入式在嵌入式主控设备研发设计方面的
    飞凌嵌入式 2025-04-28 14:43 125浏览
  • 网约车,真的“饱和”了?近日,网约车市场的 “饱和” 话题再度引发热议。多地陆续发布网约车风险预警,提醒从业者谨慎入局,这背后究竟隐藏着怎样的市场现状呢?从数据来看,网约车市场的“过剩”现象已愈发明显。以东莞为例,截至2024年12月底,全市网约车数量超过5.77万辆,考取网约车驾驶员证的人数更是超过13.48万人。随着司机数量的不断攀升,订单量却未能同步增长,导致单车日均接单量和营收双双下降。2024年下半年,东莞网约出租车单车日均订单量约10.5单,而单车日均营收也不容乐
    用户1742991715177 2025-04-29 18:28 139浏览
  • 一、智能家居的痛点与创新机遇随着城市化进程加速,现代家庭正面临两大核心挑战:情感陪伴缺失:超60%的双职工家庭存在“亲子陪伴真空期”,儿童独自居家场景增加;操作复杂度攀升:智能设备功能迭代导致用户学习成本陡增,超40%用户因操作困难放弃高阶功能。而WTR096-16S录音语音芯片方案,通过“语音交互+智能录音”双核驱动,不仅解决设备易用性问题,更构建起家庭成员间的全天候情感纽带。二、WTR096-16S方案的核心技术突破1. 高保真语音交互系统动态情绪语音库:支持8种语气模板(温柔提醒/紧急告警
    广州唯创电子 2025-04-28 09:24 179浏览
  • 晶振在使用过程中可能会受到污染,导致性能下降。可是污染物是怎么进入晶振内部的?如何检测晶振内部污染物?我可不可以使用超声波清洗?今天KOAN凯擎小妹将逐一解答。1. 污染物来源a. 制造过程:生产环境不洁净或封装密封不严,可能导致灰尘和杂质进入晶振。b. 使用环境:高湿度、温度变化、化学物质和机械应力可能导致污染物渗入。c. 储存不当:不良的储存环境和不合适的包装材料可能引发化学物质迁移。建议储存湿度维持相对湿度在30%至75%的范围内,有助于避免湿度对晶振的不利影响。避免雨淋或阳光直射。d.
    koan-xtal 2025-04-28 06:11 123浏览
  • 贞光科技代理品牌紫光国芯的车规级LPDDR4内存正成为智能驾驶舱的核心选择。在汽车电子国产化浪潮中,其产品以宽温域稳定工作能力、优异电磁兼容性和超长使用寿命赢得市场认可。紫光国芯不仅确保供应链安全可控,还提供专业本地技术支持。面向未来,紫光国芯正研发LPDDR5车规级产品,将以更高带宽、更低功耗支持汽车智能化发展。随着智能网联汽车的迅猛发展,智能驾驶舱作为人机交互的核心载体,对处理器和存储器的性能与可靠性提出了更高要求。在汽车电子国产化浪潮中,贞光科技代理品牌紫光国芯的车规级LPDDR4内存凭借
    贞光科技 2025-04-28 16:52 171浏览
  • 浪潮之上:智能时代的觉醒    近日参加了一场课题的答辩,这是医疗人工智能揭榜挂帅的国家项目的地区考场,参与者众多,围绕着医疗健康的主题,八仙过海各显神通,百花齐放。   中国大地正在发生着激动人心的场景:深圳前海深港人工智能算力中心高速运转的液冷服务器,武汉马路上自动驾驶出租车穿行的智慧道路,机器人参与北京的马拉松竞赛。从中央到地方,人工智能相关政策和消息如雨后春笋般不断出台,数字中国的建设图景正在智能浪潮中徐徐展开,战略布局如同围棋
    广州铁金刚 2025-04-30 15:24 92浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦