广告

当AI遇上闪存,一种全新的运算架构诞生了

时间:2018-05-22 10:14:12 作者:Rick Merritt 阅读:
一家新创公司的目标是将神经网络映像至NOR闪存数组,以或许可节省两个数量等级功耗的方式来运算与储存数据...
广告

有几十个工程师挤在美国德州奥斯汀(Austin)近郊重划区的咖啡店与美容院之间,探索运算技术的新方向──这是一家名为Mythic的新创公司,目标是将神经网络映像至NOR闪存数组,以或许可节省两个数量等级功耗的方式来运算与储存数据。

如果他们成功了,这家新创公司就可跳过来自诸如英特尔(Intel)或是其他IP供应商、以及众多富裕中国新创公司的数字处理器与核心;这些处理器的目标都是进驻下一代保全摄影机、无人机、工厂设备等试图搭上人工智能(AI)热潮的嵌入式系统,甚至是未来的自动驾驶车辆。

“我们从研究所的时候就知道,混合信号处理很适合这类应用;”与同事Mike Henry在密歇根大学(University of Michigan)一起创立Mythic的David Fick表示:“你需要利用其可调阈值电压来储存很大的数据量与闪存──每个晶体管都非常具吸引力。”

Mythic所开发的闪存数组,基本上可免除将数据从外部内存移出移入的需要,因此大幅节省功耗;Fick表示,他的指导教授David Blaauw与Dennis Sylvester“已经展开一些闪存研究,我们也拥有一些专长技术,因此能很轻易地加速启动一个项目。”

不过要在内存中执行模拟处理器这种有数十年历史的老概念是件棘手任务,Fick表示:“你必须考虑很多模拟效应──不匹配(mismath)、噪声、温度,而且内存单元也有很多类似的显著效应;”不同于配备经过妥善定义之内存、处理与储存子系统的数字计算机,机器学习使用的模拟计算机基本上是一个整合性的庞大工程。

“你需要同时一起设计所有的东西,因此需要了解重迭领域的人,例如了解彼此领域的组件端设计与神经网络设计工程师;”Fick解释:“我们在这方面已经远胜于其他人,因为我们拥有一个可以完成整个任务的超强团队。”

确实,这家公司才刚完成B轮融资、获得一笔高达5,000万美元的资金,有部分原因是他们拥有一个总监等级(director-level)专家组成的多元团队,包括来自德州仪器(TI)的模拟专家、Microchip的闪存设计总监,以及Netronome的实体设计专家。
DaveFrickandEllie
*Dave Fick与他的宠物狗Ellie在奥斯汀办公室合影;Ellie是Mythic这家公司的非正式情绪支持总监
(来源:EE Times)*

Mythic也藉由实现一系列的原型投片逐步展现其技术进展赢得投资者青睐,Fick在学校里的VLSI设计表现就赢得不少声誉;他表示:“当你以研究所学生身份设计芯片,包括内存、合成、设计规则检查变异(DRC variations)…等所有的步骤都得自己动手;而如果你是直接进入业界,你可能永远看不到整个设计流程,所以很多从学校独立的新创公司会更容易成功量产。”

这家公司的两个创办人从小就是“科技宅男”(geek);Fick在高中时的第一份工作就是网页开发工程师,念研究所时则进入AMD、IBM与Intel等多家大公司当实习生。Henry则是为了好玩,很爱参加各种快速写程序竞赛。

大大小小的竞争对手以及需要克服的软件障碍

这些日子以来,Mythic的二人组遇到大大小小的竞争对手,至少有40家老牌与新创IP供应商或芯片业者,纷纷表示准备推出或是正在规划某种形式的客户端AI加速器芯片;这些竞争对手还包括中国几家财力雄厚的新创公司,例如地平线(Horizon Robotics)就是其中最具潜力的一家,已经用较传统的数字架构推出低功耗客户端AI加速器。

还有一家美国新创公司Syntiant,跟Mythic一样在开发利用闪存的内存内处理器(processor-in-memory)架构,该公司的团队成员包括几位Broadcom前任工程经理,并获得了Intel Capital的支持。此外IBM Research也正在研究以电阻式RAM (ReRAM)为基础的机器学习加速器,但Fick认为该公司采用了错误的方法。

他表示:“他们正在尝试以完美的内存来让所有事情变得简单,但我们是透过共同设计所有东西取得领先…就算他们找到了理想内存,总是会有一种不太完美的内存可以支持更低功耗或是更快速度。”

创新的并行储存器在历史上总因为太难编程而失败,新兴的内存内处理器芯片肯定也会面临相同的问题,因为机器学习本身需要全新的、仍在发展的编程模型。Mythic的工具虽名为开发平台,但扮演的角色像是编译程序,能为其芯片将TensorFlow数据库内描述的神经网络转换为机器语言。

Fick表示,该开发平台采用PCI Express与芯片链接,能提供“如何从芯片取得额外性能的提示,以及一些常见应用的优化网络范例。”想要使用TensorFlow以外其他框架的客户,显然会需要使用ONNX格式来转译其任务;ONNX (Open Neural Network Exchange)是少数几种用来转译几个不同AI软件架构的新兴工具之一。

而Fick也充分体认到他的客户所面临之软件障碍:“为了进入这个领域,你需要聘请几个深度学习科学家,但这类专家因为非常短缺、费用也非常昂贵 …建立数据集与神经网络并进行训练非常耗时、代价也很高…这些都是冒险进军且投资此领域的限制。”

好消息是,与竞争对手方案相较,Mythic芯片的内存数组应该能处理更多样化的卷积(convolutional)或归递(recurrent)神经网络,而且其性能的提升可望实现在功耗受限制的边缘系统执行更复杂模型。
Mythicchips
*Mythic到目前为止已经有数款测试芯片投片
(来源:EE Times)*

Mythic有几个重量级合作伙伴,例如洛克希德马丁(Lockheed Martin)希望未来的无人机能使用该公司芯片,富士通(Fujitus)则是该公司的闪存供应商。到目前为止,有两种应用似乎超出其能力范围,一个是预算只有几美元的智能音箱,与Mythic的目标应用相较太过需要控制成本;另一个是自动驾驶车辆,因为需要车用等级规格,是该公司目前无法负担的。

这家新创公司预计在今年底推出40纳米工艺芯片,这个节点可支持嵌入式闪存单元设计,也符合低成本目标。Fick指出,其闪存单元已通过28纳米工艺质量认证,这会是该公司的下一步;在那之后,晶圆代工业者正在开发嵌入式MRAN与ReRAM单元。

Fick表示:“没有任何理由能阻止我们前进最小节点,我们能从工艺微缩中受益;”而如果Mythic成功了,并不会是因为摩尔定律(Moore’s Law)或是那些数字处理器使他们受到欢迎,而会是因为他们将运算技术推往一个全新的方向。

编译:Judith Cheng

本文授权编译自EE Times,版权所有,谢绝转载

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Rick Merritt
EE Times硅谷采访中心主任。Rick的工作地点位于圣何塞,他为EE Times撰写有关电子行业和工程专业的新闻和分析。 他关注Android,物联网,无线/网络和医疗设计行业。 他于1992年加入EE Times,担任香港记者,并担任EE Times和OEM Magazine的主编。
  • AIPC DDR5速率冲至7200MT/s,信号完整性全靠这颗芯片 随着支持AI的应用程序的普及以及6400MT/s或更高速度成为主流,PC内存性能要求不断提高,使用CKD的系统数量将伴随时间的推移呈现显著增长的态势。
  • SK海力士成功开发出全球首款第六代10纳米级DDR5 DRAM SK海力士29日宣布,全球首次成功开发出采用第六代10纳米级(1c)工艺的16Gb(Gigabit,千兆比特)DDR5 DRAM。由此,公司向世界展现了10纳米出头的超微细化存储工艺技术。
  • AI数据中心“存力”需求猛增,美光上新PCIe 5.0 SSD与G9 NAND 在AI大模型的时代,行业中的一个关键趋势是更大的NAND裸片密度,这有助于推动更大容量的SSD,使系统构建者能够设计更多的服务器,以便拥有更大的容量或将更多的GPU或CPU放入服务器中。鉴于此,特别是随着人工智能的发展,GPU直接存储的能力变得愈发重要。 
  • 仅OTS内存为下一代计算带来希望 几十年来,半导体行业一直在寻找替代内存技术,以填补传统高性能计算系统架构中DRAM(计算系统的主内存)和NAND闪存(系统的存储介质)之间的空白。
  • 专有存储器是一项高风险的事业 半导体技术因行业标准而生,也因行业标准而亡,但在某些时候,制造高度定制化甚至专有的存储器件是否有意义呢?
  • 美光为台式机、笔记本电脑和数据中心带来LPDDR5X LPDDR内存主要针对智能手机,因此专为低功耗和点对点连接而设计。但手机的快速发展也推动了LPDDR的快速发展,这就是为何LPDDR5X传输速率比商品DDR5 SDRAM更快。
  • 全球折叠屏手机快速增长,中国品牌压 • 得益于西欧、关键亚洲市场和拉丁美洲市场的增长,以及中国品牌的持续领先,全球折叠屏手机出货量在2024年第二季度同比增长了48%。 • 荣耀凭借其在西欧特别强劲的表现,成为最大的贡献者,成为该地区排名第一的品牌。 • 摩托罗拉的Razr 40系列在北美和拉丁美洲表现良好,为其手机厂商的出货量贡献了三位数的同比增长。 • 我们预计,头部中国手机品牌厂商的不断增加将至少在短期内抑制三星Z6系列在第三季度的发布。
  • AI网络物理层底座: 大算力芯片先进 AI技术的发展极大地推动了对先进封装技术的需求,在高密度,高速度,高带宽这“三高”方面提出了严苛的要求。
  • 奕斯伟计算DPC 2024:发布RISAA(瑞 奕斯伟计算2024首届开发者伙伴大会以“绿色、开放、融合”为主题,从技术创新、产品应用、生态建设等方面,向开发者、行业伙伴等相关方发出开放合作倡议,加速RISC-V在各行各业的深度融合和应用落地,共同推动RISC-V新一代数字基础设施生态创新和产业发展。
  • 重磅发布:Canalys 2024年中国云渠道 2024年 Canalys 中国云计算渠道领导力矩阵冠军厂商分别是:阿里云、华为云和亚马逊云科技(AWS)
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了