在最新一期的《Nature Electronics》期刊,IBM研究人员描述了一种名为Hermes的推理芯片设计与运作…

在最新一期的《Nature Electronics》期刊,IBM研究人员描述了一种名为Hermes的推理芯片设计与运作;该款在去年首度被打造出来的芯片,内含400万权重,以及64个核心,整合了模拟相变化内存,在读取深度神经网络时能提高速度与省电效益,让IBM得以验证该公司已经在设计的、朝向开发更能自给自足的端对端芯片之想法。

根据位于瑞士苏黎世地区IBM吕施利孔研究中心(Rüschlikon Center)、由研究员Abu Sebastian领军的研究团队说法,“该芯片实现了16.1~63.1TOPS (每秒兆次计算)的矩阵向量乘法(matrix-vector- multiplication)处理量峰值,能源效率为2.48~9.76TOPS W-1。”

该团队成员将他们的芯片与其他几款在过去几年发表的芯片性能基准测试结果进行比较,包括来自台积电/台湾清华大学(TSMC/NTHU)、AI芯片设计企业Mythic、美国普林斯顿大学(Princeton)的设计,以及神经形态芯片NeuRRAM;“尽管该芯片的能源效益通常较低,但相较于所有以电阻式内存为基础的模拟式存内计算(analog in-memory computing,AiMC)芯片,以1.8倍的更高处理量密度表现胜过了效率降低的问题。”

IBM研究团队指出,Hermes在CIFAR-10图像资料库的处理性能上胜过其他任何一款芯片。

存内计算

由于乘法计算扩展的方式(参考图1),深度学习模型的耗电量庞大,输入层的每一个节点在添加至其他节点、馈入下一层之前,必须乘以恰当的权重。因此,如果在第一层(Layer 1)有100个神经元,每一个都连结第二层(Layer 2)的100个神经元,就有1万个权重被储存,每个时间步长(time step)都有1万次乘法计算。

图1:来自某一层的输入乘以个别连结权重,然后下一层的神经元能加总输入(Σ)并执行响应函数(f);在一个每层有m个神经元、完全连结的n层网络中,每次推理的权重,以及权重乘法数量,大概是以平方纳米(nm²)大小来衡量。确切需要多少资源,取决于所需精度的高低;速度有多快,则部分取决于得移动多少权重以执行那些计算。这些都是在资料触及个别神经元取得响应之前。

存内计算(compute-in-memory)是一种模拟电子技术,看来很适合这类应用。首先,模拟架构减少了所需内存组件(device)数量,因为每一个内存组件都能代表多个位──在Hermes芯片,四组件内存能储存8位权重,甚至可能更多。

Hermes芯片实体照。

(来源:IBM Research)

其次,存内计算组件不是用逻辑来执行乘法计算,而是在内存电路本身的内部以电子方式进行:权重在纵横闩阵列(参考图2的黄色部分)被储存为电阻,来自第一层的信号作为电压输入到纵横闩的纵列(column)中(来自输入调变器,图2的橘色部分)。这些输入自然地被乘以权重,沿着交错的横列(row)传送;在其中它们会结合,并由模拟数字转换器(ADC)转换。

相变化的优势与挑战

除此之外,相变化材料──利用局部加热能将非晶体(高电阻)改变为晶体(低电阻)模式──特别适合此类应用。在推理芯片中,权重不应该需要太多改变,因此不需要能量来维持的内存,又一次改善了功耗。

然而,这类材料也有缺点──最重要的是组件不匹配(device mismatch),这导致它们的行为略有偏差。在类似的芯片中,这可以透过将网络载入芯片之后进行重新训练来克服。为避免这种制造后的调整,Hermes芯片采用了一种罕见的ADC配置。

首先,每一个横列都有其转换器(参考图2),这意味着整个阵列向量乘法能平行进行,降低延迟并提高处理量。其次,ADC被用来校准系统,有效消除了一些不匹配;在本地数字处理单元中的其他电路负责了大部份剩余的工作。

研究人员纳入Hermes芯片的另一个组件,是对角选择解码器(diagonal selection decoder,在图2顶部),这能精确隔离他们想要写入的组件,因此改善编程流程。

图2:网络权重在相变化材料纵横闩阵列中,透过编程组件(图顶部的灰色块)进行编程,并取得来自对角选择解码器(diagonal selection decoder,图底部红色块)的协助。一旦完成编程,调变器会从底部透过纵列送出资料,将其乘以权重然后沿着横列相加。ADC以及本地数字处理单元负责转换、校准并对信号做出响应。

(来源:由IBM研究中心发表于《Nature Electronics》的论文图1改绘)

在Hermes芯片上部署网络的研究人员Athanasios Vasilopoulos表示,团队的愿景是扩增通讯网络并将更多种类的数字单元纳入(因此举例来说,它们可以支持Transformer模型)。研究人员还打算将这些部署于能自己执行整个网络模型的更大芯片中,并且与其他芯片搭配运作。

“这同样不会是量产芯片,”Vasilopoulos表示:“那仍将是研究用设备,但可能为这类技术朝向成熟发展开辟一条道路,使其能成为真正的替代方案,但目前它还不是。”

Hermes研究芯片不会提供给IBM社群以外的人使用,但对它有兴趣的人可以透过使用IBM的神经网络训练与推理应用模拟存内硬件加速器(Analog In-Memory Hardware Acceleration Kit for Neural Network Training and Inference),以执行软件模拟的方式来测试该芯片在他们的应用中如何表现。

(参考原文:IBM Research Inference Chip Performance Results Released,by Sunny Bains)

本文同步刊登于台湾版《电子工程专辑》杂志20239月刊

责编:Amy.wu
您可能感兴趣
美国半导体巨头微芯科技(Microchip Technology)宣布了一项重大重组计划,将裁减约2000人,约占员工总数的9%,以应对汽车芯片需求持续低迷的挑战......
马来西亚政府也希望与Arm的交易将使国内生产商扩大规模,创建十家本地芯片公司,年收入总额达约200亿美元,将助GDP增加一个百分点。
2024 年,中国人工智能专业在校生约 4 万多人,而整个领域的人才缺口却高达 500 万……
从品牌战略的角度来看,华为本次选择古代神话中的人物作为商标,可能是为了借助这些神话角色的知名度和文化内涵,打造具有中国特色的品牌形象……
全球前十大高产机构中,9家为中国机构(如中国科学院、清华大学等)。其中,中国科学院以 2018-2023 年期间发布的 14,387 篇文章位居榜首。
这一新指导政策不仅反映了中国在芯片产业中减少对外依赖的战略意图,也体现了RISC-V架构在中国芯片产业中的重要地位和发展潜力。
TEL宣布自2025年3月1日起,现任TEL中国区地区总部——东电电子(上海)有限公司高级执行副总经理赤池昌二正式升任为集团副总裁,同时兼任东电电子(上海)有限公司总裁和东电光电半导体设备(昆山)有限公司总裁。
预计在2025年,以下七大关键趋势将塑造物联网的格局。
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCON China 2025一展全看,速登记!
本次股东大会将采取线上和线下相结合的混合形式召开,股东们可选择现场出席或线上参会。
2025年,智能驾驶技术迎来了全民普及的曙光。昨晚,吉利汽车在一场盛大的AI智能科技发布会上,正式宣布加入比亚迪和长安汽车行列,成为自主车企中第三个普及高阶智能驾驶技术的企业。发布会的核心亮点在于吉利
小米宣布全球首发光学预研技术——小米模块光学系统,同时发布官方宣传视频。简单来说,该系统是一个磁吸式可拆卸镜头,采用定制M4/3传感器+全非球面镜组,带来完整一亿像素,等效35mm焦段,配备f/1.4
点击上方蓝字谈思实验室获取更多汽车网络安全资讯3 月 5 日,据中国经济网报道,近日有传言毛京波即将卸任莲花中国总裁,调整至海外市场。莲花汽车内部人士证实了此事:“毛总(毛京波)已经有几天没有出现在办
千万级中标项目5个,百万级中标项目12个。文|新战略根据公开信息,新战略移动机器人产业研究所不完全统计,2025年2月,国内发布35项中标公告,披露总金额超15527.01万元。(由新战略移动机器人全
‍‍据“龙岩发布”3月5日消息,蓝天LED显示屏产业链生产项目一期装修已完成50%,预计3月底可完工,4月初试投产。加入LED显示行业群,请加VX:hangjia188图源:龙岩发布据介绍,蓝天LED
市值一夜蒸发2900亿”作者|王磊编辑|秦章勇特斯拉陷入一个怪圈。马斯克的权力越来越大,但特斯拉的股价却跌得越来越惨。就在昨天,特斯拉股价又下跌了4.43%,一天之内蒸发406亿美元,约合人民币295
从上表可知,2024年前三季度全球40强PCB企业总营收约416.7亿美元,同比增长7.6%。其中,营收排名第一位的是臻鼎科技(36.05亿美元),排名第2~5位的分别是欣兴电子(26.85亿美元)、
‍‍近几年,随着Mini/Micro LED技术的高速发展,LED产业呈现几大发展趋势,如LED显示间距持续缩小、LED芯片持续微缩化、产品、工艺制造环节更为集成,以及RGB 封装与COB 降本需求迫
2025年3月11-13日,亚洲激光、光学、光电行业年度盛会的慕尼黑上海光博会将在上海新国际博览中心-3号入口厅N1-N5,E7-E4馆盛大召开。本次瑞淀光学展示方案有:■ MicroOLED/Min
 点击上方蓝字➞右上「· · ·」设为星标➞更新不错过★2025 年 3 月 12 日至 14 日  连续 3 晚 19:00 - 20:30德州仪器电力全开 为您带来 “高效 DC-DC 转换器的设