Cerebras公司发布了第三代晶圆级芯片,单个器件可提供125PFLOPS(FP16精度)的性能。在一天时间内,安装四个芯片的设备就能对Llama2-70B进行微调,而安装2,048个芯片的最大设备则能在同一时间内从头开始训练。

Cerebras公司发布了第三代晶圆级芯片,单个器件可提供125PFLOPS(FP16精度)的性能。在一天时间内,安装四个芯片的设备就能对Llama2-70B进行微调,而安装2,048个芯片的最大设备则能在同一时间内从头开始训练。

Cerebras公司首席执行官Andrew Feldman(图1)向笔者表示,该第三代晶圆级引擎(WSE3)在相同的15kW功率范围和相同的成本下,将WSE2的大型语言模型(LLM)训练速度提高了一倍。

Feldman表示,其战略合作伙伴G42基于WSE2的AI超级计算机系列Condor Galaxy的部署进展顺利。Condor Galaxy 2已按计划投入使用。该系列中的第三台超级计算机Condor Galaxy 3将使用全新的第三代WSE3硬件。G42还选择在Condor Galaxy 3中安装“大量”的高通Cloud AI 100推理专用硬件。为此,Cerebras与高通合作,调整了训练过程,以便针对高通Cloud AI 100芯片上的推理对所产生的模型进行优化。Feldman表示,与未优化的模型相比,这项工作使性能提高了10倍。

图1:Andrew Feldman。(来源:Cerebras)

WSE3

WSE3的物理尺寸与前几代产品相同,但在空间上增加了很多(2)。新芯片已从台积电7nm工艺转移到台积电5nm工艺,内核数量从上一代的85万个增加到90万个。内核也更大。总体而言,与上一代的26万亿个晶体管相比,差异是4万亿个晶体管。

Feldman说:“我们根据过去五年部署系统的经验,对架构进行了一系列改进,并采用了稍大一些的内核。”

图2:Cerebras的第三代晶圆级引擎。(来源:Cerebras)

该WSE还具有42GB的SRAM,内存带宽为21PB/s。SRAM可以通过Cerebras提供的大型外部DRAM子系统进行扩展,以训练多达24万亿个参数的AI模型(大约是GPT-4和Gemini等当今模型规模的10倍)。即使是最大的模型,也可以存储在单个逻辑内存空间中,而无需分区或重构。

WSE3的系统名为CS3(3)。最大集群规模已增加到2,048个CS3(FP16计算能力高达256ExaFLOPS)。

“有了2,048个CS3,你就可以利用Meta最大的GPU集群,在一天内完成需要在一个月时间才能完成的工作,”他说,“你可以为企业用户带来超大规模企业独享的计算规模。”

当被问及具有2,048个CS3的集群何时才能成为现实时,Feldman果断地说:“今年。”

图3:安装在加利福尼亚州圣克拉拉Colovore公司的CS3。(来源:Cerebras)

软件

Cerebras的软件栈支持Python 2.0,并支持所有模型类型,包括最大的多模态LLM、ViT、专家混合和扩散。它还支持非结构化稀疏性和动态稀疏性(针对训练过程中出现的零)。

使用数千个GPU训练一个175B版本的Megatron需要超过2万行的Python、C++、CUDA和HTML代码,他指出。Cerebras只需要565行Python代码,一名工程师一天就能完成,Feldman补充说。

Condor Galaxy 3

Condor Galaxy系列AI超级计算机的第三个集群将在德克萨斯州达拉斯市建立,它将拥有64个CS3系统,总计8ExaFLOPS的FP16计算能力。

CG3将加入到加利福尼亚州圣克拉拉的CG1和加利福尼亚州斯托克顿的CG2当中,后者都拥有64个上一代CS2。Condor Galaxy 1训练的模型包括最著名的阿拉伯语LLM Jais-30B和G42的临床LLM Med42(4)。

在FP16时,CG 1、2和3提供的总AI计算能力将达到16ExaFLOPS,但Feldman表示,随着Condor Galaxies 4到9的投入使用,到2024年底,该超级计算机系列的总计算能力将达到55ExaFLOPS。

图4:Condor Galaxy 1内部。(来源:Cerebras)

推理硬件

G42还首次为Condor Galaxy 3增加了仅用于推理的硬件,其规模旨在为CG3将要训练的大型模型提供推理。G42已选择高通Cloud AI 100器件来处理推理工作负载。

“如今,Cerebras并不专注于推理,除了国家安全和国防领域的一些非常困难的推理问题。”Feldman说道,“我们没有推理产品,我们只进行训练。”

Cerebras一直在与高通合作,以实现从Cerebras CS3上的训练到高通Cloud AI 100上的推理的一键转换(图5)。两家公司还共同致力于推理感知训练,从而与在相同高通芯片上运行的未优化版本的LLM相比,速度提高了10倍。

“直到最近,几乎所有的计算都是在训练中进行的,但随着我们从AI业余爱好的环境转向AI生产,训练并没有减少,但推理却在增加。”Feldman说,“对于超大规模企业来说,这不仅仅是一个抽象的问题,对于一些规模最大、最具前瞻性的公司来说,这也是他们在考虑投入生产时所面临的问题。”

这项工作使用了四种主要技术来定制Cerebras训练的模型,以便在高通Cloud AI 100器件上进行推理:

稀疏性是Cerebras的秘密武器之一,因为该公司能够在训练期间利用动态、非结构化的稀疏性。高通的Cloud AI 100硬件支持非结构化稀疏性,可以跳过所有会浪费能源的乘以零的操作。这种稀疏性协同作用可以使性能提高2.5倍。

推测解码是一种前景广阔但迄今为止难以有效实施的行业技术,也被用来加快速度。该技术使用大型LLM和小型LLM的组合来完成一个大型LLM的工作。小型模型的准确性较低,但效率更高。大型模型用于检查小型LLM创建的句子的合理性。总体而言,这种组合效率更高,因为大型LLM在这里只是检查词元(token)组合的概率,而不是生成词元。由于总体计算量更少,这种技术的速度可提高1.8倍。

图5:Cerebras和高通一直在合作优化高通硬件上的推理模型。(来源:Cerebras)

将权重压缩为MxFP6,这是一种业界通用的6位微指数格式,与FP16相比可节省39%的DRAM空间。高通的编译器可将权重从FP32或FP16压缩为MxFP6,而Cloud AI 100的矢量引擎可在软件中即时解压缩为FP16。据高通称,解压缩确实会产生开销,但它通常是与其他任务并行执行的,因此大多是隐性的。这项技术可将推理速度提高2.2倍。

神经架构搜索(NAS)是一种著名的推理优化技术,也已被采用。该技术在训练过程中会考虑目标硬件(在本例中为高通Cloud AI 100)的优缺点,以支持在该硬件上高效运行的层类型、操作和激活函数。Cerebras和高通在NAS方面的工作将推理速度提高了一倍。

这些组合带来的总速度提升高达10倍。

“这些创新能够真正推动市场的发展。”Feldman认为,并补充说,与高通的合作“提供了改变整个市场的范围、容量和工程能力。”

Cerebras表示,该公司有“大量”的CS3订单积压,涵盖企业、政府和国际云。

(原文刊登于EE Times美国版,参考链接:Cerebras' Third-Gen Wafer-Scale Chip Doubles Performance,由Franklin Zhao编译。)

本文为《电子工程专辑》2024年9月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里

责编:Franklin
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
今年初的GTC上,黄仁勋就说机器人的“ChatGPT时刻”要来了。也就是说这波AI驱动的机器人热潮要来了...最近的ROSCon China 2024大会似乎也能看到这种迹象...
Intel刚刚发布了新一代桌面显卡Arc B580和B570,关键是还支持AI帧生成和低延迟...
Arm预计,到2025年将会有1,000亿台基于Arm架构的设备可具备人工智能功能,包括由Cortex-A、Cortex-M驱动的设备。
人工智能(AI)功能已经在各种移动设备中变得至关重要。尤其是2024年,AI PC陆续推向市场,甚至可以称为“边缘设备AI元年”。 这次我们就来盘点一下2024年下半年发布的主要AI PC和处理器。
借着传说中Intel在中国举办的有史以来规模最大的生态大会,谈谈AI PC生态于2024收官之际大致发展到了哪儿...
台积电的1.6纳米芯片“A16”技术具有多项创新点,其中最显著的是其超级电源轨(SPR)背面供电网络。这一技术是台积电首创,专为高性能计算产品设计,旨在提高芯片的性能和降低功耗。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
点击蓝字 关注我们安森美(onsemi)在2024年先后推出两款超强功率半导体模块新贵,IGBT模块系列——SPM31 IPM,QDual 3。值得注意的是,背后都提到采用了最新的FS7技术,主要性能
‍‍12月18日,深圳雷曼光电科技股份有限公司(下称“雷曼光电”)与成都辰显光电有限公司(下称“辰显光电”)在成都正式签署战略合作协议。双方将充分发挥各自在技术创新、产品研发等方面的优势,共同推进Mi
12月18日,珠海京东方晶芯科技举行设备搬入仪式。插播:加入LED显示行业群,请加VX:hangjia188在10月31日,珠海京东方晶芯科技有限公司发布了Mini/Micro LED COB显示产品
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
2024年度PlayStation游戏奖今日公布,《宇宙机器人》获得年度最佳PS5游戏,《使命召唤:黑色行动6》获得年度最佳PS4游戏。在这次评选中,《宇宙机器人》获得多个奖项,包括最佳艺术指导奖、最
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
扫描关注一起学嵌入式,一起学习,一起成长在嵌入式开发软件中查找和消除潜在的错误是一项艰巨的任务。通常需要英勇的努力和昂贵的工具才能从观察到的崩溃,死机或其他计划外的运行时行为追溯到根本原因。在最坏的情
在上海嘉定叶城路1688号的极越办公楼里,最显眼的位置上,写着一句话:“中国智能汽车史上,必将拥有每个极越人的名字。”本以为这句话是公司的企业愿景,未曾想这原来是命运的嘲弄。毕竟,极越用一种极其荒唐的
 “ AWS 的收入增长应该会继续加速。 ”作者 | RichardSaintvilus编译 | 华尔街大事件亚马逊公司( NASDAQ:AMZN ) 在当前水平上还有 38% 的上涨空间。这主要得益
上个月,亿万富翁埃隆·马斯克谈到了年轻一代的生育问题。他强调生育的紧迫性,认为无论面临何种困难,生育后代都是必要的,否则人类可能会在无声中走向消亡。他认为人们对于生育的担忧有些过头,担心经济压力等问题