Cerebras第三代晶圆级芯片将性能提高一倍

Cerebras公司发布了第三代晶圆级芯片，单个器件可提供125PFLOPS(FP16精度)的性能。在一天时间内，安装四个芯片的设备就能对Llama2-70B进行微调，而安装2,048个芯片的最大设备则能在同一时间内从头开始训练。

Cerebras公司首席执行官Andrew Feldman(图1)向笔者表示，该第三代晶圆级引擎(WSE3)在相同的15kW功率范围和相同的成本下，将WSE2的大型语言模型(LLM)训练速度提高了一倍。

Feldman表示，其战略合作伙伴G42基于WSE2的AI超级计算机系列Condor Galaxy的部署进展顺利。Condor Galaxy 2已按计划投入使用。该系列中的第三台超级计算机Condor Galaxy 3将使用全新的第三代WSE3硬件。G42还选择在Condor Galaxy 3中安装“大量”的高通Cloud AI 100推理专用硬件。为此，Cerebras与高通合作，调整了训练过程，以便针对高通Cloud AI 100芯片上的推理对所产生的模型进行优化。Feldman表示，与未优化的模型相比，这项工作使性能提高了10倍。

图1：Andrew Feldman。(来源：Cerebras)

WSE3

WSE3的物理尺寸与前几代产品相同，但在空间上增加了很多(图2)。新芯片已从台积电7nm工艺转移到台积电5nm工艺，内核数量从上一代的85万个增加到90万个。内核也更大。总体而言，与上一代的26万亿个晶体管相比，差异是4万亿个晶体管。

Feldman说：“我们根据过去五年部署系统的经验，对架构进行了一系列改进，并采用了稍大一些的内核。”

图2：Cerebras的第三代晶圆级引擎。(来源：Cerebras)

该WSE还具有42GB的SRAM，内存带宽为21PB/s。SRAM可以通过Cerebras提供的大型外部DRAM子系统进行扩展，以训练多达24万亿个参数的AI模型(大约是GPT-4和Gemini等当今模型规模的10倍)。即使是最大的模型，也可以存储在单个逻辑内存空间中，而无需分区或重构。

WSE3的系统名为CS3(图3)。最大集群规模已增加到2,048个CS3(FP16计算能力高达256ExaFLOPS)。

“有了2,048个CS3，你就可以利用Meta最大的GPU集群，在一天内完成需要在一个月时间才能完成的工作，”他说，“你可以为企业用户带来超大规模企业独享的计算规模。”

当被问及具有2,048个CS3的集群何时才能成为现实时，Feldman果断地说：“今年。”

图3：安装在加利福尼亚州圣克拉拉Colovore公司的CS3。(来源：Cerebras)

软件栈

Cerebras的软件栈支持Python 2.0，并支持所有模型类型，包括最大的多模态LLM、ViT、专家混合和扩散。它还支持非结构化稀疏性和动态稀疏性(针对训练过程中出现的零)。

使用数千个GPU训练一个175B版本的Megatron需要超过2万行的Python、C++、CUDA和HTML代码，他指出。Cerebras只需要565行Python代码，一名工程师一天就能完成，Feldman补充说。

Condor Galaxy 3

Condor Galaxy系列AI超级计算机的第三个集群将在德克萨斯州达拉斯市建立，它将拥有64个CS3系统，总计8ExaFLOPS的FP16计算能力。

CG3将加入到加利福尼亚州圣克拉拉的CG1和加利福尼亚州斯托克顿的CG2当中，后者都拥有64个上一代CS2。Condor Galaxy 1训练的模型包括最著名的阿拉伯语LLM Jais-30B和G42的临床LLM Med42(图4)。

在FP16时，CG 1、2和3提供的总AI计算能力将达到16ExaFLOPS，但Feldman表示，随着Condor Galaxies 4到9的投入使用，到2024年底，该超级计算机系列的总计算能力将达到55ExaFLOPS。

图4：Condor Galaxy 1内部。(来源：Cerebras)

推理硬件

G42还首次为Condor Galaxy 3增加了仅用于推理的硬件，其规模旨在为CG3将要训练的大型模型提供推理。G42已选择高通Cloud AI 100器件来处理推理工作负载。

“如今，Cerebras并不专注于推理，除了国家安全和国防领域的一些非常困难的推理问题。”Feldman说道，“我们没有推理产品，我们只进行训练。”

Cerebras一直在与高通合作，以实现从Cerebras CS3上的训练到高通Cloud AI 100上的推理的一键转换(图5)。两家公司还共同致力于推理感知训练，从而与在相同高通芯片上运行的未优化版本的LLM相比，速度提高了10倍。

“直到最近，几乎所有的计算都是在训练中进行的，但随着我们从AI业余爱好的环境转向AI生产，训练并没有减少，但推理却在增加。”Feldman说，“对于超大规模企业来说，这不仅仅是一个抽象的问题，对于一些规模最大、最具前瞻性的公司来说，这也是他们在考虑投入生产时所面临的问题。”

这项工作使用了四种主要技术来定制Cerebras训练的模型，以便在高通Cloud AI 100器件上进行推理：

稀疏性是Cerebras的秘密武器之一，因为该公司能够在训练期间利用动态、非结构化的稀疏性。高通的Cloud AI 100硬件支持非结构化稀疏性，可以跳过所有会浪费能源的乘以零的操作。这种稀疏性协同作用可以使性能提高2.5倍。

推测解码是一种前景广阔但迄今为止难以有效实施的行业技术，也被用来加快速度。该技术使用大型LLM和小型LLM的组合来完成一个大型LLM的工作。小型模型的准确性较低，但效率更高。大型模型用于检查小型LLM创建的句子的合理性。总体而言，这种组合效率更高，因为大型LLM在这里只是检查词元(token)组合的概率，而不是生成词元。由于总体计算量更少，这种技术的速度可提高1.8倍。

图5：Cerebras和高通一直在合作优化高通硬件上的推理模型。(来源：Cerebras)

将权重压缩为MxFP6，这是一种业界通用的6位微指数格式，与FP16相比可节省39%的DRAM空间。高通的编译器可将权重从FP32或FP16压缩为MxFP6，而Cloud AI 100的矢量引擎可在软件中即时解压缩为FP16。据高通称，解压缩确实会产生开销，但它通常是与其他任务并行执行的，因此大多是隐性的。这项技术可将推理速度提高2.2倍。

神经架构搜索(NAS)是一种著名的推理优化技术，也已被采用。该技术在训练过程中会考虑目标硬件(在本例中为高通Cloud AI 100)的优缺点，以支持在该硬件上高效运行的层类型、操作和激活函数。Cerebras和高通在NAS方面的工作将推理速度提高了一倍。

这些组合带来的总速度提升高达10倍。

“这些创新能够真正推动市场的发展。”Feldman认为，并补充说，与高通的合作“提供了改变整个市场的范围、容量和工程能力。”

Cerebras表示，该公司有“大量”的CS3订单积压，涵盖企业、政府和国际云。

（原文刊登于EE Times美国版，参考链接：Cerebras' Third-Gen Wafer-Scale Chip Doubles Performance，由Franklin Zhao编译。）

本文为《电子工程专辑》2024年9月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。