初创公司用整块晶圆做出史上最大芯片

EETimes加利福尼亚州圣何塞报道，初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列，旨在取代英伟达（Nvidia） GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦，封装了400,000个内核，并且仅支持在极少数系统中运行，至少已有一家客户采用。

此外，在本周末的活动中，华为、英特尔和初创公司Habana将详细介绍他们用于训练神经网络的芯片。他们都把Nvidia当作竞争对手，去年Nvidia销售了大约价值30亿美元的GPU，用于支持这些对硬件性能极端渴望的新兴应用。

英特尔的1.1 GHz Spring Crest旨在通过将64个28G系列服务器，整合成16条112Gbit /秒的通道，可以连接多达1,024个芯片。专有互连（proprietary interconnect）是一种直接的无协议链路，无需通过外部HBM2内存，从而能够以相对快速的方式在多个处理器和机箱之间传播大型神经网络。

通过在一个晶圆上放置所有内核、存储器和互连，Cerebras的方法将更快，并且可以整合到同一个框架中。

该初创公司从资深投资者那里筹集了超过2亿美元，成为第一个将晶圆级集成商业化、开创封装和晶圆处理新技术的公司。该公司押注人工智能培训市场，认为它将从七个超大规模数据中心供应商，扩展到数百家公司，覆盖从制药到金融科技等希望将搜集到的数据留给自己的行业。

这个芯片怎么运作？

Cerebras这颗器件在7x12阵列中包含84个块，每个包含大约4,800个内核，用于AI的稀疏线性代数（sparse linear algebra），每个都有48 KB的SRAM，这是它们唯一的内存源。

单级层次结构加快了处理速度，训练程序几乎不需要跨内核共享内存。与单个Nvidia GPU相比，芯片上总共18GB的SRAM是巨大的，但与Cerebras的目标竞争系统相比，这个数字很小。

该公司不愿对该器件的频率发表评论，该频率可能很低，无法帮助管理其功率和热量需求。Cerebras首席执行官兼创始人安德鲁.费尔德曼（Andrew Feldman）表示，这家初创公司的资深工程师“之前已经完成了2-3 GHz芯片，但这不是最终目标——超频带来的回报不如增加内核。”

Feldman不愿对Cerebras计划出售的机架系统成本、设计或路线图发表评论。但他表示，这个一个机架的性能，将相当于一个拥有1000台Nvidia GPU设备的工厂，同时只需要他2-3％的空间和功耗。而且组装1000台设备可能需要数月的时间。

Cerebras器件比Nvidia GPU，以及用于AI培训的任何其他竞争对手芯片大得多。 （图片：Cerebras）

该公司的目标是在11月的超级计算机展上讲解该系统，并介绍其性能和benchmark数据。对于所有参会者来说这将是历史性的一刻，上一次达成类似成就是在1980年的超级计算机展上，当时Gene Amdahl创立的公司Trinity推出了3.5英寸晶圆，

Cerebras编译器将摄取TensorFlow或Pytorch模型，将其转换为机器语言，并使用微代码库将神经网络层映射到巨型芯片的各个区域。它在一定程度上通过在内核上编写编程指令，并配置链接块的网状网络来实现。

“我们将整个网络功能保留在芯片上。” Feldman说，“其他所有人都在压榨网络功能，以至于花费更多时间来回倒数据“，常见的做法是通过内存进行缓慢的外部互连。

Cerebras的174名工程师中，近三分之二是软件开发人员，这表明AI和编译器代码的复杂性。Feldman说，在第一批商业系统投入使用之前，他们将面临“一大堆问答（Q&A）”。

如何面对Nvidia、英特尔、华为和其他新创企业

Moor Insights＆Strategy的人工智能和高端系统分析师卡尔•弗罗因德（Karl Freund）说：“如果他们能够让这个晶圆发挥作用，那将是开创性的。”

“他们正在解决的问题很难，但并不是不切实际的，所以我认为他们会在明年的某个时候完成这项任务，”他补充道。

Cerebras面临着Nvidia在人工智能加速器市场预计90％以上的垄断地位。它的16nm产品将与Nvidia的7nm Ampere GPU同时投向市场。

此外，在Hot Chips展上，英特尔将介绍其28核的Spring Crest平台，创业公司Habana将展示一款八核训练处理器，华为也将介绍其训练芯片，创业公司Graphcore的1,200核芯片更是已经拿到戴尔3亿美元的融资和支持。

“人们正在尝试各种各样的事情——核心有多大，决定了内存和带宽有多大，以及它们是如何连接的。正确的组合还有待观察”Linley集团的林利•格温纳普（Linley Gwennap）表示，他指出很少有人在现阶段引用benchmark数据。 （预计在10月底之前，MLPerf会提供Spring Crest和Habana的训练数据。）

Gwennap补充说，人工智能软件还存在许多漏洞，例如芯片能够支持多少TensorFlow的操作，并且能够在多种神经网络类型中表现良好。

开创性的晶圆级集成

就其本身而言，Cerebras提供这种晶圆尺寸级别的器件，在产量、功耗和发热量方面都遇到了挑战。它申请了约30项专利，迄今已发行约6项。

例如，台积电经典的300毫米晶圆可能包含“少量的100个缺陷，” Feldman说。 Cerebras为其Swarm互连提供冗余链路，以便绕过有缺陷的区块，并分配“超过（区块数）1％的链路量作为备用。”

迄今为止，该公司已经生产了100多块晶圆，所有晶圆都能在可接受的水平上运行。为了给它们供电和冷却，Cerebras设计了自己的电路板和冷却板，为每块芯片垂直提供电力和水冷。机架包括一个闭环系统，用于空气冷却水。

Cerebras还与合作伙伴合作设计了一台用于处理和对齐晶圆的机器。 “我们公司拥有流体、材料科学家和制造工程师，”Feldman说。

这家创业公司与台积电合作，发明了一种方法，将其互连放置在区块之间的划线中，这个区域通常被保留，作为芯片之间的隔离区。

一种特别设计的电路板和冷却板，垂直地将电力和冷却水输送到每块芯片上。

制造一台计算机的全新方法

该公司计划在超级计算机大会上推出其系统，这表明它认为晶圆级设备的市场远远超过目前七家超大规模数据中心。

至于人工智能训练，“最初，我们认为全球将有200个客户，但我们已将该估算修改为1,000个，” Feldman说。 “我们所到之处，大批拥有大型数据集的公司，不希望他们的数据保存在谷歌云中，在那里，单次训练的费用高达15万美元，”他补充道。

汽车制造商、制药公司、石油和天然气勘探公司以及金融公司将能够训练自己的神经网络。他说：“超大规模（云服务）公司是一个重要的细分市场，但它们甚至远不及市场的一半。”

Fred Weber是Cerebras的投资人，也是AMD Opteron CPU的前工程经理，他认为晶圆级集成（WSI）的潜力更大。他设想将其用于传统的高性能计算工作，如信号处理、天气预报、模拟/仿真甚至网络切换。

“科技行业中，经常出现一些有趣的良性循环，比如摩尔定律。你可以缩小硅片，而有人会为此付钱——每一代演进都很难，但你知道这是值得的，” Weber说。

“晶圆级集成可能也类似。它要解决的问题很难，但并非不可能。现在行业内有了训练这个需求，于是人们有了一个商业理由去做这件事，“他说，并补充说WSI”一直是我非常感兴趣的领域，因为我在肯德尔广场研究院(Kendall Square Research)工作时，就主要研究大型并行计算机。“

也就是说，“人工智能培训不是一个利基应用。我们正处于‘人工智能可以做什么’这个命题的最开始，因为它是一个通用平台。人工智能是一种计算范式而非应用程序，我对此非常看好，“韦伯说。

在这方面，“在我参与的众多初创公司项目中，Cerebras最有趣，因为它既是一种了不起的人工智能机器，又是一种构建计算机的全新方式，”他说。

编译：Luffy Liu

原文链接：Startup Spins Whole Wafer for AI，By Rick Merritt