初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用……

EETimes加利福尼亚州圣何塞报道,初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用。

此外,在本周末的活动中,华为、英特尔和初创公司Habana将详细介绍他们用于训练神经网络的芯片。他们都把Nvidia当作竞争对手,去年Nvidia销售了大约价值30亿美元的GPU,用于支持这些对硬件性能极端渴望的新兴应用。

英特尔的1.1 GHz Spring Crest旨在通过将64个28G系列服务器,整合成16条112Gbit /秒的通道,可以连接多达1,024个芯片。专有互连(proprietary interconnect)是一种直接的无协议链路,无需通过外部HBM2内存,从而能够以相对快速的方式在多个处理器和机箱之间传播大型神经网络。

通过在一个晶圆上放置所有内核、存储器和互连,Cerebras的方法将更快,并且可以整合到同一个框架中。

该初创公司从资深投资者那里筹集了超过2亿美元,成为第一个将晶圆级集成商业化、开创封装和晶圆处理新技术的公司。该公司押注人工智能培训市场,认为它将从七个超大规模数据中心供应商,扩展到数百家公司,覆盖从制药到金融科技等希望将搜集到的数据留给自己的行业。

这个芯片怎么运作?

Cerebras这颗器件在7x12阵列中包含84个块,每个包含大约4,800个内核,用于AI的稀疏线性代数(sparse linear algebra),每个都有48 KB的SRAM,这是它们唯一的内存源。

单级层次结构加快了处理速度,训练程序几乎不需要跨内核共享内存。与单个Nvidia GPU相比,芯片上总共18GB的SRAM是巨大的,但与Cerebras的目标竞争系统相比,这个数字很小。

该公司不愿对该器件的频率发表评论,该频率可能很低,无法帮助管理其功率和热量需求。Cerebras首席执行官兼创始人安德鲁.费尔德曼(Andrew Feldman)表示,这家初创公司的资深工程师“之前已经完成了2-3 GHz芯片,但这不是最终目标——超频带来的回报不如增加内核。”

Feldman不愿对Cerebras计划出售的机架系统成本、设计或路线图发表评论。但他表示,这个一个机架的性能,将相当于一个拥有1000台Nvidia GPU设备的工厂,同时只需要他2-3%的空间和功耗。而且组装1000台设备可能需要数月的时间。

CerebrasNvidiasmall.png
Cerebras器件比Nvidia GPU,以及用于AI培训的任何其他竞争对手芯片大得多。 (图片:Cerebras)

该公司的目标是在11月的超级计算机展上讲解该系统,并介绍其性能和benchmark数据。对于所有参会者来说这将是历史性的一刻,上一次达成类似成就是在1980年的超级计算机展上,当时Gene Amdahl创立的公司Trinity推出了3.5英寸晶圆,

Cerebras编译器将摄取TensorFlow或Pytorch模型,将其转换为机器语言,并使用微代码库将神经网络层映射到巨型芯片的各个区域。它在一定程度上通过在内核上编写编程指令,并配置链接块的网状网络来实现。

“我们将整个网络功能保留在芯片上。” Feldman说,“其他所有人都在压榨网络功能,以至于花费更多时间来回倒数据“,常见的做法是通过内存进行缓慢的外部互连。

Cerebras的174名工程师中,近三分之二是软件开发人员,这表明AI和编译器代码的复杂性。Feldman说,在第一批商业系统投入使用之前,他们将面临“一大堆问答(Q&A)”。

如何面对Nvidia、英特尔、华为和其他新创企业

Moor Insights&Strategy的人工智能和高端系统分析师卡尔•弗罗因德(Karl Freund)说:“如果他们能够让这个晶圆发挥作用,那将是开创性的。”

“他们正在解决的问题很难,但并不是不切实际的,所以我认为他们会在明年的某个时候完成这项任务,”他补充道。

Cerebras面临着Nvidia在人工智能加速器市场预计90%以上的垄断地位。它的16nm产品将与Nvidia的7nm Ampere GPU同时投向市场。

此外,在Hot Chips展上,英特尔将介绍其28核的Spring Crest平台,创业公司Habana将展示一款八核训练处理器,华为也将介绍其训练芯片,创业公司Graphcore的1,200核芯片更是已经拿到戴尔3亿美元的融资和支持。

“人们正在尝试各种各样的事情——核心有多大,决定了内存和带宽有多大,以及它们是如何连接的。正确的组合还有待观察”Linley集团的林利•格温纳普(Linley Gwennap)表示,他指出很少有人在现阶段引用benchmark数据。 (预计在10月底之前,MLPerf会提供Spring Crest和Habana的训练数据。)

Gwennap补充说,人工智能软件还存在许多漏洞,例如芯片能够支持多少TensorFlow的操作,并且能够在多种神经网络类型中表现良好。

开创性的晶圆级集成

就其本身而言,Cerebras提供这种晶圆尺寸级别的器件,在产量、功耗和发热量方面都遇到了挑战。它申请了约30项专利,迄今已发行约6项。

例如,台积电经典的300毫米晶圆可能包含“少量的100个缺陷,” Feldman说。 Cerebras为其Swarm互连提供冗余链路,以便绕过有缺陷的区块,并分配“超过(区块数)1%的链路量作为备用。”

迄今为止,该公司已经生产了100多块晶圆,所有晶圆都能在可接受的水平上运行。为了给它们供电和冷却,Cerebras设计了自己的电路板和冷却板,为每块芯片垂直提供电力和水冷。机架包括一个闭环系统,用于空气冷却水。

Cerebras还与合作伙伴合作设计了一台用于处理和对齐晶圆的机器。 “我们公司拥有流体、材料科学家和制造工程师,”Feldman说。

这家创业公司与台积电合作,发明了一种方法,将其互连放置在区块之间的划线中,这个区域通常被保留,作为芯片之间的隔离区。

Cerebrascrossection.png

一种特别设计的电路板和冷却板,垂直地将电力和冷却水输送到每块芯片上。

制造一台计算机的全新方法

该公司计划在超级计算机大会上推出其系统,这表明它认为晶圆级设备的市场远远超过目前七家超大规模数据中心。

至于人工智能训练,“最初,我们认为全球将有200个客户,但我们已将该估算修改为1,000个,” Feldman说。 “我们所到之处,大批拥有大型数据集的公司,不希望他们的数据保存在谷歌云中,在那里,单次训练的费用高达15万美元,”他补充道。

汽车制造商、制药公司、石油和天然气勘探公司以及金融公司将能够训练自己的神经网络。他说:“超大规模(云服务)公司是一个重要的细分市场,但它们甚至远不及市场的一半。”

Fred Weber是Cerebras的投资人,也是AMD Opteron CPU的前工程经理,他认为晶圆级集成(WSI)的潜力更大。他设想将其用于传统的高性能计算工作,如信号处理、天气预报、模拟/仿真甚至网络切换。

“科技行业中,经常出现一些有趣的良性循环,比如摩尔定律。你可以缩小硅片,而有人会为此付钱——每一代演进都很难,但你知道这是值得的,” Weber说。

“晶圆级集成可能也类似。它要解决的问题很难,但并非不可能。现在行业内有了训练这个需求,于是人们有了一个商业理由去做这件事,“他说,并补充说WSI”一直是我非常感兴趣的领域,因为我在肯德尔广场研究院(Kendall Square Research)工作时,就主要研究大型并行计算机。“

也就是说,“人工智能培训不是一个利基应用。我们正处于‘人工智能可以做什么’这个命题的最开始,因为它是一个通用平台。人工智能是一种计算范式而非应用程序,我对此非常看好,“韦伯说。

在这方面,“在我参与的众多初创公司项目中,Cerebras最有趣,因为它既是一种了不起的人工智能机器,又是一种构建计算机的全新方式,”他说。

编译:Luffy Liu

原文链接:Startup Spins Whole Wafer for AI,By Rick Merritt

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣
功率器件(如MOSFET、IGBT和二极管)需要适当的封装设计,以优化散热、提高效率和确保可靠性。热管理对于避免过热、保持性能和延长器件使用寿命至关重要。
目前英特尔采取了“产能匹配”策略,即需确保“投资节奏与市场需求一致”,避免过度投入导致产能闲置。这番说辞或意味着英特尔面对巨大财务压力作出了不得已的战略调整。
随着GaN器件在电机驱动器和电动汽车等高电压、高频率应用中的使用,散热、封装和可靠性方面的问题也开始显现出来。通过解决重大的热管理问题,创新封装技术的最新进展旨在缓解这些挑战,从而降低成本并提高整体系统可靠性。
碳化硅技术正在彻底改变电力电子行业,使各种应用实现更高的效率、更紧凑的设计和更好的热性能。ST、安森美、Wolfspeed、罗姆和英飞凌等领先制造商均提供SiC解决方案,可根据特定用例提供分立器件、功率模块或裸片形式的产品。
世界各地的先进晶圆厂现在都有机器人帮助优化晶圆制造设备的关键维护任务。
美国白宫还对一些半导体企业在接受政策补贴后,又宣布到包括中国在内的海外地区进行重大扩张计划感到失望。这意味着特朗普政府可能对法案中的“护栏条款”提出更高的要求,将全球半导体供应链带来更多政治性的干预。
TEL宣布自2025年3月1日起,现任TEL中国区地区总部——东电电子(上海)有限公司高级执行副总经理赤池昌二正式升任为集团副总裁,同时兼任东电电子(上海)有限公司总裁和东电光电半导体设备(昆山)有限公司总裁。
预计在2025年,以下七大关键趋势将塑造物联网的格局。
领域新成果领域新成果4月必逛电子展!AI、人形机器人、低空飞行、汽车、新能源、半导体六大热门新赛道,来NEPCON China 2025一展全看,速登记!
本次股东大会将采取线上和线下相结合的混合形式召开,股东们可选择现场出席或线上参会。
Mar. 5, 2025 产业洞察根据TrendForce集邦咨询最新研究,TSMC(台积电)近日宣布提高在美国的先进半导体制造投资,总金额达1650亿美元,若新增的三座厂区扩产进度顺利,预计最快20
从上表可知,2024年前三季度全球40强PCB企业总营收约416.7亿美元,同比增长7.6%。其中,营收排名第一位的是臻鼎科技(36.05亿美元),排名第2~5位的分别是欣兴电子(26.85亿美元)、
先问大家一个问题:你有多久没看电视了?对老局来说,最近这几年除了春晚和国庆阅兵,其他情况下,基本已经不会看电视了。当然了,连着PS5打游戏那是另外一回事。不过,虽然我们不怎么看电视了,但电视的市场却并
在储能行业蓬勃发展的浪潮中,安富利凭借卓越的技术实力与广泛的市场影响力,荣获2025“北极星杯”储能影响力BMS/EMS供应商奖。这一荣誉不仅是对安富利过往成就的高度认可,更是对其在储能领域持续创新与
在数字化飞速发展的当下,海量数据不断涌现。传统云计算模式下,数据传输到远程云端处理,产生延迟、带宽压力,难以满足实时性和隐私需求。为应对挑战,边缘计算应运而生,将部分计算任务下沉到网络边缘,降低延迟、
点击蓝字 关注我们SUBSCRIBE to USImage: SwitchBotSwitchBot价格实惠、可调节的智能窗帘终于问世了。SwitchBot窗帘(SwitchBot Roller Sha
面板价格预测(3月)根据TrendForce集邦咨询旗下面板研究中心《TrendForce 2025面板价格预测月度报告》最新调研数据:2025年3月,电视面板与显示器面板价格预期上涨,笔记本面板价格
新品EVAL-2ED3146MC12L–带辅助电源的6.5A双通道隔离栅极驱动器评估板EVAL-2ED3146MC12L评估板用于评估功率半桥电路中的2ED3146MC12L 6.5A隔离栅极驱动器I
文|金融街老李奇瑞终于正式向港交所递交上市申请了。其实,支持奇瑞汽车实现IPO,此前就已经被安徽省列在了汽车产业2025年重点工作的第38条,但正如奇瑞汽车一贯的低调作风,此次赴香港上市,奇瑞在资本市
    内容概要:目前,全球半导体、光电等电子信息产业在世界范围内转移,东亚、东南亚等地区已成为世界电子信息行业的主要市场和发展重心;同时由于我国医药卫生、半导