买不到GPU,马斯克自曝AI巨兽Dojo!自研超算挑战英伟达,约等于8千块H100

美股研究社 2024-08-05 20:06

戳👇🏻关注 社长带你港股掘金


多年来,马斯克一直在公开谈论Dojo——这台超算将成为特斯拉人工智能雄心的基石。他最近表示,随着特斯拉准备在10月推出Robotaxi,AI团队将「加倍投入」Dojo。 


来源 | 新智元


为了训出最强Grok 3,xAI耗时19天,打造了由10万块H100组成的世界最大超算集群。
而在训练FSD、擎天柱机器人方面,马斯克同样不惜重金,投入了大量的计算资源。
超算Dojo,是特斯拉AI的基石,专为训练FSD神经网络而打造。
就在今天,他在德州超级工厂(Cortex)参观了特斯拉的超级计算机集群。
马斯克称,「这将是一个拥有约10万个H100/H200 GPU,并配备大规模存储的系统,用于全自动驾驶(FSD)和Optimus机器人的视频训练」。
不仅如此,除了英伟达GPU,这个超算集群中还配备了特斯拉HW4、AI5、Dojo系统。
它们将由一个高达500兆瓦的大型系统提供电力和冷却。
2021年特斯拉AI Day上,马斯克首次对外宣布Dojo。
如今三年过去了,Dojo建得怎样了?


8000块H100等价算力

加倍下注





半个月前,网友称2024年年底,特斯拉拥有AI训练算力,等价于9万块H100的性能。
马斯克对此做了一些补充:
我们在AI训练系统中不仅使用英伟达的GPU,还使用自己的AI计算机——Tesla HW4 AI(更名为AI4),比例大约为1:2。
这意味着相当于有大约9万个H100,加上大约4万个AI4计算机。
他还提到,到今年年底,Dojo 1将拥有大约8000个相当于H100算力。这个规模不算庞大,但也不算小。

Dojo D1超算集群
其实在去年6月,马斯克曾透露Dojo已经在线并运行了几个月的有用任务。
这已经暗示着,Dojo已经投入到一些任务的训练中。
最近,在特斯拉财报会议上,马斯克表示特斯拉准备在10月推出自动驾驶出租车,AI团队将「加倍投入」Dojo。
预计Dojo的总计算能力,将在2024年10月达到100 exaflops。
假设一个D1芯片可以实现362 teraflops,要达到100 exaflops,特斯拉将需要超过27.6万个D1芯片,或者超过32万英伟达A100 GPU。


500亿晶体管

D1已投产





2021年特斯拉AI Day上,D1芯片初次亮相,拥有500亿晶体管,只有巴掌大小。
它具备了强大和高效的性能,能够快速处理各种复杂的任务。
今年5月,D1芯片开始投产,采用台积电7nm工艺节点。
Autopilot前硬件高级总监Ganesh Venkataramanan曾表示,「D1可以同时进行计算和数据传输,采用定制ISA指令集架构,并针对机器学习工作负载进行了充分优化」。
这是一台纯粹的机器学习的芯片。
尽管如此,D1仍没有英伟达A100强大,后者同样采用了台积电7nm工艺制造。
D1在645平方毫米的芯片上放置了500亿个晶体管,而A100包含540亿个晶体管,芯片尺寸为826平方毫米,性能领先于D1。
为了获得更高的带宽和算力,特斯拉AI团队将25个D1芯片融合到一个tile中,将其作为一个统一的计算机系统运作。
每个tile拥有9 petaflops的算力,以及每秒36 TB的带宽,并包含电力源、冷却和数据传输硬件。
我们可以将单个tile视为,由25台小型计算机组成的一台自给自足的计算机。
通过使用晶圆级互连技术InFO_SoW(Integrated Fan-Out,System-on-Wafer),在同一块晶圆上的25块D1芯片可以实现高性能连接,像单个处理器一样工作。
6个这样的tile构成一个机架(rack),两个机架构成一个机柜(cabinet)。
十个机柜构成一个ExaPOD。
在2022年AI Day中,特斯拉表示,Dojo将通过部署多个ExaPOD进行扩展。所有这些加在一起构成了超级计算机。
晶圆级处理器(wafer-scale processor),比如特斯拉的Dojo和Cerebras的晶圆级引擎WSE,比多处理器(multi-processor)的性能效率要高得多。
前者的主要优点包括内核之间的高带宽和低延迟通信、较低的电网阻抗以及更高的能源效率。
目前,只有特斯拉和Cerebras拥有晶圆上系统设计。
然而,将25个芯片放在一起对电压挑战和冷却系统也是不小的挑战。

网友拍到特斯拉在德州建设巨型冷却系统
晶圆级芯片的固有挑战还在于,必须使用片上内存(on-chip memory),这不够灵活,可能无法满足所有类型的应用。
Tom's Hardware预测, 下一代使用的技术可能是CoW_SoW(Chip-on-Wafer),在tile上进行3D堆叠并集成HBM4内存。
此外,特斯拉还在研发下一代D2芯片,为了破解信息流难题。
与连接单个芯片不同,D2将整个Dojo tile放在了单个硅晶圆上。
到2027年,台积电预计将提供更复杂的晶圆级系统,计算能力预计将提升超过40倍。
自D1发布以来,特斯拉既没有公开已订购、预期接收的D1芯片订单情况,也没有公开Dojo超算的具体部署时间表。
不过在今年6月份的时候,马斯克曾表示,在未来18个月,一半部署特斯拉AI硬件,一半是英伟达/其他硬件。
其他硬件,也可能是AMD。



为什么需要Dojo





自动驾驶耗算力

在我们的印象中,特斯拉的主业仅限于生产电动汽车,再附带一些太阳能电池板和储能系统的业务。
但马斯克对特斯拉的期望远远不止于此。
大多数自动驾驶系统,比如谷歌母公司Alphabet旗下的Waymo,仍旧依靠传统的感知器作为输入,比如雷达、激光雷达和摄像头等。
但特斯拉采取的是「全视觉」路径,他们仅依靠摄像头捕捉视觉数据,辅以高清地图进行定位,再使用神经网络处理数据以进行自动驾驶的快速决策。
直观来看,显然前者是一种更简单快捷的路径,事实也的确如此。
Waymo已经实现了L4级自动驾驶的商业化,即SAE所定义的,在一定条件下下无需人工干预即可自行驾驶的系统。但特斯拉的FSD(Full Self-Driving)神经网络仍无法脱离人类操作。
Andrej Karpathy曾在特斯拉担任AI负责人,他表示,实现FSD基本是在「从头开始构建一种人造动物」。
我们可以将其理解为人类视觉皮层和大脑功能的数字复制。FSD不仅需要连续收集和处理视觉数据,识别、分类车辆周围的物体,还需要有与人类相当的决策速度。
由此可见,马斯克想要的绝不只是能盈利的自动驾驶系统而已。他的目标,是打造一种新智能。
但幸运的是,他几乎不太需要担心数据不够的问题。目前大约有180万人为FSD支付了8000美元的订阅费(之前可达1.5万美元),这意味着特斯拉能收集到数百万英里的驾驶视频用于训练。
而算力方面,Dojo超算就是FSD的训练场。它的中文名字可以翻译为「道场」,是对武术练习空间的致敬。

英伟达不给力

英伟达GPU有多抢手?看看各大科技巨头的CEO有多想跟老黄套近乎就知道了。
即便财大气粗如马斯克,也会在7月的财报电话会上承认,自己对特斯拉可能没法用上足够的英伟达GPU感到「非常担忧」。
「我们看到的是,对英伟达硬件的需求如此之高,以至于通常很难获得GPU。」
目前,特斯拉似乎依旧使用英伟达的硬件为Dojo提供算力,但马斯克似乎不想把鸡蛋都放在一个篮子里。
尤其是考虑到,英伟达芯片的溢价如此之高,而且性能还不能让马斯克完全满意。
在硬件与软件协同这方面,特斯拉与苹果的观点类似,即应该实现两者的高度协同,尤其是FSD这种高度专门化的系统,更应该摆脱高度标准化的GPU,使用定制硬件。
这个愿景的核心,是特斯拉专有的D1芯片,于2021年发布,今年5月开始由台积电量产。
此外,特斯拉还在研发下一代D2芯片,希望将整个Dojo块放在单个硅片上,解决信息流瓶颈。
在第二季度财报中,马斯克指出,他看到了「通过Dojo与英伟达竞争的另一条途径」。




Dojo能成功吗





即便自信如马斯克,在谈到Dojo时,也会支支吾吾地表示,特斯拉可能不会成功。
从长远来看,开发自己的超算硬件可以为AI部门开拓新的商业模式。
马斯克曾表示,Dojo的第一个版本将为特斯拉的视觉数据标注和训练量身定制,这对FSD和训练特斯拉的人形机器人Optimus来说非常有用。
而未来版本将更适合通用的AI训练,但这不可避免地要踏入英伟达的护城河——软件。
几乎所有的AI软件都是为了与英伟达GPU配合使用,使用Dojo就意味着要重写整个AI生态系统,包括CUDA和PyTorch。
这意味着,Dojo几乎只有一条出路——出租算力,建立类似于AWS和Azure一样的云计算平台。
摩根士丹利在去年9月的报告中预测,Dojo可以通过robotaxi和软件服务等形式释放新的收入来源,为特斯拉的市值增加5000亿美元。
简言之,从目前马斯克对硬件的谨慎配比来看,Dojo并非「孤注一掷」而更像是一种双重保险。但一旦成功,也可以释放巨大红利。

美股研究社 美股研究社,一个专注研究美股的平台,专业的美股投资人都在这.想了解美国股市行情、美股开户、美股资讯、美股公司;
评论
  • 文/杜杰编辑/cc孙聪颖‍主打影像功能的小米15 Ultra手机,成为2025开年的第一款旗舰机型。从发布节奏上来看,小米历代Ultra机型,几乎都选择在开年发布,远远早于其他厂商秋季主力机型的发布时间。这毫无疑问会掀起“Ultra旗舰大战”,今年影像手机将再次被卷上新高度。无意臆断小米是否有意“领跑”一场“军备竞赛”,但各种复杂的情绪难以掩盖。岁岁年年机不同,但将2-3年内记忆中那些关于旗舰机的发布会拼凑起来,会发现,包括小米在内,旗舰机的革新点,除了摄影参数的不同,似乎没什么明显变化。贵为旗
    华尔街科技眼 2025-03-13 12:30 60浏览
  •        随着人工智能算力集群的爆发式增长,以及5.5G/6G通信技术的演进,网络数据传输速率的需求正以每年30%的速度递增。万兆以太网(10G Base-T)作为支撑下一代数据中心、高端交换机的核心组件,其性能直接决定了网络设备的稳定性与效率。然而,万兆网络变压器的技术门槛极高:回波损耗需低于-20dB(比千兆产品严格30%),耐压值需突破1500V(传统产品仅为1000V),且需在高频信号下抑制电磁干扰。全球仅有6家企业具备规模化量产能力,而美信科
    中科领创 2025-03-13 11:24 40浏览
  • DeepSeek自成立之初就散发着大胆创新的气息。明明核心开发团队只有一百多人,却能以惊人的效率实现许多大厂望尘莫及的技术成果,原因不仅在于资金或硬件,而是在于扁平架构携手塑造的蜂窝创新生态。创办人梁文锋多次强调,与其与大厂竞争一时的人才风潮,不如全力培养自家的优质员工,形成不可替代的内部生态。正因这样,他对DeepSeek内部人才体系有着一套别具一格的见解。他十分重视中式教育价值,因而DeepSeek团队几乎清一色都是中国式学霸。许多人来自北大清华,或者在各种数据比赛中多次获奖,可谓百里挑一。
    优思学院 2025-03-13 12:15 47浏览
  • 文/Leon编辑/cc孙聪颖作为全球AI领域的黑马,DeepSeek成功搅乱了中国AI大模型市场的格局。科技大厂们选择合作,接入其模型疯抢用户;而AI独角兽们则陷入两难境地,上演了“Do Or Die”的抉择。其中,有着“大模型六小虎”之称的六家AI独角兽公司(智谱AI、百川智能、月之暗面、MiniMax、阶跃星辰及零一万物),纷纷开始转型:2025年伊始,李开复的零一万物宣布转型,不再追逐超大模型,而是聚焦AI商业化应用;紧接着,消息称百川智能放弃B端金融市场,聚焦AI医疗;月之暗面开始削减K
    华尔街科技眼 2025-03-12 17:37 146浏览
  • 在海洋监测领域,基于无人艇能够实现高效、实时、自动化的海洋数据采集,从而为海洋环境保护、资源开发等提供有力支持。其中,无人艇的控制算法训练往往需要大量高质量的数据支持。然而,海洋数据采集也面临数据噪声和误差、数据融合与协同和复杂海洋环境适应等诸多挑战,制约着无人艇技术的发展。针对这些挑战,我们探索并推出一套基于多传感器融合的海洋数据采集系统,能够高效地采集和处理海洋环境中的多维度数据,为无人艇的自主航行和控制算法训练提供高质量的数据支持。一、方案架构无人艇要在复杂海上环境中实现自主导航,尤其是完
    康谋 2025-03-13 09:53 44浏览
  • 曾经听过一个“隐形经理”的故事:有家公司,新人进来后,会惊讶地发现老板几乎从不在办公室。可大家依旧各司其职,还能在关键时刻自发协作,把项目完成得滴水不漏。新员工起初以为老板是“放羊式”管理,结果去茶水间和老员工聊过才发现,这位看似“隐形”的管理者其实“无处不在”,他提前铺好了企业文化、制度和激励机制,让一切运行自如。我的观点很简单:管理者的最高境界就是——“无为而治”。也就是说,你的存在感不需要每天都凸显,但你的思路、愿景、机制早已渗透到组织血液里。为什么呢?因为真正高明的管理,不在于事必躬亲,
    优思学院 2025-03-12 18:24 81浏览
  • 北京时间3月11日,国内领先的二手消费电子产品交易和服务平台万物新生(爱回收)集团(纽交所股票代码:RERE)发布2024财年第四季度和全年业绩报告。财报显示,2024年第四季度万物新生集团总收入48.5亿元,超出业绩指引,同比增长25.2%。单季non-GAAP经营利润1.3亿元(non-GAAP口径,即经调整口径,均不含员工股权激励费用、无形资产摊销及因收购产生的递延成本,下同),并汇报创历史新高的GAAP净利润7742万元,同比增长近27倍。总览全年,万物新生总收入同比增长25.9%达到1
    华尔街科技眼 2025-03-13 12:23 50浏览
  • 在追求更快、更稳的无线通信路上,传统射频架构深陷带宽-功耗-成本的“不可能三角”:带宽每翻倍,系统复杂度与功耗增幅远超线性增长。传统方案通过“分立式功放+多级变频链路+JESD204B 接口”的组合试图平衡性能与成本,却难以满足实时性严苛的超大规模 MIMO 通信等场景需求。在此背景下,AXW49 射频开发板以“直采+异构”重构射频范式:基于 AMD Zynq UltraScale+™ RFSoC Gen3XCZU49DR 芯片的 16 通道 14 位 2.5GSPS ADC 与 16
    ALINX 2025-03-13 09:27 32浏览
  • 前言在快速迭代的科技浪潮中,汽车电子技术的飞速发展不仅重塑了行业的面貌,也对测试工具提出了更高的挑战与要求。作为汽车电子测试领域的先锋,TPT软件始终致力于为用户提供高效、精准、可靠的测试解决方案。新思科技出品的TPT软件迎来了又一次重大更新,最新版本TPT 2024.12将进一步满足汽车行业日益增长的测试需求,推动汽车电子技术的持续革新。基于当前汽车客户的实际需求与痛点,结合最新的技术趋势,对TPT软件进行了全面的优化与升级。从模型故障注入测试到服务器函数替代C代码函数,从更准确的需求链接到P
    北汇信息 2025-03-13 14:43 40浏览
  • 一、行业背景与需求痛点智能电子指纹锁作为智能家居的核心入口,近年来市场规模持续增长,用户对产品的功能性、安全性和设计紧凑性提出更高要求:极致空间利用率:锁体内部PCB空间有限,需高度集成化设计。语音交互需求:操作引导(如指纹识别状态、低电量提醒)、安全告警(防撬、试错报警)等语音反馈。智能化扩展能力:集成传感器以增强安全性(如温度监测、防撬检测)和用户体验。成本与可靠性平衡:在复杂环境下确保低功耗、高稳定性,同时控制硬件成本。WTV380-P(QFN32)语音芯片凭借4mm×4mm超小封装、多传
    广州唯创电子 2025-03-13 09:24 41浏览
  • 引言汽车行业正经历一场巨变。随着电动汽车、高级驾驶辅助系统(ADAS)和自动驾驶技术的普及,电子元件面临的要求从未如此严格。在这些复杂系统的核心,存在着一个看似简单却至关重要的元件——精密电阻。贞光科技代理品牌光颉科技的电阻选型过程,特别是在精度要求高达 0.01% 的薄膜和厚膜技术之间的选择,已成为全球汽车工程师的关键决策点。当几毫欧姆的差异可能影响传感器的灵敏度或控制系统的精确性时,选择正确的电阻不仅仅是满足规格的问题——它关系到车辆在极端条件下的安全性、可靠性和性能。在这份全面指南中,我们
    贞光科技 2025-03-12 17:25 92浏览
  • 一、行业背景与用户需求随着健康消费升级,智能眼部按摩仪逐渐成为缓解眼疲劳、改善睡眠的热门产品。用户对这类设备的需求不再局限于基础按摩功能,而是追求更智能化、人性化的体验,例如:语音交互:实时反馈按摩模式、操作提示、安全提醒。环境感知:通过传感器检测佩戴状态、温度、压力等,提升安全性与舒适度。低功耗长续航:适应便携场景,延长设备使用时间。高性价比方案:在控制成本的同时实现功能多样化。针对这些需求,WTV380-8S语音芯片凭借其高性能、多传感器扩展能力及超高性价比,成为眼部按摩仪智能化升级的理想选
    广州唯创电子 2025-03-13 09:26 33浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦