面包芯语

买不到GPU，马斯克自曝AI巨兽Dojo！自研超算挑战英伟达，约等于8千块H100

美股研究社 2024-08-05 20:06
百万设备≠唯一解！精密测量成本砍半秘籍 从电机控制到光伏逆变器：电流传感器的跨领域设计考量

戳👇🏻关注 社长带你港股掘金


多年来，马斯克一直在公开谈论Dojo——这台超算将成为特斯拉人工智能雄心的基石。他最近表示，随着特斯拉准备在10月推出Robotaxi，AI团队将「加倍投入」Dojo。 


来源 | 新智元


为了训出最强Grok 3，xAI耗时19天，打造了由10万块H100组成的世界最大超算集群。
而在训练FSD、擎天柱机器人方面，马斯克同样不惜重金，投入了大量的计算资源。
超算Dojo，是特斯拉AI的基石，专为训练FSD神经网络而打造。
就在今天，他在德州超级工厂（Cortex）参观了特斯拉的超级计算机集群。
马斯克称，「这将是一个拥有约10万个H100/H200 GPU，并配备大规模存储的系统，用于全自动驾驶（FSD）和Optimus机器人的视频训练」。
不仅如此，除了英伟达GPU，这个超算集群中还配备了特斯拉HW4、AI5、Dojo系统。
它们将由一个高达500兆瓦的大型系统提供电力和冷却。
2021年特斯拉AI Day上，马斯克首次对外宣布Dojo。
如今三年过去了，Dojo建得怎样了？


8000块H100等价算力

加倍下注





半个月前，网友称2024年年底，特斯拉拥有AI训练算力，等价于9万块H100的性能。
马斯克对此做了一些补充：
我们在AI训练系统中不仅使用英伟达的GPU，还使用自己的AI计算机——Tesla HW4 AI（更名为AI4），比例大约为1:2。
这意味着相当于有大约9万个H100，加上大约4万个AI4计算机。
他还提到，到今年年底，Dojo 1将拥有大约8000个相当于H100算力。这个规模不算庞大，但也不算小。

Dojo D1超算集群
其实在去年6月，马斯克曾透露Dojo已经在线并运行了几个月的有用任务。
这已经暗示着，Dojo已经投入到一些任务的训练中。
最近，在特斯拉财报会议上，马斯克表示特斯拉准备在10月推出自动驾驶出租车，AI团队将「加倍投入」Dojo。
预计Dojo的总计算能力，将在2024年10月达到100 exaflops。
假设一个D1芯片可以实现362 teraflops，要达到100 exaflops，特斯拉将需要超过27.6万个D1芯片，或者超过32万英伟达A100 GPU。


500亿晶体管

D1已投产





2021年特斯拉AI Day上，D1芯片初次亮相，拥有500亿晶体管，只有巴掌大小。
它具备了强大和高效的性能，能够快速处理各种复杂的任务。
今年5月，D1芯片开始投产，采用台积电7nm工艺节点。
Autopilot前硬件高级总监Ganesh Venkataramanan曾表示，「D1可以同时进行计算和数据传输，采用定制ISA指令集架构，并针对机器学习工作负载进行了充分优化」。
这是一台纯粹的机器学习的芯片。
尽管如此，D1仍没有英伟达A100强大，后者同样采用了台积电7nm工艺制造。
D1在645平方毫米的芯片上放置了500亿个晶体管，而A100包含540亿个晶体管，芯片尺寸为826平方毫米，性能领先于D1。
为了获得更高的带宽和算力，特斯拉AI团队将25个D1芯片融合到一个tile中，将其作为一个统一的计算机系统运作。
每个tile拥有9 petaflops的算力，以及每秒36 TB的带宽，并包含电力源、冷却和数据传输硬件。
我们可以将单个tile视为，由25台小型计算机组成的一台自给自足的计算机。
通过使用晶圆级互连技术InFO_SoW（Integrated Fan-Out，System-on-Wafer），在同一块晶圆上的25块D1芯片可以实现高性能连接，像单个处理器一样工作。
6个这样的tile构成一个机架（rack），两个机架构成一个机柜（cabinet）。
十个机柜构成一个ExaPOD。
在2022年AI Day中，特斯拉表示，Dojo将通过部署多个ExaPOD进行扩展。所有这些加在一起构成了超级计算机。
晶圆级处理器（wafer-scale processor），比如特斯拉的Dojo和Cerebras的晶圆级引擎WSE，比多处理器（multi-processor）的性能效率要高得多。
前者的主要优点包括内核之间的高带宽和低延迟通信、较低的电网阻抗以及更高的能源效率。
目前，只有特斯拉和Cerebras拥有晶圆上系统设计。
然而，将25个芯片放在一起对电压挑战和冷却系统也是不小的挑战。

网友拍到特斯拉在德州建设巨型冷却系统
晶圆级芯片的固有挑战还在于，必须使用片上内存（on-chip memory），这不够灵活，可能无法满足所有类型的应用。
Tom's Hardware预测， 下一代使用的技术可能是CoW_SoW（Chip-on-Wafer），在tile上进行3D堆叠并集成HBM4内存。
此外，特斯拉还在研发下一代D2芯片，为了破解信息流难题。
与连接单个芯片不同，D2将整个Dojo tile放在了单个硅晶圆上。
到2027年，台积电预计将提供更复杂的晶圆级系统，计算能力预计将提升超过40倍。
自D1发布以来，特斯拉既没有公开已订购、预期接收的D1芯片订单情况，也没有公开Dojo超算的具体部署时间表。
不过在今年6月份的时候，马斯克曾表示，在未来18个月，一半部署特斯拉AI硬件，一半是英伟达/其他硬件。
其他硬件，也可能是AMD。



为什么需要Dojo





自动驾驶耗算力

在我们的印象中，特斯拉的主业仅限于生产电动汽车，再附带一些太阳能电池板和储能系统的业务。
但马斯克对特斯拉的期望远远不止于此。
大多数自动驾驶系统，比如谷歌母公司Alphabet旗下的Waymo，仍旧依靠传统的感知器作为输入，比如雷达、激光雷达和摄像头等。
但特斯拉采取的是「全视觉」路径，他们仅依靠摄像头捕捉视觉数据，辅以高清地图进行定位，再使用神经网络处理数据以进行自动驾驶的快速决策。
直观来看，显然前者是一种更简单快捷的路径，事实也的确如此。
Waymo已经实现了L4级自动驾驶的商业化，即SAE所定义的，在一定条件下下无需人工干预即可自行驾驶的系统。但特斯拉的FSD（Full Self-Driving）神经网络仍无法脱离人类操作。
Andrej Karpathy曾在特斯拉担任AI负责人，他表示，实现FSD基本是在「从头开始构建一种人造动物」。
我们可以将其理解为人类视觉皮层和大脑功能的数字复制。FSD不仅需要连续收集和处理视觉数据，识别、分类车辆周围的物体，还需要有与人类相当的决策速度。
由此可见，马斯克想要的绝不只是能盈利的自动驾驶系统而已。他的目标，是打造一种新智能。
但幸运的是，他几乎不太需要担心数据不够的问题。目前大约有180万人为FSD支付了8000美元的订阅费（之前可达1.5万美元），这意味着特斯拉能收集到数百万英里的驾驶视频用于训练。
而算力方面，Dojo超算就是FSD的训练场。它的中文名字可以翻译为「道场」，是对武术练习空间的致敬。

英伟达不给力

英伟达GPU有多抢手？看看各大科技巨头的CEO有多想跟老黄套近乎就知道了。
即便财大气粗如马斯克，也会在7月的财报电话会上承认，自己对特斯拉可能没法用上足够的英伟达GPU感到「非常担忧」。
「我们看到的是，对英伟达硬件的需求如此之高，以至于通常很难获得GPU。」
目前，特斯拉似乎依旧使用英伟达的硬件为Dojo提供算力，但马斯克似乎不想把鸡蛋都放在一个篮子里。
尤其是考虑到，英伟达芯片的溢价如此之高，而且性能还不能让马斯克完全满意。
在硬件与软件协同这方面，特斯拉与苹果的观点类似，即应该实现两者的高度协同，尤其是FSD这种高度专门化的系统，更应该摆脱高度标准化的GPU，使用定制硬件。
这个愿景的核心，是特斯拉专有的D1芯片，于2021年发布，今年5月开始由台积电量产。
此外，特斯拉还在研发下一代D2芯片，希望将整个Dojo块放在单个硅片上，解决信息流瓶颈。
在第二季度财报中，马斯克指出，他看到了「通过Dojo与英伟达竞争的另一条途径」。




Dojo能成功吗





即便自信如马斯克，在谈到Dojo时，也会支支吾吾地表示，特斯拉可能不会成功。
从长远来看，开发自己的超算硬件可以为AI部门开拓新的商业模式。
马斯克曾表示，Dojo的第一个版本将为特斯拉的视觉数据标注和训练量身定制，这对FSD和训练特斯拉的人形机器人Optimus来说非常有用。
而未来版本将更适合通用的AI训练，但这不可避免地要踏入英伟达的护城河——软件。
几乎所有的AI软件都是为了与英伟达GPU配合使用，使用Dojo就意味着要重写整个AI生态系统，包括CUDA和PyTorch。
这意味着，Dojo几乎只有一条出路——出租算力，建立类似于AWS和Azure一样的云计算平台。
摩根士丹利在去年9月的报告中预测，Dojo可以通过robotaxi和软件服务等形式释放新的收入来源，为特斯拉的市值增加5000亿美元。
简言之，从目前马斯克对硬件的谨慎配比来看，Dojo并非「孤注一掷」而更像是一种双重保险。但一旦成功，也可以释放巨大红利。

登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
美股研究社 美股研究社,一个专注研究美股的平台,专业的美股投资人都在这.想了解美国股市行情、美股开户、美股资讯、美股公司;
评论
  • 高性能、远距离SoC无线收发模块RFM25A12
    在物联网领域中，无线射频技术作为设备间通信的核心手段，已深度渗透工业自动化、智慧城市及智能家居等多元场景。然而，随着物联网设备接入规模的不断扩大，如何降低运维成本，提升通信数据的传输速度和响应时间，实现更广泛、更稳定的覆盖已成为当前亟待解决的系统性难题。SoC无线收发模块-RFM25A12在此背景下，华普微创新推出了一款高性能、远距离与高性价比的Sub-GHz无线SoC收发模块RFM25A12，旨在提升射频性能以满足行业中日益增长与复杂的设备互联需求。值得一提的是，RFM25A12还支持Wi-S
    华普微HOPERF 2025-02-28 09:06 145浏览
  • Vscode C语言编程环境配置
    1,微软下载免费Visual Studio Code2,安装C/C++插件,如果无法直接点击下载, 可以选择手动install from VSIX:ms-vscode.cpptools-1.23.6@win32-x64.vsix3,安装C/C++编译器MniGW (MinGW在 Windows 环境下提供类似于 Unix/Linux 环境下的开发工具，使开发者能够轻松地在 Windows 上编写和编译 C、C++ 等程序.)4,C/C++插件扩展设置中添加Include Path 5,
    黎查 2025-02-28 14:39 141浏览
  • AI PC潜力无限却挑战重重，测试验证如何破局？
    应用趋势与客户需求，AI PC的未来展望随着人工智能(AI)技术的日益成熟，AI PC(人工智能个人电脑)逐渐成为消费者和企业工作中的重要工具。这类产品集成了最新的AI处理器，如NPU、CPU和GPU，并具备许多智能化功能，为用户带来更高效且直观的操作体验。AI PC的目标是提升工作和日常生活的效率，通过深度学习与自然语言处理等技术，实现更流畅的多任务处理、实时翻译、语音助手、图像生成等功能，满足现代用户对生产力和娱乐的双重需求。随着各行各业对数字转型需求的增长，AI PC也开始在各个领域中显示
    百佳泰测试实验室 2025-02-27 14:08 255浏览
  • 基于AI自适应迭代的边缘场景探索方案
    构建巨量的驾驶场景时，测试ADAS和AD系统面临着巨大挑战，如传统的实验设计（Design of Experiments, DoE）方法难以有效覆盖识别驾驶边缘场景案例，但这些边缘案例恰恰是进一步提升自动驾驶系统性能的关键。一、传统解决方案：静态DoE标准的DoE方案旨在系统性地探索场景的参数空间，从而确保能够实现完全的测试覆盖范围。但在边缘案例，比如暴露在潜在安全风险的场景或是ADAS系统性能极限场景时，DoE方案通常会失效，让我们看一些常见的DoE方案：1、网格搜索法（Grid）实现原理：将
    康谋 2025-02-27 10:00 253浏览
  • 振动样品磁强计测量准确度的影响因素
    振动样品磁强计是一种用于测量材料磁性的精密仪器，广泛应用于科研、工业检测等领域。然而，其测量准确度会受到多种因素的影响，下面我们将逐一分析这些因素。一、温度因素温度是影响振动样品磁强计测量准确度的重要因素之一。随着温度的变化，材料的磁性也会发生变化，从而影响测量结果的准确性。因此，在进行磁性测量时，应确保恒温环境，以减少温度波动对测量结果的影响。二、样品制备样品的制备过程同样会影响振动样品磁强计的测量准确度。样品的形状、尺寸和表面处理等因素都会对测量结果产生影响。为了确保测量准确度，应严格按照规
    锦正茂科技 2025-02-28 14:05 134浏览
  • RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！
    RGB灯光无法同步？细致的动态光效设定反而成为产品客诉来源！随着科技的进步和消费者需求变化，电脑接口设备单一功能性已无法满足市场需求，因此在产品上增加「动态光效」的形式便应运而生，藉此吸引消费者目光。这种RGB灯光效果，不仅能增强电脑周边产品的视觉吸引力，还能为用户提供个性化的体验，展现独特自我风格。如今，笔记本电脑、键盘、鼠标、鼠标垫、耳机、显示器等多种电脑接口设备多数已配备动态光效。这些设备的灯光效果会随着音乐节奏、游戏情节或使用者的设置而变化。想象一个画面，当一名游戏玩家，按下电源开关，整
    百佳泰测试实验室 2025-02-27 14:15 138浏览
  • 天下共赴具身智能，车企纷纷入局，未来已来？
    在2024年的科技征程中，具身智能的发展已成为全球关注的焦点。从实验室到现实应用，这一领域正以前所未有的速度推进，改写着人类与机器的互动边界。这一年，我们见证了具身智能技术的突破与变革，它不仅落地各行各业，带来新的机遇，更在深刻影响着我们的生活方式和思维方式。随着相关技术的飞速发展，具身智能不再仅仅是一个技术概念，更像是一把神奇的钥匙。身后的众多行业，无论愿意与否，都像是被卷入一场伟大变革浪潮中的船只，注定要被这股汹涌的力量重塑航向。01为什么是具身智能？为什么在中国？最近，中国具身智能行业的进
    艾迈斯欧司朗 2025-02-28 15:45 222浏览
  • 可穿戴健康监测新趋势，艾迈斯欧司朗的创新 “智” 造
    更多生命体征指标风靡的背后都只有一个原因：更多人将健康排在人生第一顺位！“AGEs，也就是晚期糖基化终末产物，英文名Advanced Glycation End-products，是存在于我们体内的一种代谢产物” 艾迈斯欧司朗亚太区健康监测高级市场经理王亚琴说道，“相信业内的朋友都会有关注，最近该指标的热度很高，它可以用来评估人的生活方式是否健康。”据悉，AGEs是可穿戴健康监测领域的一个“萌新”指标，近来备受关注。如果站在学术角度来理解它，那么AGEs是在非酶促条件下，蛋白质、氨基酸
    艾迈斯欧司朗 2025-02-27 14:50 400浏览
  • 广电计量出版FIB领域专著，赋能半导体质量精准提升
            近日，广电计量在聚焦离子束（FIB）领域编写的专业著作《聚焦离子束：失效分析》正式出版，填补了国内聚焦离子束领域实践性专业书籍的空白，为该领域的技术发展与知识传播提供了重要助力。         随着芯片技术不断发展，芯片的集成度越来越高，结构也日益复杂。这使得传统的失效分析方法面临巨大挑战。FIB技术的出现，为芯片失效分析带来了新的解决方案。它能够在纳米尺度上对芯片进行精确加工和分析。当芯
    广电计量 2025-02-28 09:15 116浏览
  • 参加《广东省科技创新条例》宣讲会
              近日受某专业机构邀请，参加了官方举办的《广东省科技创新条例》宣讲会。在与会之前，作为一名技术工作者一直认为技术的法例都是保密和侵权方面的，而潜意识中感觉法律有束缚创新工作的进行可能。通过一个上午学习新法，对广东省的科技创新有了新的认识。广东是改革的前沿阵地，是科技创新的沃土，企业是创新的主要个体。《广东省科技创新条例》是广东省为促进科技创新、推动高质量发展而制定的地方性法规，主要内容包括： 总则：明确立法目
    广州铁金刚 2025-02-28 10:14 103浏览
  • 震动样品磁强计VSM测量什么
    一、VSM的基本原理震动样品磁强计（Vibrating Sample Magnetometer，简称VSM）是一种灵敏且高效的磁性测量仪器。其基本工作原理是利用震动样品在探测线圈中引起的变化磁场来产生感应电压，这个感应电压与样品的磁矩成正比。因此，通过测量这个感应电压，我们就能够精确地确定样品的磁矩。在VSM中，被测量的样品通常被固定在一个震动头上，并以一定的频率和振幅震动。这种震动在探测线圈中引起了变化的磁通量，从而产生了一个交流电信号。这个信号的幅度和样品的磁矩有着直接的关系。因此，通过仔细
    锦正茂科技 2025-02-28 13:30 100浏览
  • 为什么说Matter是智能家居厂商的“通关密码”？
    Matter 协议，原名 CHIP（Connected Home over IP），是由苹果、谷歌、亚马逊和三星等科技巨头联合ZigBee联盟（现连接标准联盟CSA）共同推出的一套基于IP协议的智能家居连接标准，旨在打破智能家居设备之间的 “语言障碍”，实现真正的互联互通。然而，目标与现实之间总有落差，前期阶段的Matter 协议由于设备支持类型有限、设备生态协同滞后以及设备通信协议割裂等原因，并未能彻底消除智能家居中的“设备孤岛”现象，但随着2025年的到来，这些现象都将得到完美的解决。近期，
    华普微HOPERF 2025-02-27 10:32 216浏览
  • 美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?
    美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?美国加州CEC能效跟DOE能效有什么区别？CEC/DOE是什么关系?‌美国加州CEC能效认证与美国DOE能效认证在多个方面存在显著差异‌。认证范围和适用地区‌CEC能效认证‌：仅适用于在加利福尼亚州销售的电器产品。CEC认证的范围包括制冷设备、房间空调、中央空调、便携式空调、加热器、热水器、游泳池加热器、卫浴配件、光源、应急灯具、交通信号模块、灯具、洗碗机、洗衣机、干衣机、烹饪器具、电机和压缩机、变压器、外置电源、消费类电子设备
    张工nx808593 2025-02-27 18:04 120浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦