AI服务器五大硬件拆解分析

智能计算芯世界 2023-08-11 08:08

一篇关于“一台AI服务器到底要用多少PCB”的深度报告,旨在通过拆解服务器 PCB 构成的过程让读者了解一台服务器内部真实的情况,希望读者能够对服务器中所用PCB情况有更为直观的了解,从而把握未来升级过程中真正的价值所在。

下载链接:

一台AI服务器到底要用多少PCB

AI时代流量变化格局变化研究:地图的流量入口潜力

AI+散热,液冷站在新风口

《芯片封测行业技术分析合集》
1、封测行业研究框架 
2、半导体封测专题:封测行业景气,先进封测驱动芯片成长 
3、半导体精华:先进封测,价值增厚
4、裸芯片封测技术的发展与挑战 
5、先进封测装与Chiplet共塑后摩尔半导体产业新格局
6、IC半导体封装测试流程(精华版)
《70+篇半导体行业“研究框架”合集》

《46份智能网卡和DPU合集》

330+份重磅ChatGPT专业报告

《人工智能AI大模型技术合集》
《FPGA五问五答系列合集》


1、五大硬件部分可归纳为——GPU 板组、CPU 母板组、配件
AI 服务器我们瞄准英伟达 DGX A100 和 DGX H100 两款具有标杆性产品力的产品进行分析,鉴于 H100 发布时间较短、资料详尽度不够,我们首先从 DGX A100 出发来观测具有产品力的 AI 服务器的基本架构。英伟达DGX A100 外形类似于常见的家用主机,通过对部件构成进行深度分解,我们认为 DGX A100 大体上可以分为五个硬件板块:
1) 风扇模组,从前部(Front)入手,首先看到的是风扇模组板块,DGX A100 的风扇模组由 8 个风扇组成,这一搭配与传统服务器 8U 规格的基本一致;
2) 硬盘,前部风扇模组板块的下方摆放了硬盘和前控制台板(控制与外接设备的信号传输),DGX A100 配备了 8 个 3.84TB 的硬盘,合计内部存储 30TB;
3) GPU 板组(GPU Board Tray),后部(Rear)是整个 AI 服务器的关键组件组装区域,最核心的板块就是 GPU 板组,这也是 AI 服务器区别与普通服务器的关键,从 DGXA100 的架构来看,GPU 板组主要包含 GPU 组件、模组板、NVSwitch 三块,这三块都会涉及到不同类型的 PCB 产品;
4) CPU 母板组(CPU Motherboard Tray),这一部分是所有服务器的核心部件(包括普通服务器和 AI 服务器),其中包含 CPU 母板、系统内存、网卡、PCIE Switch 等部件,CPU 母板、系统内存、网卡是主要涉及到 PCB 用量的部分;
5) 电源模组,DGX A100 后部的下方还配有 6 组电源,电源内部会涉及到厚铜 PCB 板的使用。
从功能性的角度,我们认为 AI 服务器的 PCB 价值量计算可以归纳为三个部分,其一是AI 服务器最为核心的 GPU 板组,其二是所有服务器都必备的 CPU 母板组,最后是风扇、硬盘、电源板块等配件组。本文将基于这三大部分逐一分解。
2、GPU 板组:单机价值量 1.2 万,载板占比 52%、PCB 板占 48%
GPU 板组的 PCB 主要是由 4 个部分组成,GPU 载板、NVSwitch、OAM、UBB。
1) GPU 载板,英伟达 A100 的 GPU 和 DRAM 采用 2.5/3D 先进封装工艺,用于承载的板材采用 70*70mm~100*100mm、14~16 层的 FCBGA 载板,数量上与 GPU 数量存在一一对应关系,按照 DGX A100 搭载 8 颗 GPU 的数量来看,1 台 AI 服务器需要用到 8 颗 GPU 载板;根据产业链调研,单颗价值量约为 100 美元,即 650 元人民币/颗,由此对应单机 GPU 载板价值量为 5200 元。
2) NVSwitch,基于 NVLink 标准用于 GPU 之间通信的基础模组,搭载 NVSwitch 的载体是类似于载板的产品,加工性要求较简单、关键是承担多数据量高速传输的性能,根据产业链调研单颗价值量约为 30 美元,即 195 元/颗,按 A100 搭载 6 颗计算可得单机价值量为 1170 元。
3) OAM,OCP Accelerator Module,中文简称 GPU 加速卡,是用于承载 GPU 芯片的板卡,数量上看 OAM 与 GPU 存在一一对应的关系,以 DGX A100 搭载 8 个 GPU 的数量来看,1台 AI 服务器需要用到8块 OAM;面积上来看,借鉴 PCIE 版本 267.7mm*111.15mm的尺寸规格(内部 PCB 规格与外壳规格基本一致),可测算出 OAM 的面积尺寸约为0.03 平方米;PCB 板型上来看,由于 OAM 涉及到 GPU 高速多线路信号传递,根据产业链调研,DGX A100 OAM 的 SXM 版本需要用到 20 层、Ultra Low Loss 等级 CCL 材料、4 阶 HDI 工艺,对应产品单价为 12000 元/平方米,DGX A100 OAM 的 PCIE 版本相对规格较低,只需要用到 14 层、Ultra Low Loss 和高 Tg FR4 等级 CCL 材料混压、1 阶 HDI 工艺,对应产品单价 7000 元/平方米。综合来看,如果按照 DGX A100 机型配置,高端 AI 服务器的 OAM 单价价值量将达到 2880 元。
4) UBB,Unit Baseboard,中文简称GPU模组板,是用于搭载整个GPU平台的PCB 板,1台AI服务器对应1块UBB,根据 DGX A100整机底面规格和产业链调研,我们预估UBB面积约为0.30平方米,需要用到26层通孔PCB板,CCL材料运用Ultra Low Loss,对应单价约为10000元/平方米,对应单机价值量为 3000 元。
综上合计,英伟达DGX A100 GPU板组主要由GPU载板、NVSwitch、GPU加速卡、GPU 模组板四部分组成,四部分合计单机 PCB 面积达到 0.624 平方米,对应 PCB 单机价值量为12250 元,其中载板级别的产品单机价值量为 6370 元、占比 52%,PCB 级别的产品单机价值量 5880 元、占比 48%。
3、CPU母板组:单机价值量2845元,载板占46%、主板占40%
CPU 母板组涉及到CPU载板、CPU主板和配板,其中功能性配板包括系统内存卡、网卡、拓展卡、存储操作系统驱动板。
1)CPU 载板,根据产业链调研,CPU载板与GPU 载板规格相近,如果按单颗 CPU 载板价值量 100 美元、DGX 搭载2颗CPU,则单机价值量约为 1300 元。
2)CPU 主板,主要用于承载 CPU 芯片、PCIE Switch 芯片、TPM 模组及各种功能性配板卡,该类 PCB 板的规格主要由 CPU 平台设计和总线标准,按照 DGX A100 的方案主要采用 64 核 AMD Rome 的 CPU 芯片、总线标准仍然为 PCIE 4.0,因此 CPU 主板仍然采用 10~12 层、Low Loss 等级 CCL 材料、通孔板的设计,根据产业链调研,单价约为3000 元/平方米;按照 DGX A100 的尺寸规格设计,估测 CPU 主板面积为 0.38 平方米,由此可计算 CPU 主板单机价值量为 1140 元。
3)功能性配板,配板种类较多,根据产业链调研,配板一般采用的规格是 8~10 层板、Mid Loss 等级 CCL,单价约为 1500 元/平方米,面积和数量参照 DGX A100 则为:
CPU 内存卡,DGX A100 设计配置 32 块 CPU 内存卡、合计 2TB RAM,一般来说服务器 CPU 内存卡行业有较为统一的标准尺寸,估测单块内存卡面积约为 0.004平方米/片;
网卡,DGX A100 网卡采用 Mellanox ConnectX 系列产品(有 X-7 和 X-6 的产品选配),标配的网卡为10张(8 个单端口 200Gb/s 的 IB,2 个双端口 200Gb/s 以太网),根据英伟达官网披露 Mellanox ConnectX-7 的尺寸 68.90mm*167.65mm,计算可得单块网卡板面积约为 0.012 平方米/张;
拓展卡,Riser Card,服务器会因为板卡摆放设计而用一些拓展卡来拓展 PCIE接口,DGX A100 中因为有一张横置 Storage networking 网卡,因此需要设置一张拓展卡,根据产业链调研该拓展卡面积约为 0.01 平方米/张;
存储操作系统驱动板,DGX A100中会搭载2个1.92TB M.2 NVMe 的系统驱动器,但两个驱动器是搭载在一张PCB板的两面,因此系统驱动板只有1块,面积约为0.01 平方米/张。
上述四部分合计,功能性配板单机面积为 0.27 平方米,对应单机价值量约为 405 元。
综上合计,英伟达DGX A100 CPU母板组PCB用量面积合计为0.662平方米,单机价值量约为 2845 元,其中载板级产品占比 46%,PCB 级的主板产品占比40%,PCB级的配板产品占比14%。
4、其他配件:单机价值量合计 226 元
除 GPU 板组和CPU模板组外,其他配件还包括电源、硬盘、前控制台板等,根据产业链调研,这一类产品主要采用 6~10 层、FR4/Mid Loss 等级CCL的规格,单价约为1000~1500 元/平方米不等,参照 DGX A100 规格对用量和面积进行计算则为:
1)电源,从用量上看 DGX A100搭配6个电源,参照台达电2200W 服务器电源 DPS-2200-AB-2 型号 73.5*265.0mm的规格,我们估测单个电源用PCB板面积为0.019平方米;
2)硬盘,从用量上看 DGX A100 搭配8个硬盘,参照行业标准3.5盘,我们估测单块硬盘中 PCB 面积为0.008平方米;
3)前控制台板,主要用于控制外接设备,是放在8个硬盘中间的1块 PCB 板,根据产业链调研,我们估测该板面积约为 0.010 平方米。

综合GPU板组、CPU模板组和配件,我们估测DGX A100整机 PCB用量面积为 1.474 平方米,单机价值量为15321元,其中GPU板组单机价值量达到 1.2万元、占比达到80%,CPU母板组单机价值量为2845 元、占比为 19%,其他配件单机价值量 226 元、占比为1%;从板级的分类来看,载板级别单机价值量为7670元、占比达到 50.1%,PCB 板级单机价值量为7651元、占比为 49.9%。

下载链接:
从特斯拉、英伟达、Mobileye的视角,看智能驾驶芯片的竞争格局
Chiplet半导体行业弯道超车,先进封装、IC载板、半导体IP等多环节收益

《Chiplet技术和市场分析汇总》

1、举国体制打造安全发展,Chiplet将成破局关键(2023)

2、Chiplet:ABF板载将成关键,材料替代空间巨大(2023)

《2023 Chiplet Summit峰会(3)》

《2023 Chiplet Summit峰会(2)》

《2023 Chiplet Summit峰会(1)》

ChatGPT开启行业变革,Chiplet引领破局之路

2022中国算力服务市场发展研究报告

《Chiplet延续摩尔定律系列合集》
1、Chiplet延续摩尔定律:先进制程替代之路
2、Chiplet延续摩尔定律,芯片测试与封装有望获益
3、半导体Chiplet引领封测行业新机遇
4、破局后摩尔时代:Chiplet重塑半导体产业链价值
5、后摩尔时代:Chiplet与先进封装
UCIe白皮书(终版)
Chiplet:延续摩尔定律的新技术,芯片测试与先进封装有望获益
Chiplet:延续摩尔定律—先进制程替代之路
《Chiplet接口和标准介绍》
1、小芯片(Chiplet)接口标准.pdf
2、为什么chiplet需要标准.pdf
《全球OCP峰会Chiplet资料汇总》
华为鲲鹏处理器介绍
鲲鹏计算产业发展白皮书
华为鲲鹏生态研究框架
《“东数西算”技术分析合集》

本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。


电子书<服务器基础知识全解(终极版)>更新完毕。获取方式:服务器基础知识全解PPT(终极版)


温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。



智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 在当今这个数字化的时代,电子设备无处不在,从我们手中的智能手机、随身携带的笔记本电脑,到复杂的工业控制系统、先进的医疗设备,它们的正常运行都离不开一个关键的 “幕后英雄”—— 印刷电路板(Printed Circuit Board,简称 PCB)。PCB 作为电子设备中不可或缺的重要部件,默默地承载着电子元件之间的连接与信号传输,是整个电子世界的基石。揭开 PCB 的神秘面纱PCB,简单来说,就是一块由绝缘材料制成的板子,上面通过印刷、蚀刻等工艺形成了导电线路和焊盘,用于固定和连接各种电子元件。
    Jeffreyzhang123 2024-12-27 17:21 89浏览
  • 采购与分销是企业运营中至关重要的环节,直接影响到企业的成本控制、客户满意度和市场竞争力。以下从多个方面介绍如何优化采购与分销:采购环节优化供应商管理供应商评估与选择:建立一套全面、科学的供应商评估体系,除了考虑价格因素,还要综合评估供应商的产品质量、交货期、信誉、研发能力、售后服务等。通过多维度评估,选择那些能够提供优质产品和服务,且与企业战略目标相契合的供应商。建立长期合作关系:与优质供应商建立长期稳定的合作关系,这种合作模式可以带来诸多好处。双方可以在信任的基础上进行深度沟通与协作,共同开展
    Jeffreyzhang123 2024-12-27 17:43 116浏览
  • 一、前言 回首2024,对于我而言,是充满挑战与收获的一年。在这一年里,我积极参与了论坛的众多活动,不仅拓宽了我的认知边界(有些东西不是你做不到,而是你想不到),还让我在实践中收获了宝贵的经验和。同时,多种多样的论坛活动让我们全方面的接受新东西,连接新知识,多种类型的的活动交织了你我的2024。在这里说一说对过去一年的活动经历,进行一次年终总结,并谈谈我的收获和感受,以及对2025年的展望。二、活动足迹(一)快速体验:机智云Gokit2.0开发板初体验 机智云Gokit2.0开发板的体验活动让大
    无言的朝圣 2024-12-27 14:50 86浏览
  • 从教师的角度来看,麻省理工学院开除因学术造假的学生,这一决定是合理且必要的。首先,学术诚信是学术研究的基石。在学术界,真实性和原创性是至关重要的。学术造假不仅破坏了学术研究的公正性和准确性,还损害了学术领域的整体声誉。因此,对于任何形式的学术不端行为,包括伪造数据、抄袭等,学校都应采取严厉措施,以维护学术诚信。其次,学校对学生具有管理权,包括对学生的处分权。按照相关规定,学校有权对违纪学生进行警告、严重警告、记过、留校察看、勒令退学、开除学籍等处分。开除学籍是一种严厉的处分,通常适用于严重违反学
    curton 2024-12-28 21:49 52浏览
  • 起源与基础20 世纪 60 年代:可编程逻辑设备(PLD)的概念出现,一种被称为 “重构能力” 的芯片的可编程性吸引了许多工程师和学者。20 世纪 70 年代:最早的可编程逻辑器件 PLD 诞生,其输出结构是可编程的逻辑宏单元,它的硬件结构设计可由软件完成,设计比纯硬件的数字电路更灵活,但结构简单,只能实现小规模电路。诞生与发展20 世纪 80 年代中期:为弥补 PLD 只能设计小规模电路的缺陷,复杂可编程逻辑器件 CPLD 被推出,它具有更复杂的结构,能够实现较大规模的电路设计。1988 年:
    Jeffreyzhang123 2024-12-27 10:41 77浏览
  • 在当今竞争激烈的商业世界中,供应链管理已成为企业生存与发展的核心竞争力之一。它就像一条无形的纽带,将供应商、制造商、分销商、零售商直至最终消费者紧密相连,确保产品和服务能够高效、顺畅地流转。今天,就让我们一同深入探索供应链管理的奥秘。供应链管理是什么简单来说,供应链管理是对从原材料采购、生产制造、产品配送直至销售给最终用户这一整个过程中,涉及的物流、信息流和资金流进行计划、协调、控制和优化的管理活动。它不仅仅是对各个环节的简单串联,更是一种通过整合资源、优化流程,实现整体效益最大化的管理理念和方
    Jeffreyzhang123 2024-12-27 17:27 101浏览
  •       在科技日新月异的今天,智能手机已不再仅仅是通讯工具,它更成为了我们娱乐、学习、工作的核心设备。特别是在游戏体验方面,用户对于手机的性能要求愈发严苛,追求极致流畅与沉浸感。正是基于这样的市场需求,一加品牌于2024年12月26日正式推出了其最新的游戏性能旗舰——一加 Ace 5系列,包括一加 Ace 5与一加 Ace 5 Pro两款力作。这一系列深度聚焦于性能与游戏体验,旨在为用户带来前所未有的游戏盛宴。骁龙8系旗舰平台,性能跃升新高度
    科技财经汇 2024-12-26 22:31 78浏览
  • 图森未来的“夺权之争”拉扯了这么久,是该画上句号了。大约9年前,侯晓迪、陈默、郝佳男等人共同创立了图森未来,初衷是以L4级别的无人驾驶卡车技术为全球物流运输行业赋能。此后,先后获得了5轮融资,累计融资额超过6.5亿美元,并于2021年成功在美国纳斯达克上市,成为全球自动驾驶第一股。好景不长,2023年市场屡屡传出图森未来裁员、退市的消息。今年1月份,图森未来正式宣布退市,成为了全球首个主动退市的自动驾驶公司。上市匆匆退市也匆匆,其背后深层原因在于高层的频繁变动以及企业的转型调整。最近,图森未来的
    刘旷 2024-12-27 10:23 68浏览
  • 在当今这个科技飞速发展的时代,物联网(IoT)已经不再是一个陌生的概念,它正以一种前所未有的速度改变着我们的生活和工作方式,像一股无形的力量,将世界紧密地连接在一起,引领我们步入一个全新的智能时代。物联网是什么简单来说,物联网就是通过感知设备、网络传输、数据处理等技术手段,实现物与物、人与物之间的互联互通和智能化管理。想象一下,你的家里所有的电器都能 “听懂” 你的指令,根据你的习惯自动调节;工厂里的设备能够实时监测自身状态,提前预警故障;城市的交通系统可以根据实时路况自动优化信号灯,减少拥堵…
    Jeffreyzhang123 2024-12-27 17:18 84浏览
  • 引言工程师作为推动科技进步和社会发展的核心力量,在各个领域发挥着关键作用。为深入了解工程师的职场现状,本次调研涵盖了不同行业、不同经验水平的工程师群体,通过问卷调查、访谈等方式,收集了大量一手数据,旨在全面呈现工程师的职场生态。1. 工程师群体基本信息行业分布:调研结果显示,工程师群体广泛分布于多个行业,其中制造业占比最高,达到 90%,其次是信息技术、电子通信、能源等行业。不同行业的工程师在工作内容、技术要求和职业发展路径上存在一定差异。年龄与经验:工程师群体以中青年为主,30 - 45 岁年
    Jeffreyzhang123 2024-12-27 17:39 122浏览
  • 一、引言无人机,作为近年来迅速崛起的新兴技术产物,正以前所未有的速度改变着众多行业的运作模式,从民用领域的航拍、物流,到工业领域的测绘、巡检,再到军事领域的侦察、打击等,无人机的身影无处不在。为了深入了解无人机的现状,本次调研综合了市场数据、行业报告、用户反馈等多方面信息,全面剖析无人机的发展态势。二、市场规模与增长趋势随着技术的不断进步和成本的逐渐降低,无人机市场呈现出爆发式增长。近年来,全球无人机市场规模持续扩大,预计在未来几年内仍将保持较高的增长率。从应用领域来看,消费级无人机市场依然占据
    Jeffreyzhang123 2024-12-27 17:29 169浏览
  • 在当今科技飞速发展的时代,工业电子作为现代制造业的中流砥柱,正以前所未有的速度推动着各个行业的变革与进步。从汽车制造到航空航天,从智能家居到工业自动化,工业电子的身影无处不在,为我们的生活和生产带来了巨大的改变。工业电子的崛起与发展工业电子的发展历程可谓是一部波澜壮阔的科技进化史。追溯到上世纪中叶,电子技术开始逐渐应用于工业领域,最初主要是简单的电子控制装置,用于提高生产过程的自动化程度。随着半导体技术、计算机技术和通信技术的不断突破,工业电子迎来了爆发式的增长。集成电路的发明使得电子设备的体积
    Jeffreyzhang123 2024-12-27 15:40 118浏览
  • 在科技飞速发展的今天,汽车不再仅仅是一种交通工具,更是一个融合了先进技术的移动智能空间。汽车电子作为汽车产业与电子技术深度融合的产物,正以前所未有的速度推动着汽车行业的变革,为我们带来更加智能、安全、舒适的出行体验。汽车电子的发展历程汽车电子的发展可以追溯到上世纪中叶。早期,汽车电子主要应用于发动机点火系统和简单的电子仪表,功能相对单一。随着半导体技术的不断进步,集成电路被广泛应用于汽车领域,使得汽车电子系统的性能得到了显著提升。从电子燃油喷射系统到防抱死制动系统(ABS),从安全气囊到车载导航
    Jeffreyzhang123 2024-12-27 11:53 115浏览
  • 在科技飞速发展的今天,医疗电子作为一个融合了医学与电子技术的交叉领域,正以前所未有的速度改变着我们的医疗模式和健康生活。它宛如一颗璀璨的明珠,在医疗领域绽放出耀眼的光芒,为人类的健康福祉带来了诸多惊喜与变革。医疗电子的神奇应用医疗电子的应用范围极为广泛,深入到医疗的各个环节。在诊断方面,各种先进的医学成像设备堪称医生的 “火眼金睛”。X 光、CT、MRI 等成像技术,能够清晰地呈现人体内部的结构和病变情况,帮助医生准确地发现疾病。以 CT 为例,它通过对人体进行断层扫描,能够提供比传统 X 光更
    Jeffreyzhang123 2024-12-27 15:46 102浏览
  • 发明阶段(20世纪80年代至90年代)起源:当时ASIC设计成本高,周期长,流片失败率高,业界需要一种通用的半导体器件进行流片前测试和验证,可编程逻辑器件就此产生。诞生:1980年,Xilinx公司成立。1985年,Ross Freeman制造了第一片PFGA芯片XC2064,采用4输入,1输出的LUT和FF结合的基本逻辑单元。发展阶段(1992年至1999年)容量提升:FPGA容量不断上涨,芯片面积逐渐增大,为架构穿心提供空间,复杂功能可以实现。布线问题凸显:缩着芯片复杂度增加,片上资源的互连
    Jeffreyzhang123 2024-12-27 10:26 89浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦