深夜炸场！英伟达H200震撼发布，性能飙升90%

刚刚，英伟达正式宣布，在目前最强AI（人工智能）芯片H100的基础上进行一次大升级，发布新一代H200芯片，官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。

H200拥有141GB的内存、与H100的80GB相比直接提升76%，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%，并将与H100相互兼容，在推理速度上几乎达到了H100的两倍。H200 将于 2024 年第二季度开始向全球系统制造商和云服务提供商供货。

NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存，与前身 NVIDIA A100 相比，容量几乎翻倍，带宽增加 2.4 倍。

英伟达超大规模和 HPC 副总裁 Ian Buck 表示：“要通过生成式 AI 和 HPC 应用程序创建智能，必须使用大型、快速的 GPU 内存高速有效地处理大量数据。借助 NVIDIA H200，业界领先的端到端 AI 超级计算平台能够更快地解决世界上一些最重要的挑战。”

NVIDIA H200 将应用于具有四路和八路配置的 NVIDIA HGX H200 服务器主板，这些主板与 HGX H100 系统的硬件和软件兼容。它还可用于8 月份发布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper™ 芯片。

英伟达表示，H200 可以部署在各种类型的数据中心中，包括本地、云、混合云和边缘。NVIDIA 的全球合作伙伴服务器制造商生态系统（包括华擎 Rack、华硕、戴尔科技、Eviden、技嘉、慧与、英格拉科技、联想、QCT、Supermicro、纬创资通和纬颖科技）可以使用 H200 更新其现有系统。

除了CoreWeave、Lambda和 Vultr之外，从2024年开始，亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 实例的云服务提供商。

HGX H200 由 NVIDIA NVLink™ 和 NVSwitch™ 高速互连提供支持，可为各种应用工作负载提供最高性能，包括针对超过 1750 亿个参数的最大模型的 LLM 训练和推理。

八路 HGX H200 提供超过 32 petaflops 的 FP8 深度学习计算和 1.1TB 聚合高带宽内存，可在生成式 AI 和 HPC 应用中实现最高性能。

当与具有超快 NVLink-C2C 互连的 NVIDIA Grace™ CPU 配合使用时，H200 创建了带有 HBM3e 的 GH200 Grace Hopper 超级芯片——一种旨在服务于大规模 HPC 和 AI 应用的集成模块。

富国银行(Wells Fargo)分析师Aaron Rakers说，H200是英伟达首款采用HBM3e内存的图形处理器，这使其拥有更高的带宽和容量，并凸显出了内存在下一代人工智能工作负载中的重要性。

英伟达表示，H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能，可增强生成式 AI 和高性能计算 (HPC) 工作负载。

H200基于 NVIDIA Hopper 架构，是首款以每秒 4.8 TB/s 的速度提供 141 GB HBM3e 内存的 GPU，几乎是 NVIDIA H100 Tensor Core GPU 容量的两倍，内存带宽提高了 1.4 倍。H200 更大、更快的内存可加速生成式 AI 和 LLM，同时以更高的能效和更低的总拥有成本推进 HPC 工作负载的科学计算。

在处理 Llama2 等 LLM 时，H200 的推理速度比 H100 GPU 提高了 2 倍。

对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保高效地访问和操作数据，与 CPU 相比，获得结果的时间最多可加快 110 倍。

英伟达表示，H200 的能源效率和 TCO 达到了新的水平。H200在性能增长的同时，功率配置与 H100 相同。人工智能工厂和超级计算系统不仅速度更快，而且更环保，提供了推动人工智能和科学界向前发展的经济优势。

英伟达表示，NVIDIA Hopper 架构比其前身实现了前所未有的性能飞跃，并通过 H100 的持续软件增强（包括最近发布的NVIDIA TensorRT-LLM™等强大的开源库）继续提高标准。

———— / END / ————

点击下方“阅读原文”，询价吧！