作为继H100之后的升级产品，H200芯片性能更强大，适用于各种人工智能应用场景。它可以用于训练和部署各种大型语言模型、图像识别、语音识别等人工智能模型。在推理或生成问题答案时，性能较H100提高60%至90%。
图源：英伟达
近日，芯片巨头英伟达发布了H100芯片的继任者，也是目前世界最强的AI芯片——H200。这是英伟达新一代的GPU，专为训练和部署各种人工智能模型而设计。
作为继H100之后的升级产品，H200芯片性能更强大，适用于各种人工智能应用场景。它可以用于训练和部署各种大型语言模型、图像识别、语音识别等人工智能模型。在推理或生成问题答案时，性能较H100提高60%至90%。
H200较H100有较大性能提升
该芯片直接采用141GB大内存，与H100的80GB相比直接提升76%。而作为首款搭载HBM3e内存的GPU，内存带宽也从3.35TB/s提升至4.8TB/s，提升43%。在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。
H200的性能提升最主要体现在大模型推理表现上，H200 在700亿参数的Llama2大模型上的推理速度比H100快了一倍，而且在推理能耗上H200相比H100直接降低了一半。
对于显存密集型HPC应用，H200更高的显存带宽能够确保高效地访问操作数据，与CPU相比，获得结果的时间最多可提升110倍。
不仅如此，H200与H100一样都是基于英伟达Hopper架构打造，这也意味着两款芯片可以互相兼容，对于使用H100企业而言，可以无缝更换成最新的H200。
整体来看，由于NVIDIA Hopper架构、TensorRT-LLM专用软件等软硬件技术加持，新的H200在超大模型训练和推理性能表现优异。与H100相比，H200在Llama 2（700亿参数）开源大模型的推理速度几乎翻倍，而未来的软件更新预计会带来H200的额外性能领先优势和改进。
据英伟达数据，在TF32 Tensor Core（张量核心）中，H200可达到989万亿次浮点运算；INT8张量核心下提供3,958 TFLOPS（每秒3958万亿次的浮点运算）。
不仅如此，基于H200芯片构建的HGX H200加速服务器平台，拥有 NVLink 和 NVSwitch 的高速互连支持。8个HGX H200则提供超过32 petaflops（每秒1000万亿次的浮点运算）的FP8深度学习计算和 1.1TB 聚合高带宽内存，从而为科学研究和 AI 等应用的工作负载提供更高的性能支持，包括超1750亿参数的大模型训练和推理。
忽略“算力”升级，切中AI推理
客观来说，H200相较H100在算力方面提升并不明显。从英伟达给出的数据来看，在GPT-3175B大模型的训练中，H200只比H100强了10%。正如有人所评论，H200可能只是H100的一个“中期改款”。
然而，在各大科技企业从训练模型转向推理之后，H200转而重点提升推理方面的能力，又足以说明英伟达切中了“要点”——刀法依旧精准。对此，有人评论H200在推理方面重点发力的意义：
一是提升AI性能：H200芯片在处理大型AI模型时的性能有了显著提升，这标志着英伟达继续在AI芯片领域保持领先地位。对于需要处理大量数据、进行复杂计算的AI应用来说，这无疑是一个重大利好。
二是加速AI应用落地：在H200芯片的帮助下，大语言模型Llama 2的推理速度翻倍，这意味着AI应用能够更快地投入使用，为企业和组织带来更高效的工作流程。
三是推动AI创新：H200芯片的性能提升，将鼓励更多的企业和研究机构进行AI创新。例如，它可以帮助企业更快地进行语言翻译、图像识别、自然语言处理等任务，从而提升工作效率和创造力。
四是促进AI人才培养：随着AI技术的不断发展，对相关人才的需求也在不断增加。H200芯片的发布，将进一步推动AI领域的人才培养。英伟达作为全球领先的AI芯片制造商，其产品和技术一直处于行业前列，这将为相关人才提供更好的学习和发展机会。
五是增强英伟达的市场竞争力：H200芯片的发布，进一步巩固了英伟达在AI芯片市场的领先地位。随着AI技术的不断发展和应用，AI芯片市场的竞争也将越来越激烈。英伟达通过不断推出性能卓越的AI芯片，将能够在市场竞争中保持领先地位。
因此，英伟达发布世界最强AI芯片H200，性能飙升90%，Llama 2推理速度翻倍，这一事件对于推动AI技术的发展、加速AI应用落地、促进AI人才培养以及增强英伟达的市场竞争力都具有重要意义。
H200价格会更高
英伟达表示H200预计将于2024年第二季度出货，但售价还暂未公布。据美国金融机构Raymond James透露，H100芯片成本仅3320美元，但英伟达对其客户的批量价格仍然高达2.5万至4万美元。这导致H100利润率或高达1000%，成为了有史以来最赚钱的一种芯片。而H200市场表现也将不遑多让，毕竟在当前算力荒的行业背景下，一些科技企业必然会疯狂扫货，而性能加量后的H200的价格只会比H100高。
英伟达官网显示，NVIDIA H200将为40多台AI超级计算机提供支持。包括CoreWeave、亚马逊AWS、谷歌云、微软Azure、甲骨文云等公司将成为首批部署基于H200实例的云服务商。同时，华硕、戴尔科技、惠普、联想、Supermicro、纬创资通等系统集成商也会使用H200更新其现有系统。
您可能感兴趣
