Oracle云基础设施提供新的NVIDIAGPU加速计算实例

原创 英伟达NVIDIA中国 2023-09-25 20:31

生成式 AI 和大语言模型(LLM)不断推动突破性创新,训练和推理对算力的需求也随之急剧上升。

这些现代生成式 AI 应用需要全栈加速计算,首先要有能够快速、准确处理大量工作负载的先进基础设施。为了帮助满足这一需求,Oracle 云基础设施(OCI)于近日宣布,在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU,同时 NVIDIA L40S GPU 也即将在 OCI Compute 上推出。


OCI 上的 NVIDIA 

H100 Tensor Core GPU 实例


OCI Compute 裸机实例配备了具有 NVIDIA Hopper 架构的 NVIDIA H100 GPU,不仅大幅提升了大规模 AI 和高性能计算的性能,也为各种工作负载提供了前所未有的性能、可扩展性和通用性。

相比于 NVIDIA A100 Tensor Core GPU,使用 NVIDIA H100 GPU 的企业可提升 30 倍的 AI 推理性能和 4 倍的 AI 训练性能。H100 GPU 专为资源密集型计算任务构建,包括训练 LLM 和在运行 LLM 的同时进行推理等。


BM.GPU.H100.8 OCI Compute 机型配置(Shape)包含 8 颗 NVIDIA H100 GPU,每颗都具有 80GB 的 HBM2 GPU 内存。8 颗 GPU 之间的 3.2TB/s 双向带宽使每颗 GPU 都能通过 NVIDIA NVSwitchNVLink 4.0 技术与其他 7 颗 GPU 直接通信。该配置还包含 16 块容量为 3.84TB 的本地 NVMe 硬盘、112 个内核的第四代英特尔至强 CPU 处理器以及 2TB 系统内存。


简而言之,该机型配置针对企业最具挑战性的工作负载进行了优化。


根据工作负载的时间线和规模,OCI Supercluster 使企业能够通过高性能、超低延迟的网络,将所使用的 NVIDIA H100 GPU 从单个节点扩展到多达数万颗 H100 GPU。


OCI 上的 NVIDIA L40S GPU 实例


NVIDIA L40S GPU 基于 NVIDIA Ada Lovelace 架构构建而成,是一款数据中心的通用 GPU,可以为 LLM 推理和训练、视觉计算以及视频应用提供惊人的多负载加速。搭载 NVIDIA L40S GPU 的 OCI Compute 裸机实将于今年晚些时候推出抢先体验版本,并于 2024 年初全面上市。

这些实例将作为 NVIDIA H100 和 A100 GPU 实例的替代方案,用于处理中小型 AI 工作负载以及图形和视频计算任务。相比于 NVIDIA A100,NVIDIA L40S GPU 可将生成式 AI 工作负载的性能提升 20%,将微调 AI 模型方面的性能提升 70%。

BM.GPU.L40S.4 OCI Compute 机型配置包含 4 颗 NVIDIA L40S GPU,以及多达 112 个核的最新一代英特尔至强 CPU、1TB 系统内存、15.36TB 用于缓存数据的低延迟 NVMe 本地存储和 400GB/s 集群网络带宽。创建该实例的目的是应对从 LLM 训练、微调和推理一直到 NVIDIA Omniverse 工作负载以及工业数字化、3D 图形和渲染、视频转码和 FP32 HPC 等各种用例。

NVIDIA 与 OCI:企业级 AI


OCI 与 NVIDIA 的协作,将为各种规模的企业带来最先进的 NVIDIA H100 和 L40S GPU 加速基础设施,助力企业加入到这场生成式 AI 革命。
仅访问 NVIDIA GPU 加速实例可能还不够。若要在 OCI Compute 上释放 NVIDIA GPU 的最大潜能,就必须拥有一个最好的软件层。NVIDIA AI Enterprise 通过专为底层 NVIDIA GPU 基础设施优化的开源容器和框架,简化了企业级加速 AI 软件的开发和部署,所有这一切都离不开支持服务的帮助。

如要了解更多信息,欢迎访问有关 Oracle 云基础设施(OCI)OCI ComputeOracle 如何迈向 AI 以及 NVIDIA AI Platform 网页。

Oracle 云基础设施(OCI):https://www.oracle.com/cloud/

OCI Compute:https://www.oracle.com/cloud/compute/

Oracle 如何迈向 AI:https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform:https://www.nvidia.cn/ai-data-science/









GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击 “阅读原文” 扫描下方海报二维码,关注更多会议及活动信息。


评论
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 73浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 57浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 51浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 77浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 67浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 63浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 92浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 70浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 60浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 34浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦