Oracle 云基础设施提供新的 NVIDIA GPU 加速计算实例

生成式 AI 和大语言模型（LLM）不断推动突破性创新，训练和推理对算力的需求也随之急剧上升。

这些现代生成式 AI 应用需要全栈加速计算，首先要有能够快速、准确处理大量工作负载的先进基础设施。为了帮助满足这一需求，Oracle 云基础设施（OCI）于近日宣布，在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU，同时 NVIDIA L40S GPU 也即将在 OCI Compute 上推出。

OCI 上的 NVIDIA

H100 Tensor Core GPU 实例

OCI Compute 裸机实例配备了具有NVIDIA Hopper架构的 NVIDIA H100 GPU，不仅大幅提升了大规模 AI 和高性能计算的性能，也为各种工作负载提供了前所未有的性能、可扩展性和通用性。

相比于NVIDIA A100 Tensor Core GPU，使用 NVIDIA H100 GPU 的企业可提升 30 倍的 AI 推理性能和 4 倍的 AI 训练性能。H100 GPU 专为资源密集型计算任务构建，包括训练 LLM 和在运行 LLM 的同时进行推理等。

BM.GPU.H100.8 OCI Compute 机型配置（Shape）包含 8 颗 NVIDIA H100 GPU，每颗都具有 80GB 的 HBM2 GPU 内存。8 颗 GPU 之间的 3.2TB/s 双向带宽使每颗 GPU 都能通过 NVIDIA NVSwitch 和 NVLink 4.0 技术与其他 7 颗 GPU 直接通信。该配置还包含 16 块容量为 3.84TB 的本地 NVMe 硬盘、112 个内核的第四代英特尔至强 CPU 处理器以及 2TB 系统内存。

简而言之，该机型配置针对企业最具挑战性的工作负载进行了优化。

根据工作负载的时间线和规模，OCI Supercluster 使企业能够通过高性能、超低延迟的网络，将所使用的 NVIDIA H100 GPU 从单个节点扩展到多达数万颗 H100 GPU。

OCI 上的 NVIDIA L40S GPU 实例

NVIDIA L40S GPU 基于 NVIDIA Ada Lovelace 架构构建而成，是一款数据中心的通用 GPU，可以为 LLM 推理和训练、视觉计算以及视频应用提供惊人的多负载加速。搭载 NVIDIA L40S GPU 的 OCI Compute 裸机实例将于今年晚些时候推出抢先体验版本，并于 2024 年初全面上市。 这些实例将作为 NVIDIA H100 和 A100 GPU 实例的替代方案，用于处理中小型 AI 工作负载以及图形和视频计算任务。相比于 NVIDIA A100，NVIDIA L40S GPU 可将生成式 AI 工作负载的性能提升 20%，将微调 AI 模型方面的性能提升 70%。 BM.GPU.L40S.4 OCI Compute 机型配置包含 4 颗 NVIDIA L40S GPU，以及多达 112 个核的最新一代英特尔至强 CPU、1TB 系统内存、15.36TB 用于缓存数据的低延迟 NVMe 本地存储和 400GB/s 集群网络带宽。创建该实例的目的是应对从 LLM 训练、微调和推理一直到 NVIDIA Omniverse 工作负载以及工业数字化、3D 图形和渲染、视频转码和 FP32 HPC 等各种用例。

NVIDIA 与 OCI：企业级 AI

OCI 与 NVIDIA 的协作，将为各种规模的企业带来最先进的 NVIDIA H100 和 L40S GPU 加速基础设施，助力企业加入到这场生成式 AI 革命。仅访问 NVIDIA GPU 加速实例可能还不够。若要在 OCI Compute 上释放 NVIDIA GPU 的最大潜能，就必须拥有一个最好的软件层。NVIDIA AI Enterprise 通过专为底层 NVIDIA GPU 基础设施优化的开源容器和框架，简化了企业级加速 AI 软件的开发和部署，所有这一切都离不开支持服务的帮助。

如要了解更多信息，欢迎访问有关 Oracle 云基础设施（OCI）、OCI Compute、Oracle 如何迈向 AI 以及 NVIDIA AI Platform 网页。

Oracle 云基础设施（OCI）：https://www.oracle.com/cloud/

OCI Compute：https://www.oracle.com/cloud/compute/

Oracle 如何迈向 AI：https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform：https://www.nvidia.cn/ai-data-science/

GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击“阅读原文”或扫描下方海报二维码，关注更多会议及活动信息。