NVIDIA发布最新Orin芯片提升边缘AI标杆

在首次参加行业 MLPerf 基准测试时，基于 NVIDIA Ampere 架构的低功耗系统级芯片 NVIDIA Orin 就创造了新的AI推理性能纪录，并在边缘提升每个加速器的性能。

在此次第五轮生产级AI行业基准测试中，NVIDIA 及其合作伙伴继续在所有机器学习的工作负载和场景中展现出了高性能和广泛的生态系统。

在边缘AI领域，NVIDIA Orin 预生产版本在六项性能测试中的五项处于领先地位，其运行速度比上一代 Jetson AGX Xavier 快了 5 倍，能效平均提高了 2 倍。

NVIDIA Orin 现已加入到用于机器人和自动化系统的 NVIDIA Jetson AGX Orin 开发者套件。包括亚马逊网络服务、约翰迪尔、小松、美敦力和微软 Azure 在内的 6000 多家客户使用 NVIDIA Jetson 平台进行AI推理或其他任务。

这款系统级芯片也是 NVIDIA Hyperion 自动驾驶汽车平台的关键组成部分。中国最大的电动汽车制造商比亚迪近期宣布，他们将在其新一代自动驾驶电动汽车中使用内置 Orin的DRIVE Hyperion 架构。

Orin 同样也是 NVIDIA Clara Holoscan 医疗设备平台的关键组成部分，且该平台可供系统制造商和研究人员用来开发新一代 AI 仪器。

小模块合体成为大堆栈

包括 Jetson AGX Orin 在内的 NVIDIA GPU 是唯一能够运行所有六项 MLPerf 基准测试的边缘加速器。

凭借 JetPack SDK，Orin 可以运行整个 NVIDIA AI 平台，这个软件堆栈已经在数据中心和云端得到了验证，并且获得了 NVIDIA Jetson 平台 100 万名开发者的支持。

在最新一轮 MLPerf 推理测试中，NVIDIA 及合作伙伴继续在所有测试和场景中展现出领先的性能。

MLPerf 基准得到了亚马逊、ARM 、百度、戴尔科技、Facebook 、谷歌、哈佛大学、英特尔、联想、微软、斯坦福大学和多伦多大学等机构的广泛支持。

更多的合作伙伴与结果提交数量

NVIDIA AI 平台再次吸引了来自最广泛合作伙伴生态系统的最多 MLPerf 提交。

Azure 在 12 月份的 MLPerf 训练测试中表现出色，在本轮 AI 推理测试中也取得了优异的成绩，这两场测试都使用了 NVIDIA A100 Tensor CoreGPU。Azure 的 ND96amsr_A100_v4 实例在几乎所有推理测试中都与我们提交的性能最高的 8 个 GPU 相媲美，展现了公共云随时可以提供的能力。

系统制造商华硕和新华三在本轮测试中首次使用 NVIDIA AI 平台提交 MLPerf 结果。他们加入了戴尔科技、富士通、技嘉、浪潮、联想、宁畅和美超微等已经提交了二十多个 NVIDIA 认证系统结果的系统制造商的行列。

MLPerf 的重要性

我们的合作伙伴深知 MLPerf 是一个客户用来评估 AI 平台和供应商的宝贵工具，因此纷纷参与这项测试。

MLPerf 的各项测试涵盖了当下最流行的 AI 工作负载和场景，用户可以依据该基准了解 AI 平台在各类工作中的预期性能。

凭借软件大放异彩

我们在测试中使用的所有软件都可以从 MLPerf 软件库中获得。

我们的推理结果来自两个关键组件——用于优化 AI 模型的 NVIDIA TensorRT 和用于高效部署模型的 NVIDIA Triton 推理服务器。您可以在我们的 GPU 优化软件目录 NGC 上免费获得它们。

全球各地的企业机构正在采用 Triton，包括 Amazon 和微软等云服务提供商。

我们不断将优化成果加入到 NGC 上的容器中，让每一位用户都能使用具有领先性能的 AI 进行生产。