速度更快、可扩展性更强的互连已成为当前的迫切需求

AI 和高性能计算 (HPC)(包括新兴的万亿参数模型)领域的计算需求不断增长,在这一趋势的推动下,对于能够在每个 GPU 之间实现无缝高速通信的多节点、多 GPU 系统的需求也在与日俱增。要打造功能强大且能够满足业务速度需求的端到端计算平台,可扩展的快速互连必不可少。

支持 NVLink GPU 之间连接的 NVIDIA H100
支持 NVLink GPU 之间连接的 NVIDIA H100

NVLink 性能

NVLink 性能

将 GPU 与 NVIDIA NVSwitch 完全连接

第三代 NVIDIA NVSwitch 基于 NVLink 的高级通信能力构建,可为计算密集型工作负载提供更高带宽和更低延迟。为了支持高速集合运算,每个 NVSwitch 都有 64 个 NVLink 端口,并配有 NVIDIA SHARP 引擎,可用于网络内归约和组播加速。

将 GPU 与 NVIDIA NVSwitch 完全连接
NVLink 与 NVSwitch 如何协同工作

NVLink 与 NVSwitch 如何协同工作

NVLink 是一种 GPU 之间的直接互连,可扩展服务器内的多 GPU 输入/输出 (IO)。NVSwitch 可连接多个 NVLink,在单节点内和节点间实现以 NVLink 能够达到的最高速度进行多对多 GPU 通信。

NVLink 和 NVSwitch 的结合使 NVIDIA 成功达到了 AI 领域的首个行业基准 MLPerf 1.1。

纵向扩展以训练万亿参数模型

借助 NVSwitch,NVLink 连接可在节点间扩展,以创建无缝、高带宽的多节点 GPU 集群,从而有效地形成数据中心大小的 GPU。通过在服务器外部添加第二层 NVSwitch,NVLink 网络可以连接多达 256 个 GPU,并提供 57.6 TB/s 的惊人多对多带宽,从而快速完成大型 AI 作业。

纵向扩展以训练万亿参数模型
NVIDIA NVLink Switch

NVIDIA NVLink Switch

该 NVIDIA NVLink 交换机配备 128 个 NVLink 端口,无阻塞交换能力为每秒 25.6 太比特 (Tb/s)。机架交换机可为 NVIDIA DGX 和 NVIDIA HGX 系统提供高带宽和低延迟,支持第四代外部 NVLink 连接。

从企业级计算扩展至百亿亿次级 (Exascale) 计算

通过完全连接实现非凡性能

NVSwitch 是首款节点交换架构,可在单个服务器节点中支持 8 到 16 个全互联的 GPU。第三代 NVSwitch 能以惊人的 900GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。这些 GPU 可用作单个高性能加速器,拥有高达 15 petaFLOPS 的深度学习计算性能。

功能强大的 AI 和 HPC 平台

NVLink 和 NVSwitch 是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案包含来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC 目录的硬件、网络、软件、库以及优化的 AI 模型和应用程序。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。

规格

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • 服务器之间的 NVLink与 NVSwitch

    服务器之间的 NVLink与 NVSwitch

  第二代 第三代 第四代
NVLink 总带宽 300GB/s 600GB/s 900GB/s
每个 GPU 最大链路数 6 12 18
NVIDIA 架构支持 NVIDIA Volta 架构 NVIDIA Ampere 架构 NVIDIA Hopper 架构
  第一代 第二代 第三代
直连或节点中 GPU 数量 最多 8 个 最多 8 个 最多 8 个
NVSwitch GPU 之间带宽 300GB/s 600GB/s 900GB/s
聚合总带宽 2.4TB/s 4.8TB/s 7.2TB/s
NVIDIA 架构支持 NVIDIA Volta 架构 NVIDIA Ampere 架构 NVIDIA Hopper 架构
  服务器之间的 NVLink与 NVSwitch
直连 GPU 数量 多达 256 个
NVSwitch GPU 之间带宽 900GB/s
聚合总带宽 57.6TB/s
网络内归约 NVSwitch 中的 SHARP 归约
关键软件支持 CUDA®, CUDA-X, Magnum IO
NVIDIA 架构支持 NVIDIA Hopper 架构

深入探索 NVIDIA Hopper 架构