各存储厂商支持GPUDirect的情况

Source: Chris Mellor, Storage system speed serving data to Nvidia GPUs, July 31, 2023

随着Dell的PowerScale分布式文件存储被纳入该公司本周的生成式人工智能（AI）发布会，我们研究了它以及其它存储系统在使用Nvidia的GPUDirect协议时，将数据传输到和从Nvidia的GPU之间的比较情况。

GPUDirect Storage (GDS)是一种NVMe和CPU绕行协议，可使存储系统以尽可能快的速度将数据发送到SuperPod和其它Nvidia GPU服务器。对于读取操作，传统存储系统通过服务器的CPU将数据从其存储资源（DAS、SAN和NAS）复制到内存缓冲区，然后将其写出到网络接口设备进行进一步传输。数据在存储和内存缓冲区之间来回跳动，然后再传送到目的地。传入数据（写入）按相反的路线进行。GDS 消除了此缓冲区阶段，直接将数据从存储发送到目标GPU系统的内存中。

Dell、DDN、IBM、NetApp（包括ONTAP和E-Series BeeGFS）、Pure Storage、VAST Data和WekaIO都支持这一协议。Pure表示：“Pure Storage的FlashBlade硬件组合已经准备好支持GPU Direct Storage（GDS），通过软件增强，完整的GDS支持将在不久后提供，进一步加强Pure与NVIDIA的合作，增强AIRI//S解决方案。”

GPUDirect不是将数据发送到NVIDIA GPU和存储系统之间的唯一方法，但据认为它是最快的方法。

Dell昨天宣布了与Nvidia合作的生成式AI验证设计，包括计算、存储和网络。其中包括PowerScale、ECS和ObjectScale存储产品，以及Dell的PowerEdge服务器提供计算。

PowerScale 是分布式文件存储，即重新命名的Isilon，而ECS是对象存储，ObjectScale则是基于ECS的容器化对象存储。这两者都没有公开的GPUDirect带宽数据。PowerScale F600在2021年被指出是与GPUDirect兼容的；“PowerScale OneFS 与 NFSoRDMA 完全兼容并受 NVIDIA GDS（GPUDirect 存储）支持。”但ECS和ObjectScale系统没有公开的GPUDirect带宽数据。

我们整理了所有公开的顺序读写存储节点带宽数据，这些数据是为了在使用GPUDirect将数据传输到和从Nvidia GPU服务器时，Dell、DDN、IBM、NetApp、Pure和VAST Data系统之间的比较情况。

我们尝试找到WekaIO的数据，确实找到了其分布式和并行文件系统的113.1GB/s顺序读取带宽结果。但这是从使用Weka的文件系统的一组服务器中得出的综合结果。这组服务器的数量没有透露，也没有透露它们的物理大小，因此我们无法获得每个节点的带宽数据。我们也找不到任何写入带宽数据，因此我们下面的结果表格也没有包含Weka的数据。它也没有Pure FlashArray//C读取带宽数据，因为我们找不到这样的数据。

总的来说，每个节点的顺序读取带宽结果显示DDN排名第一，VAST排名第二，IBM ESS3200排名第三，NetApp E系列排名第四，ONTAP排名第五，Dell排名最后。

而写入带宽结果则不同：DDN排名第一，IBM排名第二，NetApp E系列排名第三，VAST排名第四，Pure排名第五，NetApp ONTAP排名第六，Dell排名第七。

值得指出的是，VAST存储节点需要与计算节点配合使用，表格底部的节点大小行仅适用于VAST Ceres存储节点。

我们的实际数据如下：

PowerScale的数据是根据48个节点GPUDirect系统的公开Dell PowerScale F600 GiBps数据得出的。我们从中计算出每个节点的数据。