数据密集型工作负载的存储基础架构

Source: Sulagna Saha, Building a Storage Infrastructure for Data-Intensive Workloads with DDN, June 28, 2022

按：本文是一篇厂商的软文，了解一下它们的解题思路。

人工智能是IT的下一个重要方向，每个组织都需要开始使用它。但是，随着组织为AI工作负载做准备，他们开始意识到当前的技术环境，尤其是存储系统，不足以支持其级别的数据密集型应用程序。在五月份的AI现场日活动中，DDN展示了A³I，这是它们自己的品牌EXAScaler FS for AI，除了超越传统存储的性能容量外，还具有高性能工作负载所需的所有优化。

传统存储不适合 AI

在开始使用AI时，组织经常忘记仔细检查它们现有的IT基础架构，主要是因为它们沉浸在计算方面的准备中。存储通常是其中最容易被忽视的部分。对于数据如此重要的 AI 工作负载，而且数据量巨大，在最基本的情况下，需要能够满足大量存储需求的强大存储系统。

包含摄取、准备、训练和推理四个阶段的 AI 管道具有不同的存储需求，这些需求在摄取时达到峰值，然后在推理中再次达到峰值。在摄取时，消耗了大量的非结构化数据，如果没有底层存储系统来支持它，人工智能项目注定要失败。此外，对于 AI 工作负载，读取和写入都必须高速进行，而传统存储系统通常提供其中之一。AI生命周期是迭代的，运行它时，存储需要始终保持活动状态。因此，最好在存储基础架构上运行AI项目，这些基础架构比传统存储更灵活，并且在性能，可扩展性和灵活性这三个方面都很高。

DDN 展示了一个专为支持数据密集型工作流而构建的存储系统

DDN具有专门构建的存储系统，旨在满足所有这些AI需求。为了在 AI 管道的每个阶段无缝支持不同的存储需求，DDN 使用 EXAScaler 文件系统构建了 A³I  。从本质上讲，EXAScaler FS是一个高性能，可扩展的并行文件系统，非常适合AI工作负载。为了确保AI工作负载不会在生产中遇到传统存储中相当常见的瓶颈，DDN选择这个功能强大的文件系统作为其存储解决方案的基础。

DDN 通过精选功能增强 了 EXAScaler ，这些功能都有助于确保工作负载无论要求多么苛刻，都能享受始终如一的快速处理和高吞吐量。在其他看似强大的存储解决方案无法立即释放全部性能的情况下，DDN A³I可以为应用程序提供所有功能，使它们能够以更快的速度工作。

 针对 AI 优化的存储

在最近在硅谷举行的AI现场日活动中，DDN展示了AI存储解决方案A³I。演讲由产品高级副总裁James Coomer首先对围绕大规模采用AI的存储所面临的挑战进行了高层次的介绍。在演讲的其余部分，他谈到了A³I，深入研究了其架构，并解释了DDN如何针对AI优化底层的EXAScaler。

在A³I架构中，DDN 不是通过一个、两个文件系统来为其提供动力。EXAScaler FS V6位于DDN三年前从英特尔收购的第二个文件系统Lustre之上。Lustre 也是一个并行文件系统，在以更低的成本支持高摄取性能和并行性方面，Lustre 已经享有与众不同的声誉。利用这两个文件系统，A³I 是一类新型 Tier1 存储，可提供 100% 的粒度并行性，同时降低运营成本和功耗。

A³I平台针对AI进行了优化，可以无限扩展且经济高效。用户可以从 EXAScaler 设备中进行选择来配置其平台，其中包括 NVMe 全闪存和 SAS 插槽。它易于部署和管理，可在所有大型云平台上使用，包括AWS，Azure和Google Cloud。Multi-Rail 通过自动检测和简单管理多个网络接口，使部署更简单，网络也更轻松，所有这些都在一个网络上。

使用 EXAScaler 智能客户端，A³I 提供智能监控，用户可以全面了解数据路径和工作负载，并及时了解本机工作负载分析器。A³I的安全框架使专业人员和团队之间能够轻松安全地共享文件。由于其广泛的功能，可以访问和授权可以精细地进行管理和控制，以防止未经授权的访问。

在一个名为NVIDIA Selene的案例研究中，NVIDIA采用DDN的A³I为几台AI超级计算机供电，结果证实了DDN对A³I的性能主张。部署导致性能急剧上升，从而实现更快的迭代。这里的一个区别是，EXAScaler 6可以通过平衡每个服务器的I/O功率来消除存储架构中的热点。更多的功能集和简化正在进行中。

DDN A³I 的最大优势之一是，对于它提供的所有计算和容量，它是一个令人惊讶的简单存储系统，完全避开了通常困扰运营商的后端复杂性。A³I 具有端到端并行性、简单且无限的可扩展性以及高水平的性能，是一种与众不同的数据解决方案，在先进行业中都有应用。可以肯定地说，它有可能成为企业实现卓越人工智能的秘诀。