面向AI的分布式数据整合

Source: Sulagna Saha, Consolidating Distributed Data with IBM's Global Data Platform for AI, March 30, 2023

近年来，AI/ML首次进入了主流技术领域。一开始只有一些公司开始尝试应用AI/ML技术，而这些公司必须使用任何可用的资源来设计和推出自己的落地方案。随着AI/ML技术的更广泛应用，围绕其的市场开始增长。与此同时，越来越多的公司开始利用现有的AI/ML工具和平台，以便更快速地实现其商业目标。

Gartner预测，2023年，AI/ML将成为推动基础设施决策的首要工作负载之一。其核心是不断增长的存储需求，这仍然是阻止AI/ML普及的主要障碍。

在最近的存储现场日活动中，IBM做了一个演讲，概述了减缓AI导入的存储挑战。人工智能、大数据存储全球销售总监Dough McGuire介绍了IBM数据和AI存储产品组合中增长最快的部分StorageScale，并介绍了客户成功案例，解释了它如何使海量非结构化数据的处理变得经济高效且简单，并为公司的成功做好准备。

导入AI的障碍

2023年的数据状态与以前大不相同。在过去十年中，全球创建、捕获、复制和使用的数据量增加了两倍和四倍。这既有好的一面，也有坏的一面。一方面，数据增长的复合年增长率（CAGR）为企业提供了利用锁定在其中的大量信息的机会。但是，紧随其后的是存储和处理所有这些数据的困境。

创建和收集的数据中有80%到90%是非结构化的，公司导入单点解决方案来处理这些数据。这只会加深基础设施的鸿沟，造成无数的数据和技术孤岛。访问和管理这些孤岛以及溢出的数据量，是95%的公司面临的最大困难。

随着AI/ML进入场景，企业获得了一种优雅的方式来从数据中挖掘价值。但是，在企业基础架构上部署AI/ML工作负载的努力遇到了传统存储系统的缺点，这些存储系统无法满足其极高的性能和扩展需求。

全局数据结构

组织从数据中获取最大价值并征服AI/ML崛起的能力取决于直接应对数据挑战。为了避免在人工智能竞赛中落后，公司必须使用一种架构，该架构首先充当大规模工作负载的高速公路，但同时为大多数企业拥有的通用工作负载提供强大的支持。这就是存储规模提供的一切。

IBM的存储缩放系统是一个软件定义的对象和文件数据存储系统，旨在随时支持AI/ML工作负载的性能和扩展需求。但存储规模不仅仅是一种高性能的企业级存储。它为AI部署了一个全局数据结构，通过消除数据孤岛和管理难题来促进地理分布式协作，最重要的是，它支持使用跨企业的通用数据平面轻松访问数据。

应用案例

McGuire先生提到了一系列客户成功案例，同时解释了存储规模产品的主要优势。他告知，IBM的全局数据平台吸引了大量研究公司和银行组织，这些公司和银行组织在监管合规性和网络韧性方面具有很高的标准。

全局数据平台通过使这些客户能够建立两个可以在他们之间共享数据的生产站点来为这些客户提供服务。由于缓存服务介于两者之间，该平台维护了数据的单一事实来源，消除了孤岛，并通过不必将PB级数据移动到存储成本通常过高的公有云来节省公司的最高资金。

通过跨公有云、私有云和边缘透明地共享数据和工作负载，全局数据平台显著缩小了云存储占用空间。站点之间的缓存服务可确保没有过时的数据副本。

对于在分散的地址中处理数据的企业，全局数据平台为应用程序提供了一种访问和使用它们的方法，无论存储位于何处或使用什么接口。该平台允许从任何存储系统快速、一致地访问单个数据副本，从而减少了在不同位置制作和保留多个副本的需要。

全局数据平面提供高可用性环境，组织可以在其中为AI/ML用例创建高性能层并运行并发工作负载。

该平台的核心是组织，尤其是监管行业所要求的网络韧性。凭借基于NIST框架的广泛安全和勒索病毒功能，该平台可识别、保护、检测、响应和恢复，从而主动保护数据免受各种威胁。

总结

IBM的全局数据平台提供了两个关键因素——性能和访问——这对于导入AI/ML和利用数据价值至关重要。它提供了一个敏捷、安全和可用的环境，数据可以在其中自由移动，而不受孤岛的限制。通用数据平面可确保从各种接口和位置快速、不间断地访问相同的数据。它的高性能对于优化工作负载至关重要，并使人工智能的更广泛导入和成熟成为可能。