边缘HPC存储：高性能计算的演进

Source: Jeff Whitaker, Why HPC Storage at the Edge Is a More Viable Option, June 23, 2023

边缘计算正在快速增长。据德勤预测，2023年企业边缘计算市场将增长22％，而企业网络设备支出增长4％，整体企业IT支出增长6％。考虑到边缘数据中心可以提高新兴、带宽密集的业务应用的生产力，加快实时决策速度并降低IT成本，这种增长并不令人意外。

然而，边缘IT部署，尤其是高性能计算和数据存储，提出了特殊的要求必须予以考虑。

边缘增长的关键因素是“物理学”；数据引力的概念一直是数据移动的最大限制因素。在高性能计算（HPC）中，海量数据是常态，这是一个特别重要的挑战。数据集越大，管理就越棘手。因此，在边缘进行数据的处理、移动和存储成为一种极具价值的选择。

在更靠近数据源的地方执行 HPC 工作负载具有明显的好处：处理速度更快，数据传输的延迟减少，成本效益和资源利用率得到改善。例如，对AI数据集进行预过滤意味着只有结果从一个位置传输到下一个位置，从而大大减小了数据传输量。基因组学实验室可以利用HPC边缘基础设施进行内部分析，并在现场存储结果。存储介质和软件的进步使得HPC边缘部署成为存储和管理现代应用中涉及的巨大数据量的可行方案，例如精准医学、制造模拟、基因组学和冷冻电子显微镜研究。

这些新的应用和边缘位置定义了现代高性能计算（HPC）。传统上，HPC指的是在大型超级计算机或集群HPC系统中运行的研究和学术领域中的复杂建模和仿真应用，位于中央数据中心。如今，现代HPC还包括人工智能（AI）、机器学习（ML）、高性能数据分析（HPDA）和其他新兴技术，以及从主要数据中心扩展到云端和边缘。

为了确保您的边缘HPC应用能够成功优化，以下是七个特征，供您在边缘HPC存储方面优先考虑：

• 可管理性：在每个数据位置都有一个专门的HPC存储专家驻扎是不切实际的。因此，请确保选择一个易于使用且不需要专门的专家来管理的HPC系统。解决方案应具有集中管理功能，并能够无缝适应多个工作负载以优化性能。

• 可靠性：完全自动化的在线故障恢复系统和网络分布式纠删码是确保数据始终可用的关键。您的业务不能容忍数据丢失或停机时间。

• 安全性：在过去，HPC与企业局域网和互联网是分开的，这意味着安全性并不是优先考虑的问题。如今，情况大不相同，富含数据的HPC环境已完全集成到企业系统中，对网络犯罪分子非常有吸引力。边缘部署进一步扩大了攻击面。采取多层次的方法确保整个基础设施的网络安全，并进行定期测试。

• 经济性：在考虑边缘存储解决方案的预算时，请确保考虑到总拥有成本（TCO）。产品的低价格可能导致昂贵的停机时间，或需要由昂贵的专家团队进行管理。

• 可移动性：与您的HPC提供商沟通，确保您的基础设施能够方便地在核心数据中心、云环境和边缘设备之间移动数据。

• 可扩展性：找到一个能够随着数据集的不断增长而无限扩展的系统。如今，HPC数据解决方案需要在性能和容量方面进行扩展，以满足组织业务的发展、研究的扩展或团队的增长。

• 可见性：优先考虑数据可见性功能，提供对所有平台和位置的数据的整体视图，以便您始终知道您拥有什么数据、在哪里拥有它，以及如何和何时进行更改。

直到大约十年前，当听到“HPC”一词时，立刻会想到研究和学术环境中由集中式数据中心提供支持的复杂模拟或建模应用。这在今天仍然存在，但与此同时，您可能会想象到一个制造公司创建虚拟原型，或者一个基因组学实验室进行测序和数据分析。将HPC存储和工作负载带到边缘将进一步扩大这些可能性。