现代化HPC简析

【ANDY】HPC->HPDA->HPC+AI/ML+LLM

Source: Jeff Whitaker, What is Modern HPC?, June 5, 2023

什么是现代化HPC？

现代化HPC是指传统HPC通过与AI/ML、高性能数据分析（HPDA）和其它新兴技术的融合，以及扩展到主数据中心之外的持续转型。

现代化HPC是我们对HPC的理念和实践方式的转变。就像我们从厨房座机电话过渡到今天的智能手机一样，当然，它仍然具备相同的主要功能，但现在它在物理上不受束缚，并与各种应用程序进行数字集成。

我们如何发展至此？

曾几何时（90年代之前），HPC仅限于学术界和研究领域。然而，从那时起，它已经涉足无数领域，并在其发展过程中带来了创新和变革。

以制造业为例。过去，创建新产品涉及无数的原型、广泛的试验和错误以及大量的时间和资源投资。但随着HPC的日益普及，虚拟原型设计和仿真已成为常态。复杂的设计可以虚拟地进行测试和优化，使工程师在制造出单个物理原型之前就能够微调他们的创意。。这不仅大幅降低了成本，还极大加快了上市时间，使制造商获得了前所未有的竞争优势。

但是，随着HPC变得越来越普遍，对业务运营越来越重要，是时候重新思考我们的方法了。它不能再是一个科学项目或后端处理活动。它必须变得不同：更可靠、更灵活、更简单。这正是我们谈论现代化HPC时的意思。

总而言之，现代化HPC是当今数据密集型和计算密集型工作流产生的三个重要发展的结果：

告别HPC的复杂性。在当今的市场中，HPC对于寻求获得竞争优势（甚至只是维持生计）的组织来说变得至关重要，这意味着可靠和简单的HPC解决方案现在比以往任何时候都更加重要。高性能数据存储和管理只为学术研究人员或专家保留的日子已经一去不复返了，在每个数据位置都部署专门的HPC存储专家是不可行的。

数据的移动。如今，高性能应用程序的数据正在不同位置存储和处理。组织正在利用云资源，并将计算能力推向生成数据的边缘，从而实现实时决策和更高的敏捷性。随着数据位置的不断扩展，数据可见性和移动性已成为优化HPC环境的关键组件。

AI进入了聊天场景。将AI/ML技术引入HPC工作负载带来了新的需求和挑战。组织越来越多地同时运行具有不同IO模式和文件大小的多个HPC和AI/ML应用程序，也称为“混合工作负载”。如果没有能够优化数据放置并跨各种应用程序类型提供高性能的存储解决方案，那么实现这些混合工作负载所需的数据访问很快就会成为一个问题。

HPC的演进使分析师、开发人员和研究人员能够使用以前遥不可及的高级算法和技术访问和分析来自各种来源的大量数据。现代化HPC正在彻底改变我们生产可再生能源、应对气候变化威胁和设计自动驾驶汽车的方式。

让我们回退一步，具体说明这个版本的HPC与过去的HPC有什么不同。

现代化HPC与传统HPC有何不同？

直到大约十年前，当有人说“HPC”时，您还知道他们谈论的是运行在大型超级计算机或由中央数据中心提供支持的集群HPC系统上的复杂建模和仿真应用程序。虽然这仍然是当今HPC的一个重要方面，但现代化HPC一直在迅速发展，以涵盖更多领域。

扩展数据位置

在传统的HPC中，数据通常存储在一组存储服务器上的单个位置。今天，我们将数据处理和存储扩展到核心数据中心之外，包括云和边缘。这种扩展使组织能够在更靠近数据源的位置执行HPC工作负载，从而实现更快的处理速度并减少数据传输延迟，并为它们提供更好的资源利用率和成本效益。

数据可见性和移动性

随着HPC的发展，人们越来越重视数据可见性和移动性。现代化HPC系统现在提供跨不同位置和平台的数据无缝访问。数据可见性可让您全面了解所有平台上的数据，因此您始终知道自己拥有什么以及在哪里拥有数据，而数据移动性有助于在核心数据中心、云环境和边缘设备之间轻松移动数据。

管理简化

过去，HPC系统需要专业专家来管理多个复杂的存储系统并优化应用程序性能，这涉及耗时的调优和重新调整以及长时间（且昂贵）的系统停机时间。即使在今天，复杂性和缺乏可靠性仍然是许多HPC系统的痛点，尤其是Lustre等开源并行文件系统。相比之下，现代化HPC解决方案优先考虑用户友好的界面、自动化功能和简化的工作流程，使非专家能够轻松管理和操作HPC基础设施。

打破数据孤岛

数据孤岛（信息和数据集被隔离在特定部门或研究小组内）是传统HPC中的常态。现代化HPC认识到协作的价值，并旨在打破这些价值。目标是促进团队之间的安全数据共享和集成，促进跨学科研究，发现隐藏的见解并推动创新。

混合工作负载

除了传统的建模和模拟应用程序外，现代化HPC还支持更广泛的工作负载。这包括HPDA、AI/ML和其它数据密集型任务。现代化HPC解决方案可以有效地处理各种工作负载，使用户能够在统一的环境中利用多种工具和技术。

现代化HPC的实际应用

医疗保健和生命科学

现代化HPC为高级医学图像分析、基因组学研究和药物发现提供支持。HPC系统可以使用AI快速分析医学图像，帮助医生以更高的准确性和速度诊断疾病。在基因组学研究中，HPC有助于处理和分析大型基因组数据集，帮助识别与疾病和潜在治疗方案相关的遗传模式。HPC驱动的模拟通过模拟不同化合物和靶标之间的相互作用来加速药物发现。

制造业

现代化HPC在优化制造业的设计、仿真和建模方面发挥着至关重要的作用。HPC系统可以利用AI来分析传感器数据并检测制造过程中的异常情况，从而实现预测性维护以防止设备故障。ML模型可用于优化设计、材料使用和生产流程，从而提高效率并降低成本。

金融服务

现代化HPC在金融领域用于风险分析、算法交易和欺诈检测。HPC系统利用AI/ML处理大型金融数据集，识别复杂模式并提供准确的风险评估。ML模型可以通过分析大量交易数据来检测欺诈活动，HPC使算法交易平台能够处理实时市场数据并基于复杂的ML驱动策略执行高频交易。

能源行业

现代化HPC用于能源领域的石油和天然气勘探、可再生能源优化和电网管理。组织使用人工智能处理大量地震数据，准确高效地识别地质异常，从而简化勘探过程，降低成本，提高发现宝贵储量的成功率。此外，HPC通过分析天气模式和改善电网管理来帮助优化可再生能源资源，以实现更有效的可再生能源分配。

学术研究

现代化HPC在物理学、天文学、农业、材料科学等跨学科研究中发挥着关键作用。研究人员利用HPC系统模拟复杂现象并分析海量数据集。