Source: Jessica Casey, The importance of storage infrastructure in energy workloads, 05 April 2023从进行深度的地震分析到开发可持续的生物燃料，现代能源的进步都由数据所驱动。对于石油和天然气以及可再生能源领域的组织来说，对于数据量、移动和安全性的担忧持续升级。这些能源公司必须能够根据推动其突破性发现的独特工作负载特征来存储和管理数据。因此，他们需要一个稳定、易于管理且值得信赖的高性能数据存储。糟糕的数据存储和数据管理会影响任何行业的业务成功。然而，由于能源公司依赖于如此多的高性能计算（HPC）和人工智能以及机器学习（AI/ML）应用程序，他们尤其无法承受不适当的存储基础设施。以下是能源公司面临的五大数据挑战，从性能瓶颈到与存储浪费相关的高成本，以及关于正确的基础设施选择如何提供帮助的建议。公司在勘探阶段收集和处理的大量数据对于确定挖掘、钻探、建造或存储的最佳位置至关重要。建模和模拟依靠这些数据来提取和优化有价值的信息。但是，使用错误的存储解决方案，数据处理和模拟运行时可能会形成瓶颈，从而大大减慢获得结果的时间并延迟业务计划。为了快速从这些海量数据中获取洞察，适当的存储基础设施是关键。适应不断变化的工作负载的解决方案将显著提高效率，自动调优功能可缩短运行时间并加速数据收集和分析。现在有解决方案可用于优化AI/ML工作负载的分析，这将最大限度地提高存储介质的效率和性能，节省业务资金并加快上市时间。孤立的数据可能导致数据集不完整和流程效率低下，并影响组织满足严格的合规性要求（如GDPR）的能力，这些要求因地区而异。将数据存储在孤岛中会阻止公司采取整体方法来管理其环境。这最终会降低数据可见性，阻止轻松访问，并违反团队协作的直观性。相反，请考虑使用整合的存储基础设施，以便更轻松地在团队之间管理和共享数据。实现此目的的最有效方法之一是使用单层横向扩展体系结构，该体系结构自动将数据放置在最有效的底层存储介质上。对您的存储环境采取整合的做法可促进控制、协作和更快的上市时间。据报道，非结构化数据占企业数据的80%，包括机器生成的数据，并且以每年55-65%的速度增长。这些海量数据很容易失控。公司需要知道他们拥有哪些数据，数据在哪里，以及存储这些数据的成本是多少。需要适当的工具来降低存储浪费成本，并使企业团队能够轻松查找和访问其数据。为了使数据可见、可操作且经济，对数据环境具有精细和分析可见性至关重要。了解数据驻留位置可确保有效存储数据。此外，它还可帮助企业做出明智的存储决策，并确保陈旧、未使用的数据不会占用活动应用程序所需的宝贵高性能存储。一旦收集和处理了数据，它通常会被移动到核心数据中心，转移到客户，或者在本地和异地站点之间转移，有时跨越很远的地理距离。云是另一个必须考虑的组件，因为它是许多业务应用程序的可行选择，但肯定不是全部。这可能涉及数据的移动，特别是在开发和将生产数据移动到不同的云源或利用云作为备份和归档数据的存储库时。这个过程可能很复杂，而且需要时间和资源。数据引力的概念在这里发挥作用。数据具有“质量”的想法突出了一个关键点，即将单个文件或单个兆字节从A移动到B与传输TB或PB非常不同。高性能工作负载（如能源行业）的数据处理量级要求物理基础设施和能源水平超过大多数标准存储解决方案。在考虑高性能能源工作负载的数据存储基础设施时，考虑在不同位置之间轻松可靠地复制、同步和移动大型输出文件的能力至关重要。高性能和安全的数据移动功能将减少数据移动时间和复杂性，从而提高公司的敏捷性。随着勒索病毒和网络攻击变得越来越频繁和复杂，高性能存储系统的安全性和可靠性至关重要。发生存储故障时的典型恢复时间从一天到一整周不等，根据组织的不同，一天的停机时间可能会使组织损失超过100万美元的收入。由于存储系统可以被数千个节点同时请求数据，因此能源组织必须确保其数据（无论是小型文件还是大型文件，最高可达PB级）都是准确且随时可用的。存储基础设施应包含可扩展的备份选项，以及准确的数据标记和归档，以实现快速、可靠的访问。强大的数据保护策略将为能源企业节省不可估量的时间和金钱。管理和分析与能源工作负载和应用程序相关的大量数据需要高性能技术基础设施，包括复杂的存储系统。合适的方法将激励数据科学家和技术人员，加速他们的研究和发现。