查看原文
其他

DataOps 功能堆栈

常华Andy Andy730 2024-03-16

来源:IDC, Establishing a Strong Foundation for DataOps, November, 2021



组织的领导者在不断寻求使用数据在市场洞察力、财务机会、流程改进、与客户建立更紧密的联系以及产品解决方案等领域获得优势。许多组织已经启动了数字化转型计划。数字化转型涉及改变应用程序和基础架构,使其更加敏捷,并且对不断变化的市场和经济条件做出更快速的响应。云一直是这种转变的重要元素。根据IDC的研究,70%的 CIO 声称拥有 "云优先" 的组织使命。边缘也变得越来越重要,因为边缘的数据量增长速度快于核心数据,而边缘数据可能包含关键信息。


尽管在数字化转型项目上花费了数百万美元,但根据IDC的研究,大多数组织只能有效地利用他们可用数据价值的一小部分 —— 通常远远低于价值的一半。我们的研究还表明,在大型企业中,数据以超过 40% 的年复合增长率(CAGR)增长,这意味着数据总量大约每两年翻一番。问题不在于组织没有足够的数据;而是他们无法从他们拥有的数据中获得最大价值,因为每天都有更多堆积如山的数据。


虽然数据增长是利用数据价值的主要障碍,但数据孤岛使工作进一步复杂化。当数据按数据类型、数据位置、操作平台、数据所有者或其他因素进行细分时,就会存在数据孤岛,并且这些孤岛可以存在于核心、云或边缘环境中。孤岛可防止数据与组织中的其他数据相关联并全面使用。由于竖井的扩散,对于许多企业来说,数据管理已经变得非常复杂。IT 团队被迫部署多个冗余工具集,并且每个团队之间的数据策略和流程可能不一致。许多组织根本无法灵活地运营,因为这些未解决的挑战会导致阻抗。


为了克服这些挑战并更有效地利用数据,许多组织正在转向 DataOps。DataOps 在全球范围内获得主流采用,因为组织寻求提高其对数据的利用率和在市场上的竞争地位。DataOps 不是一个产品或一个过程;相反,它是利用数据来推动更快,更明智的业务决策以提高竞争力,利用商机并改善业务运营的做法。DataOps 旨在将数据创建者与数据使用者联系起来。DataOps 促进了 IT 与业务运营之间的联系,通常涉及特定于数据的角色,包括数据科学家、数据管理员、数据架构师和数据经理。实施 DataOps 计划可能是转变数据驱动型组织的关键。虽然 DataOps 不是一项技术,但它是由技术和服务实现的,包括数据保障(Data Logistics)、数据管理和数据利用。事实上,DataOps 是组织发展成为真正数据驱动的下一步。数字化转型项目建立了必要的基础架构来支持 DataOps,但 DataOps 提供了数据杠杆。


DataOps 由集成功能堆栈(Functionality Stack)所驱动。DataOps 工作的目标是利用数据(使用数据实现竞争优势),其中包括数据治理、可观察性和智能。然而,如果没有支持数据工程的数据保障的坚实基础,这种数据杠杆就无法实现。数据工程推动数据的引入和转换,包括数据编排、测试、分析和清理,为数据分析和其他用途做准备。


作为 DataOps 的基础,数据保障应该是任何实施 DataOps 计划的组织的起点。如果做得好,数据保障有助于在整个企业和整个数据孤岛中应用一致的数据管理策略和操作,从而打破数据孤岛,从而确保可以获取和转换数据,以便可以利用和利用数据。


数据管理平台已经出现,以促进这些数据保障。这些平台包括数据管理功能,旨在企业级运行,以跨核心、云和边缘提供服务。数据管理平台的核心部分是一个策略引擎,它允许从统一管理的角度制定企业策略。示例功能包括:

  • 发现

  • 分类

  • 迁移

  • 复制

  • 位置优化

  • 服务级别监控

  • 保护和恢复


前面的列表既不是详尽的规格列表,也不是最低要求的列表。数据管理市场是强大的,在广泛的功能差异化方面有很大的空间,为消费者提供了广泛的选择,以提供与特定环境和客户需求相匹配的解决方案。


DataOps 应该帮助找到其他方式无法实现的数据相关性和关键见解,从这个意义上说,人工智能(AI)是 DataOps 的关键部分。整个 DataOps 堆栈都需要 AI 功能,数据保障中的 AI 提供数据识别、分类和移动,以便正确的数据在正确的时间出现在正确的位置。AI 引擎可以跨存储库使用元数据来做出有关数据处置的必要决策。


DataOps 可能被错误地认为是一个 IT 功能,但它实际上是一个业务功能。业务领导者是 DataOps 成功的关键驱动因素,其中的关键工作是将数据创建者与数据用户相匹配。为了促进 DataOps 的成功,组织正在创建特定于数据的角色,如首席数据官、数据架构师、数据管理员和数据经理。这些是面向业务的人员,他们能够理解和桥接技术,以满足组织的信息需求。有效实施 DataOps 的组织从强大的存储和数据管理平台基础开始,并将其作为 "数据驱动之旅" 的下一步,以数字化转型工作为基础。

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存