什么是数据和分析？
Source: Gartner, What Is Data and Analytics?
按：1.本文由于出处的原因，有些“虚”，读的时候需要过滤一下，琢磨实际的意思；2.数据和分析的终极目的为为业务决策服务，而技术和模式在变革，从传统的BI到实时、预测性的、高级的分析，背后是海量的、全（不是部分）数据。
数据和分析（D&A）是指管理数据以支持利用数据的方式，以及数据分析以推动改进决策、业务流程和结果，例如发现新的业务风险、挑战和机遇。
数据和分析在业务中的作用是什么？
数据和分析对于现代企业尤其重要，因为它可以改善所有类型的决策（宏观、微观、实时性、周期性、战略、战术和运营）的决策结果。与此同时，D&A可以挖掘出新的问题和创新的解决方案，以解决商业领袖甚至没有考虑过的问题和机会。
稳健发展的组织以多种方式使用数据，并且必须经常依赖来自其控制范围之外的数据来做出更明智的业务决策。
数据和分析也是数字战略和转型的催化剂，因为它可以在复杂和快速变化的业务环境中实现更快、更准确、更相关的决策。
决策由个人（例如，当销售前景正在考虑是否购买产品或服务时）和组织团队（例如，在确定如何最好地为客户或市民服务时）做出。因此，数字战略就是通过数据提出更明智的问题，以改善这些决策的结果和影响。
数据驱动的决策意味着使用数据来研究如何改进决策过程。这导致了决策模型的构想，它可以包括规范性分析技术，这些技术生成能够指定要执行的操作的输出。其它分析模型是描述性的、诊断性的或预测性的，这些可以帮助其它类型的决策。
值得注意的是，决策推动行动，但同样可以决定何时不采取行动。
稳健发展的组织正在通过创建数据驱动型企业的愿景，量化和传达业务成果并促进数据驱动的业务变革，将数据和分析注入业务战略和数字化转型。
业务中的数据和分析用例有哪些示例？
现在，组织越来越多地使用高级分析来解决业务问题，但问题的性质和复杂性决定了是否以及如何对预测分析组件使用预测、预测或模拟的选择。
扩展数字业务尤其会使决策变得复杂，并且需要数据科学和更先进技术的结合。预测和规范功能的结合使组织能够快速响应不断变化的需求和约束。
以下是将预测和模拟的预测功能与规范功能相结合的示例：
预测外科手术过程中的感染风险，结合定义的规则，推动采取减轻风险的行动
预测产品的传入订单并结合优化，以主动响应整个供应链中不断变化的需求，但不依赖于可能不完整或“肮脏”的历史数据
根据风险模拟客户划分为微分段，并结合优化，快速评估多个场景并确定每个场景的最佳响应策略
数据和分析也以不同的方式用于不同类型的决策。制定更有效的业务决策需要执行领导者知道何时以及为何利用数据、分析和人工智能的力量来补充最佳的人类决策。
数据和分析战略的关键要素是什么？
对于每个组织来说，重要的是要定义数据和分析对他们意味着什么，以及哪些计划（项目）和预算是捕捉机会所必需的。
数据和分析战略规划的关键步骤是：
从组织的使命和目标开始
确定数据和分析对这些目标的战略影响
确定行动步骤的优先级，以使用数据和分析目标实现业务目标
构建数据和分析战略路线图
以一致和现代的运营模式实施路线图（即项目，计划和产品）
传达数据和分析策略及其影响和结果，以赢得对执行的支持
数据和分析的企业运营模式还必须努力克服执行D&A战略所需的数据生态系统，架构和组织交付方法中的差距。
什么是数据素养？
Gartner 将数据素养定义为在场景中读取、写入和通信数据的能力。它需要了解数据源和构造，应用的分析方法和技术，以及描述用例应用程序和结果价值的能力。这听起来像是将每个员工培训为数据科学家的论据，但事实并非如此。从业务角度来看，您可以简单地将数据素养总结为一个程序，以帮助业务领导者学习如何对周围的数据提出更智能的问题。
在组织内建立数据素养是一种文化和变革管理挑战，而不是技术挑战。D&A在所有业务的各个方面，社区甚至我们的个人生活中都越来越普遍。用相关语言进行沟通的能力 —— 要具备数据素养能力 —— 对组织的成功越来越重要。然而，这种持久、有意义的变化需要人们学习新的技能和行为。
组织的最佳实践包括将更多的重心，能量和精力投入到D&A战略的变革管理部分，利用领导力和变革推动者，解决数据素养（“技能”，也表示为“能力”）和文化（“意志”，或表示为“态度”）的问题。数据素养必须从领导者采取立场开始。例如，首席信息官或首席数据官，以及财务（通常是商业智能（BI））领导者和人力资源组织（开发和培训），可以引入数据素养计划，为他们的同行提供在各自部门适应和采用D&A的工具。
作为整体数据素养计划的一部分，数据讲故事可以创造积极和有影响力的利益相关者参与。它应用深思熟虑的技术来构建数据驱动型故事中的数据和洞察，使利益相关者能够轻松解释，理解和处理共享的数据。
什么是数据和分析治理？
数据和分析治理（或许多组织称之为“信息治理”）指定了决策权和问责制，以确保在组织寻求价值、创建、存储、访问、分析、使用、保留和处置其信息资产时采取适当的行为。将数据和分析治理与整体业务战略联系起来，并将其锚定在组织利益相关者认为重要的数据和分析资产上，这一点至关重要。
数据和分析治理包括在整个企业中提供可信和可靠的关键任务数据的人员（如执行政策制定者，决策者和商业D&A管理员），流程（例如D&A架构和工程流程以及决策流程）和技术（例如主数据管理中心）。
值得注意的是，虽然治理最初只关注法规遵从性，但它现在正在发展和扩展，以管理最少量的数据，从而产生最大的业务影响 —— 换句话说，D&A治理已经发展到适应增加业务价值的进攻能力，以及保护组织的防御能力。
有效的数据和分析治理还必须平衡企业范围和业务区域治理，但它需要一种标准化的企业方法，这种方法已被证明可以充分吸引业务领导者。D&A治理不是存在于真空中;它必须从D&A战略中汲取灵感。确保通过整合具体的、可衡量的指标（例如，特定细分市场中的客户保留率百分比和通过生态系统合作伙伴获得的收入百分比）来参考特定的业务成果，这些指标将数据和分析资产和计划与业务和利益相关者价值联系起来。
数据和分析技术的未来是什么？
数据组曾经与分析团队分开，每个实体都得到了相应的管理，但这些技术以前不同的市场正在以许多不同的方式发生冲突。例如，数据管理平台越来越多地整合分析，特别是ML，以加快其功能。
分析和BI平台正在开发数据科学功能，在D&A治理等情况下，新平台正在出现。云服务提供商正在创造另一种形式的复杂性，因为他们越来越多地主导着使用所有这些服务的基础架构平台。
数据、分析和 AI 市场的传统平台难以适应不断增长的数据和分析用例，因此组织必须在现有本地解决方案的高总拥有成本与增加的资源和新兴功能（如自然语言查询、文本挖掘以及半结构化和非结构化数据分析）的需求之间取得平衡。
因此，数据和分析的未来要求组织投资于可组合的增强型数据管理和分析架构，以支持高级分析。现代D&A系统和技术可能包括以下内容。
数据管理系统
主数据管理 （Master data management, MDM） 是一门技术支持的业务学科，其中业务职能部门和 IT 部门协同工作，以确保企业官方共享主数据资产的统一性、准确性、管理、治理、语义一致性和问责制。
数据枢纽（Data hub）专注于实现数据共享和治理。数据的生产者和消费者通过数据中心相互连接，应用治理控制和通用模型来实现有效的数据共享。MDM 是一个仅专注于主数据的数据中心。数据目录越来越多地进入治理领域，因此它们也开始成为数据（和分析）中心。
数据中心在物理上容纳服务器（而不是仓库，仓库是托管在服务器或云中的Data Fabric），它们的未来取决于工作负载可以移动到云端的程度。这些迁移决策必须基于这样做的业务优势。
数据仓库（Data warehouse）提供了一个终结点，用于收集事务性的详细（有时是其它类型的）数据。它们支持对价值已建立的数据进行可预测的分析，即众所周知的、预定义的和可重复的分析，这些分析可以在企业中的许多用户中进行扩展。
数据湖（Data lake）收集未精炼的数据（以本机形式，具有有限的转换和质量保证以及内在治理），并允许用户以高度交互的方式对其进行探索和分析。数据湖不会取代数据仓库或其它记录系统;相反，它们通过存储可能具有巨大价值的未精制数据来补充它们。数据湖的最佳点是纯发现、数据科学和迭代创新的世界。
Data Fabric
Data Fabric是一种新兴的数据管理设计，可实现跨异构数据源的增强数据集成和共享。Data Fabric已成为一种越来越流行的设计选择，用于简化组织的数据集成基础架构并创建可扩展的体系结构。
一旦广泛实施，Data Fabric可以显著消除手动数据集成任务，并增强（在某些情况下，完全自动化）数据集成设计和交付。但是，Data Fabric仍然是一个新兴的设计概念，目前没有一家供应商以集成的方式提供将Data Fabric拼接在一起所需的所有成熟组件。最终，组织必须决定是否使用跨越上述技术等的现代化功能（例如主动元数据管理）来开发自己的Data Fabric。
数据连接线还混合了成熟和不太成熟的技术组件，因此组织必须随着用例的发展仔细混合和匹配可组合技术组件。
云中的 D&A
传统的D&A平台面临着处理日益复杂的分析的挑战，并且由于环境的复杂性，资源增加和维护，本地解决方案的总拥有成本持续增长。相比之下，云数据和分析通过新服务、处理数据现代化的简单性和敏捷性提供了更多的价值和功能，并且需要新的分析类型，例如流分析、专用数据存储和更支持自助服务的工具，以支持端到端部署。
云部署 —— 无论是混合云、多云还是云间 —— 都必须考虑许多D&A组件，包括数据获取、数据集成、数据建模、数据优化、数据安全、数据质量、数据治理、管理报告、数据科学和ML。
什么是高级分析？
高级分析使用复杂的定量方法来生成不太可能通过传统的商业智能 （BI） 方法发现的洞察。它涵盖了预测，规范和人工智能技术，例如ML。总之：
分析和 BI 代表了开发洞察、报告和仪表板的基础或传统方式
高级分析表示使用数据科学和机器学习技术来支持预测和规范模型。
虽然由于不同的原因，两者对每个组织都很有价值，但整个市场正在发生变化。这些技术不再专注于传统和单独的高级分析，而是变得可组合，并围绕角色和角色进行组织 —— 从需要自助服务功能的业务角色到需要编程和工程的高级分析角色。
增强分析是指使用 ML/AI 技术来改变分析洞察的开发、使用和共享方式。增强分析包括自然语言处理和会话界面，允许没有高级技能的用户与数据和洞察进行交互。
高级分析使高管能够及时、创新地提出和回答更复杂、更具挑战性的问题。这为利用复杂而聪明的机制来解决问题（解释事件，支持和自动化决策以及采取行动）为更好的决策奠定了基础。
与传统分析相比，高级分析可以利用不同类型的数据输入和来源，并且在某些情况下，可以创建全新的数据，因此它需要严格的数据 治理策略以及所需基础架构和技术的计划。例如，数据湖可用于管理原始形式的非结构化数据。
高级分析为数据和分析领导者提供了越来越多的机会，可以加速数据和分析的成熟和使用，从而推动更明智的业务决策并改善其组织中的成果。衡量D&A战略和运营模式的当前和期望的未来状态对于抓住机会至关重要。
什么是核心分析技术？
数据在每个组织中都广泛使用，虽然并非所有数据都用于分析，但如果没有数据，就无法执行分析。数据所需的技术，其所有用例以及对该数据的分析存在于广泛的范围内，这有助于解释组织和供应商对 “数据和分析”（或“数据分析”）术语的不同使用。
对“数据”的引用意味着或应该暗示在业务应用程序和系统中（如核心银行业务、企业资源规划和客户服务）中对该数据的操作使用。“分析”（或一些人称之为“数据分析”）是指数据的分析用例，这些数据通常发生在下游，例如在交易发生之后。
如前所述，分析包括四种技术：
描述性分析
这使用商业智能（BI）工具，数据可视化和仪表板来回答，发生了什么？或者发生了什么？例如，采购可以回答以下问题：我们在上个季度在商品X上花了多少钱？谁是我们最大的商品Y供应商？
诊断分析
这需要更多的深入和数据挖掘能力来回答，为什么会发生X？例如，销售主管可以使用诊断来识别有望达到配额的卖家的行为。
预测性分析
预测分析通常处理概率，可用于预测一段时间内的一系列结果（即预测）或突出显示与多个可能结果（即模拟）相关的不确定性。它告诉我们会发生什么，解决以下问题：可能发生什么？然而，它没有回答其它问题，例如，应该对此做些什么？
预测分析依赖于预测建模、回归分析、预测、多变量统计、模式匹配和机器学习 （ML） 等技术。
规范性分析
规范性分析旨在计算实现或影响结果的最佳方式 —— 它旨在推动行动。当与预测分析相结合时，规范性分析自然地利用并扩展了预测性洞察，解决了应该做什么的问题？或者我们可以做些什么来使给定的结果发生？
规范性分析包括基于规则的方法（以结构化方式整合已知知识）和优化技术（传统上由运筹学小组使用），这些技术在约束内寻找最佳结果以生成可执行的行动计划。规范性分析依赖于图形分析、模拟、复杂事件处理和推荐引擎等技术。
结合预测和规范功能通常是解决业务问题和推动更明智决策的关键第一步。了解不同类型分析的潜在用例对于确定组织真正数据驱动所需的角色和能力、基础架构和技术至关重要，尤其是在四种核心类型的分析与人工智能 （AI） 增强融合时。
什么是“大数据”？
几十年来，“大数据”一词一直被用来描述以高容量、高速度和高多样性为特征的数据，以及其它极端条件。然而，大数据时代是企业风险和机遇的缩影 —— 特别是数据流量的爆炸式增长（特别是随着互联网使用和计算能力的发展）为改善决策提供了丰富的洞察来源，但为组织如何存储，管理和分析大数据带来了挑战。
大多数组织已经找到了从大数据中获取商业智能的方法，但许多组织都在努力大规模地管理和分析各种广泛的内容（包括音频，视频和图像资产），特别是随着数据源领域的增长和变化，对洞察力的需求越来越多地受到高级分析的驱动。
进步的组织不再区分管理，治理和从非大数据和大数据中获取洞察力的努力;今天，一切都只是数据。相反，他们正在积极寻求利用新型数据和分析，并在各种数据的组合中找到关系，以改善其业务决策、流程和成果。
例如，通过生成对真实数据的采样技术或通过创建模拟场景来利用合成数据，其中模型和过程相互作用以创建不直接从现实世界中获取的全新数据。这对于基于数据集构建的 ML 最有帮助，这些数据集不包括业务用户了解可能出现的特殊情况，即使远程也是如此。仍然需要这样的数据来帮助训练这些 ML 模型。
全球疫情大流行和其它业务中断也加速了在广泛的用例中使用更多类型数据的需求（特别是因为历史大数据已被证明作为未来决策的基础不太相关）。对数据来源、数据质量、偏见和隐私保护的担忧也影响了大数据收集，因此，被称为“小数据”和“宽数据”的新方法正在出现。
广泛的数据方法可实现各种小型和大型数据源的数据分析和协同作用 —— 包括高度组织化的定量（结构化）数据和定性（非结构化）数据。小数据方法使用一系列分析技术来生成有用的洞察，但它使用较少的数据来实现。
我们现在使用术语X-analytics来共同描述小型，广泛和大数据 —— 实际上是各种数据 —— 但我们预计，到2025年，70%的组织将被迫将重点从大数据转移到小型和广泛数据，以更有效地利用可用数据，无论是通过减少所需的数量还是从非结构化中提取更多价值， 多样化的数据源。
对数据分析演变的这一预测和其它预测提供了重要的战略规划假设，以增强D&A的愿景和交付。