2022年Snowflake峰会 —— 关于应用和货币化数据
Source: David Vellante, Breaking Analysis: Snowflake Summit 2022…All About Apps & Monetizing Data, JUNE 18 2022
按：1.Snowflake的CEO Frank Slootman是大神级人物，做过Data Domain和ServiceNow两个神奇产品的公司老板，产品惊人，业绩惊人；2.Snowflake几乎代表了数据领域的方向，对基础设施规划也有启发性的影响；3.David Vellante是我非常喜欢的主持人，专业、资深，不跪舔厂商。
随着Hadoop关注度下降，围绕数据创新的大部分热量正在凝聚在一个由Snowflake的数据云优势所催生的新生态系统中。曾经被视为更简单的云数据仓库和数据云的良好营销，随着新的工作负载，垂直行业重点，数据应用，货币化等，正在迅速发展。问题是，这一次数据承诺会兑现，还是新瓶装旧酒？
在本期突破性分析中，我们将分享我们对2022年Snowflake峰会的印象，包括感兴趣的发布，主要主题，什么是炒作，什么是真实的，竞争前景以及客户口袋和生态系统中仍然存在的一些问题。
2022年Snowflake峰会
该活动在凯撒论坛上举行。往返会议场地将带您穿越拉斯维加斯的游客群，这些游客似乎一点也不关心股市，通货膨胀或经济衰退。活动本身就挤满了人。近万人出席。以下是Snowflake的首席营销官Denise Persson如何描述这一事件是如何演变的：
三年前，我们在旧金山的希尔顿酒店大约有1800名员工。我们有大约40个合作伙伴参加。本周，我们在这里有近10000名与会者。近10000人在线。展会上有200多个合作伙伴。
2019年的这些数字让人想起Hadoop World的早期，这是由Cloudera发布的。Cloudera错误地将事件交给了O'Reilly Media，正如下面插入的文章所讨论的那样。标题几乎是正确的。Hadoop World最终是失败的，但它不一定是失败的。O'Reilly从名字中删除了Hadoop World，将Cloudera从聚光灯下移开，然后在Strata变得不那么有利可图时杀死了Strata。
Snowflake峰会填补了这一空白
具有讽刺意味的是，Hadoop早期的动力和兴奋劲本可以留在Cloudera身上，但结束的开始是他们将会议交给O'Reilly的时候。我们无法想象Frank Slootman将王国的钥匙交给第三方。
来自主办赞助商和支持这些活动的生态系统的销售人员喜欢实体聚会。面对面互动可实现关系建立、渠道和交易。这在这次展会上是显而易见的。顺便说一句，在我们今年所做的其他CUBE活动中也注意到了这一点。但这个更具活力，因为它的出席人数，增长，对货币化的关注以及生态系统中的行动。
充满活力的生态系统：每个云公司的基本特征
我们在THECUBE上问了Frank Slootman——这种生态系统的演变是设计使然，还是Snowflake只是偶然发现的？以下是他的话：
好吧，你知道当你有一个数据云，你有数据，人们想用这些数据做你知道的事情，他们不想只运行数据操作，填充仪表板和运行报告。很快，他们就想构建应用程序。在他们构建应用程序之后，他们希望在此基础上构建业务。所以它继续下去。它推动您的开发，以便在该数据云上实现越来越多的功能。一开始不是这样。我们非常关注数据操作。然后它变成了应用程序开发，然后它变成了，“嘿，我们正在这个平台上开发整个业务。”因此 ，这在很多方面都与Facebook发生的事情相似。
有点像是产品设计和抓住一个新的市场机会两者都有一点。
Facebook的类比很有趣，因为Facebook是一个有围墙的花园。Snowflake也是如此。但是，当你进入那个花园时，你可以保证事情会以一种非常具体的方式运作，因为一套标准和协议是由管家执行的。这意味着在 Snowflake 内部运行得比您尝试自己完成所有集成要好。总而言之，Snowflake宣布了几项举措，以使其平台更适合开源工具，并为客户提供可选性。
揭开Snowflake峰会上的重要发布
我们不打算对所有发布进行全面概述，但我们将发表一些总体评论，并分享社区中一些分析师在theCUBE上所说的话。此外，来自蒙特卡洛的 Matt Sulkis 在主题演讲中写了一篇很好的概述，Sanjeev Mohan，Tony Baer等人等一些分析师正在发布他们对此的分析。
我们发表以下意见
Unistore：Unistore通过启用事务数据来扩展可以存在于Snowflake数据云中的数据类型。Unistore 由一项名为“混合表”的功能启用，该功能是 Snowflake 中的新表类型。对Snowflake的一大打击是无法处理交易数据。一些数据库公司正在创建这种混合概念，其中分析和事务工作负载可以位于同一数据存储中。例如，Oracle正在使用MySQL Heatwave做到这一点，以更低的成本将查询时间缩短了许多数量级。本月早些时候，我们看到Mongo在其主要交易平台上添加了分析功能。还有许多其他人 正在接近融合数据库路径。
社区热点
以下是Constellation Research分析师Doug Henschen对Snowflake进入交易数据领域的看法：
通过Unistore，[Snowflake] 正在伸出援手，并试图将交易数据引入。嘿，不要将其限制在分析信息上。还有其他方法可以做到这一点，比如CDC和流媒体，但他们再次将其与市场紧密联系在一起，其想法是将数据带到这里，您可以将其货币化。不要只是把它留在那个事务数据库中。因此，另一个延伸到他们正在建设的大社区中更广泛的游戏。
Snowpark和Streamlit。Snowflake正在以独特的方式扩展工作负载类型，并通过Snowpark及其Streamlit收购，使Python能够在数据云中构建本机应用程序，并从Snowflake构建和生态系统实现的所有结构，功能，隐私，治理，数据共享和其他功能中受益。因此，Frank Slootman提出的Facebook类比......或者苹果的App Store也可能是一个提议。Python支持还拓宽了机器智能工作负载的光圈。
我们询问了Snowflake的产品高级副总裁Christian Kleinerman，他认为哪一项发布最具影响力。尽管这个问题具有“谁是你最喜欢的孩子”的性质，但他确实回答了——这是他说的：
我认为原生应用程序是看起来像，嗯，我表面上不知道它，但它最有可能改变一切。这是在公司内部或跨公司创建整个解决方案生态系统。我不知道我们是否知道什么是可能的。
Apache Iceberg。Snowflake还宣布支持Apache Iceberg，这是一种正在兴起的新开放表格式标准。因此，你看到Snowflake回应了人们对其缺乏开放性的担忧。
以下是前Gartner分析师Sanjeev Mohan对Snowflake拥抱Apache Iceberg的动机的看法；以及它对客户意味着什么。
首先，我认为这是为了抵制整个概念，即一旦你将数据移动到Snowflake中，它就是一种专有格式。所以我认为这就是它是如何开始的，但它对客户和用户都非常有益，因为现在如果你在Apache Parquet文件中有大量数据，你可以把它留在S3上，但是然后你，使用Snowflake中的Apache Iceberg表格式，获得Snowflake优化器的所有好处。例如，你得到微分区，你得到元数据。因此，在单个查询中，您可以联接，可以从Snowflake表联合中进行选择，并从Iceberg表中进行选择，并且可以执行存储过程和用户定义的函数。
所以我，我认为他们，他们所做的非常有趣。Iceberg本身仍然没有多表事务能力。因此，如果我正在运行工作负载，我可能会接触到 10 个不同的表。因此，如果我以原始格式使用Apache Iceberg，他们没有，但Snowflake有。
成本优化。成本正在成为AWS等消费模式的主要问题，当然还有Snowflake。该公司展示了一些成本优化工具——包括来自自身和生态系统的工具，特别是Capital One，它在Snowflake之上推出了一项软件业务，专注于优化成本。
治理，跨云，本地和安全性。Snowflake 及其生态系统宣布了围绕治理，跨云（超级云）和新的安全工作负载的许多功能，他们再次强调通过与戴尔和Pure的合作将非本机本地数据读取到Snowflake中的能力。以及更多。
这里是Ventana Research的David Menninger，SanjMo的Sanjeev Mohan和dbInsight的Tony Baer的一些更深入的分析。以下是对话的一些摘录：
Dave Menninger，Ventana Research：
[Ventana] 研究表明，大多数组织，大多数人，都无法访问分析。因此，他们宣布的一些事情解决了这些问题，或者帮助非常直接地解决了这些问题。Snowpark和对Python和其他语言的支持是组织将分析嵌入到不同业务流程中的一种方式。因此，我认为尝试将分析交到更多人手中是非常有益的。我还认为，作为市场的一部分，原生应用程序是将应用程序交到人们手中的另一种方式，而不仅仅是分析工具。因为组织中的大多数人都不是分析师。他们正在做一些业务线功能。他们是人力资源经理，他们是营销人员，他们是销售人员，他们是财务人员。他们不是坐在那里在数据中胡言乱语，而是在做一份工作。
Sanjeev Mohan, SanjMo
我看到的方式是Snowflake正在向数据库中添加越来越多的功能。例如，他们已经继续前进并增加了安全性和隐私性。因此，您现在可以创建策略，甚至执行单元级屏蔽、动态屏蔽。但大多数组织拥有的不仅仅是Snowflake。因此，我们开始在这里看到的是，有一系列的数据目录公司，一堆公司正在做动态数据屏蔽，安全性和治理，数据可观察性，这不是Snowflake进入的空间。、因此，有一整个公司生态系统正在如雨后春笋般涌现。
Tony Baer， dbInsight
好吧，这样说吧。我认为这是最后一英里。换句话说，有些人基本上对 Tableau 非常满意[例如]，但您的开发人员不想为单独的工具付出代价。因此，这就是Snowflake本质上正在努力解决该选区问题的地方。对于Sanjeev的观点，我认为这与Hadoop时代的部分不同之处在于，这些功能和许多供应商都非常认真地对待（在Snowflake内部）实现这种原生功能。现在，显然Snowflake收购了Streamlit。因此 ，我们可以预期Streamlit功能将是原生的。
现代数据堆栈正在出现以支持货币化
上图来自Slootman的主题演讲。这是他的现代数据堆栈版本。从底部开始，向上移动堆栈...Snowflake建立在公有云上。没有AWS，就没有Snowflake。Snowflake是关于数据和移动数据——因此是实时数据——并扩展数据类型，包括结构化，非结构化，地理空间和列表等等。在新的工作负载上执行——从数据共享开始，他们最近增加了安全性，现在Snowflake基本上已经创建了一个PaaS层——如果你愿意的话，一个superpaas层——以吸引应用程序开发人员。Snowflake将于11月举办一场以开发人员为中心的活动。他们通过1300个原生应用程序列表扩展了市场，并且在列表的顶部，圣杯......货币。
这是关于货币化的事情。在媒体、华尔街和社区中，有很多关于基于消费的定价以及分析支出如何可自由支配的讨论。但是，如果你是一家在Snowflake中构建应用程序并货币化的公司——就像Capital One打算做的那样......您现在正在市场上销售...这不是自由裁量权。除非您的成本大于您的收入，否则无论如何它都会失败。
但关键是我们正在进入一个新时代，数据应用程序和数据产品开始被构建——Snowflake正试图使数据云成为构建它们的实际场所。
2022年Snowflake峰会上的大主题
将应用引入数据，而不是将数据移动到应用。让人想起Hadoop将计算引入数据的承诺。问题在于许多重要的高速数据被转移到云中，并将Hadoop供应商抛在了后面。但这句话是事件中不断重复的，从物理学的角度来看，这句话当然是有道理的。
但是，拥有可发现，可共享和可治理的单一数据源，以及日益强大的生态系统选项是独一无二的，也是Snowflake的差异化因素。我们还没有看到一个如此丰富且增长如此迅速的数据生态系统。生态系统正在赚钱（货币化），我们上面讨论过。
行业云——金融服务，医疗保健， 零售 和媒体——都是活动的前沿和中心。我们的理解是，Slootman是这一新焦点背后的主要力量，并努力进入市场。我们相信这是与客户的使命和目标保持一致的一个例子。特别是，在行业内更深入地了解将数据作为差异化成分进行货币化所需的条件。
我们听到了很多关于数据网格的信息。关于这个话题有很多演讲，我们会说这个。如果你将Snowflake谈论的七大支柱映射到Zhamak Dheghani的数据网格框架中，它们比我们看到的大多数“数据网格清洗”都更协调。
Snowflake的七大支柱是：所有数据，所有工作负载，全局架构，自我管理，可编程，市场和治理。
虽然我们将数据网格视为一个架构和组织框架，而不是产品或单个平台，但当您将这七大支柱中的一些映射到数据网格的四个原则（域所有权，数据即产品，自助服务基础架构和计算治理）时，它们会很好地保持一致。
机智...所有数据——也许混合表变得更加现实。全局架构，意味着数据是全局分布式的，以支持去中心化的数据和域名所有权。自我管理与自助服务基础架构保持一致，并与第四个原则的固有治理保持一致。随着所有关于货币化的讨论，这些数据与数据作为产品保持一致。
值得称道的是，Snowflake在其消息传递中不再使用数据网格。尽管许多客户都这样做。虽然数据云与数据网格概念并不完全一致，但该公司本质上是在构建一个专有系统，该系统基本上解决了数据网格的一些目标。并且越来越包容开源工具。
超级云——这是我们的术语——我们在云之上看到了很多云的例子，这些云被设计为跨越多个云。这不仅包括Snowflake Data Cloud ，还包括许多朝着类似方向发展的生态系统合作伙伴。
Snowflake仍然在谈论数据共享，但它现在在其高级消息传递中使用了协作一词。数据共享是一个令人讨厌的术语，这也是Snowflake试图与“ 我们也做数据共享”的每个人区分开来的尝试。
最后，Snowflake不再说数据市场了......它现在是市场，占其应用市场。
Snowflake的竞争地位
上图来自ETR的支出调查。垂直轴是净分数或支出动量，X轴是称为重叠的数据集中的渗透。Snowflake继续在Y轴上领先所有玩家，但差距正在缩小。Snowflake在上个季度保守地引导，所以如果在ETR七月的调查中，这个仍然很高的高度下降一点，我们也不会感到惊讶。Databricks显然是一个关键的竞争对手。它有很强的消费势头，但它没有市场占有率。在泡沫期间，它没有进入IPO，也没有那么深入的市场，但它们在市场上引起了关注。
一些分析师，特别是Tony Baer，认为 Mongo和Snowflake从长远来看有点冲突。云玩家是Snowflake最大的合作伙伴和最大的竞争对手，因为他们都拥有强大的数据产品。然后总是有甲骨文， 它没有 接近其他人的支出速度，但它确实拥有一个云，并且它对数据有所了解......这绝对是一台进入市场的机器。
ETR调查没有直接衡量Snowflake带来的云差异数据。其他竞争对手都没有像Snowflake那样专门致力于数据的生态系统，即使是超大规模用户也是如此。
客户和生态系统的隆隆声和抱怨
像这样的活动已经变得有点像摇滚音乐会。巨大的人群，大量的嘈杂音乐，大量的能量和嗡嗡声，特别是当人们赚钱时。但是当你找问题时，你总能找到它们。人们仍然对Snowflake作为下一件大事持怀疑态度。
原因很简单。我们之前听说过一种特定的技术——EDW、数据中心、MDM、数据湖、Hadoop等——将如何解决我们所有的数据问题。从来没有人这样做过。事实上，有时他们创造了更多的问题，允许供应商推动更多的增量技术来解决他们创造的问题——比如工具和平台来清理数据湖/数据沼泽的写入混乱的无模式。
正如从业者所知道的那样，单一的技术本身从来都不是答案。组织、人员、流程和相关的商业模式摩擦点每次都会掩盖最好的技术。在科技领域，颠覆总是近在咫尺。
尽管如此，Snowflake正在执行一个新的愿景，人们理所当然地感到兴奋。以下是我们在与许多客户和生态系统合作伙伴的深入对话中听到的一些事情。
很难跟上。首先，许多客户和合作伙伴表示，他们很难跟上Snowflake的步伐。这让人想起2014年的AWS。意识到每年都会有一连串的发布，这导致复杂性增加。当它只是EC2和S3时，生活很简单。
复杂性增加。我们与几位客户进行了交谈，他们说：“嗯，是的，这一切都很好，但我仍然需要熟练的人来理解我正在集成的所有这些工具——目录，机器学习，可观察性，多种治理工具等等。这将推高我的成本。这对Snowflake来说是一个巨大的挑战。它建立在简单精神之上。在继续创新和整合生态系统合作伙伴的同时保持这一点并非易事。
更难确定优先级。我们从生态系统中听到了其他担忧，即当Snowflake只是一个更好的数据仓库时，他们曾经很清楚他们可以在哪里增加价值......但要指出#1，他们要么担心自己会被抛在后面，要么被纳入其中。对此，我们要说的是我们告诉AWS客户和合作伙伴的同样的事情。如果你是一个客户，你没有跟上，你就有可能被竞争对手超越。如果你是合作伙伴，你最好快速行动，否则当火车继续前进时，你会被抛在后面。
怀疑者。许多持怀疑态度的从业者，真正有思想和经验丰富的数据专业人士表示，他们以前已经看到过这种情况——即新瓶装旧酒。
这一次，我们当然希望不要给予进入这个生态系统的所有能量和投资。事实是，Snowflake无疑使数据更容易发挥作用。它们基于 AWS 进行构建，因此您不必担心预置计算、存储和联网。Snowflake正在优化其平台，以利用像Graviton这样的东西——所以你不必这样做。
他们正在构建一个数据平台，他们的生态系统可以在该平台上创建和运行数据应用程序（即数据产品），而不必担心所有辅助的困难和非差异化工作，这些工作需要完成，以使数据可发现，可共享和治理。
与过去10年不同的是，您不必在动物园中处理几乎那么多的未驯服动物。这就是为什么我们对下一个数据时代持乐观态度的原因......