深度讨论：实时数据引领人工智能未来

Source:David Vellante, GPUs get all the headlines, but the future of AI is real-time data, MAY 27 2023

人工智能时代，一切依然令人兴奋。然而，与互联网时代不同的是，宣布推出任何与互联网相关的产品的公司并没有立即获得市场的青睐。Nvidia的业绩超出市场预期超过3亿美元，该公司的市值迅速接近万亿美元。Marvell虽然在本周勉强超出预期，但其预测未来由人工智能驱动的带宽需求将推动股价上涨超过20%。而Broadcom由于认识到除了CPU以外的连接技术是公司的强项，其股价上涨近10%。与此同时，像Snowflake这样在周三勉强超出盈利预期，并宣称人工智能将成为未来的增长动力的公司，由于客户减少了对云服务的消费，股价却遭到重挫。

在本次分析中，我们将重点关注人工智能基础设施，特别是关注Nvidia的发展势头。由于人工智能的核心是数据，我们还将研究两个主要数据平台Snowflake和Databricks的支出数据，以了解调查数据的结果，并探讨实时数据和自动化对经济的巨大生产力增长所起到的推动作用。

为了做到这一点，我们特邀请了John Furrier和David Floyer作为我们的专题分析小组成员。

Nvidia如何通过人工智能主导数据中心

两年前，我们发布了一份研究报告，阐述了我们对Nvidia如何颠覆万亿美元x86安装基数的看法。

基本上，这是一份关于Nvidia计划如何从Intel在通用数据中心领域的主导地位中获取巨大份额的路线图。我们对Nvidia的前景持乐观态度，主要基于其在软件领域的专业知识和端到端能力。我们不仅看重其GPU，还看重其它成千上万的组件、网络、智能NIC以及Nvidia正在构建的完整技术堆栈。

以下是该报告的摘录：

Nvidia希望通过使数据中心的运行速度提高10倍，成本降低10倍，彻底改变企业计算。Nvidia的首席执行官Jensen Huang正在制定一项战略，重新构建今天的本地数据中心、公共云和边缘计算，利用该公司在人工智能架构方面的强势地位。这一端到端战略的关键包括清晰的愿景、强大的芯片设计技能，集成内存、处理器、I/O和网络的新Arm架构，以及引人注目的软件消费模式。

Nvidia的业绩被称为“财报历史上最大的超额完成”

Nvidia最近的业绩证明了该愿景似乎正在实现。

John Furrier将ChatGPT称为“Web浏览器时刻”，Jensen Huang称其为“iPhone时刻”。无论采用哪种表述方式，Nvidia以超过6.7亿美元的超额收入击败了市场预期，并表示下半年供应将显著改善，并明确指出客户预算正在从x86转向该公司所称的加速计算。

Nvidia的估值接近Intel的9倍，而ChatGPT已成为推动Nvidia的巨大催化剂。以下是我们小组讨论的摘要。

人工智能基础设施、半导体和数据：并行计算和云优化GPU的崛起

在讨论中，Floyer和Furrier谈到了科技行业格局中正在发生的重大转变。人工智能基础设施、半导体和数据是这些转变的核心，这在很大程度上是由并行计算和云优化 GPU 的采用推动的。以下是其中三个关键点：

• 并行计算变得至关重要，因为对CPU周期的需求急剧增加。这种转变导致了更简单、更高效的CPU技术的增加，推动像Nvidia这样的公司凭借其GPU主导的架构走在最前沿。

• Tesla和Apple等科技巨头也积极投资于并行计算，重点放在神经网络上。这些公司正在根本性地重新构建其硬件，以适应CPU需求的激增。

• Intel，曾经在CPU领域占据主导地位，未能跟上这种范式转变。Floyer表示，该公司作为领导者的未来岌岌可危。

此外，并行计算并不是唯一的因素。半导体行业的其它方面也正在发生重大变化。

• Furrier指出，Nvidia从一开始就以GPU处于有利地位，并且在最初的加密狂潮中获得了成功。人工智能的趋势成为一股助力，现在它将注意力转向了云优化GPU和人工智能，Furrier认为这是下一代超大规模技术。

• 一场迫在眉睫的竞争之战即将到来。尽管Intel可能会通过其Xeon系列和传统的原始设备制造商保持对服务器技术的主导地位，但新兴市场正朝着芯片级连接和云优化芯片的方向发展。

• 人工智能的作用不仅仅局限于像ChatGPT这样的聊天机器人。往往被忽视的物理层被认为是下一个重大浪潮。这类似于OSI模型，首先解决的是物理层，然后是其它层次。

• Nvidia的首席执行官认为，数据中心的未来在于成为一个“人工智能工厂”，这标志着支出朝着以人工智能为动力或加速计算的方向发生了剧变。尽管这种说法有自我服务的成分，但它是一个强大的营销隐喻，为Nvidia战略地占据了先机。

结论：人工智能基础设施、半导体和数据的结合将推动下一波技术进步。能够成功抓住这一浪潮的公司可能会塑造行业的未来。行业参与者之间的竞争将加剧，这使得这个领域成为一个需要密切关注的关键领域。

AI Alpha工程师如何总结GPU短缺问题

在与theCUBE社区成员的坦诚对话中，这位深度学习专家分享了以下观点：

Nvidia的主导地位将迎来巨大的竞争

因此，以此为背景，让我们看看与Nvidia竞争并可能在AI领域得到提振的一些半导体公司。显然，Nvidia正在打破Intel的局面，Arm也是如此。AMD正在与这两家公司直接竞争，并且在使AMD重新获得声望方面做得非常出色。所有的云服务提供商都在开发芯片，包括IBM在内。Broadcom正在争夺商用芯片的份额，并专注于智能NIC和Marvell在连接性方面的组件。还有其它一些公司正在建设半导体能力，包括Apple、Tesla和Meta。最后，中国公司也在设计和制造芯片，以实现自主可控。因此，Nvidia在这个市场上并不孤单，但它占据着领先地位。

以下是分析师讨论关于Nvidia在AI领域的成功、神经网络的重要性、超大规模计算的作用以及地缘政治问题的摘要。

首先，专家小组讨论了Nvidia在AI领域的领先地位，主要归功于其GPU技术和创新的CUDA软件。他们认为Nvidia将继续创新，增加更多的神经网络。Apple和Tesla因其在神经网络上的大量投资而受到关注，前者主导消费计算，后者专注于自动驾驶汽车的推理工作。讨论引申至AI的更广泛画面，他们将其视为自动化的推动力。

接下来，将超大规模计算引入讨论，亚马逊AWS、谷歌、微软和阿里巴巴都在开发自己的AI产品和芯片。还提到了中国在这个市场上的潜在影响力。亚马逊凭借其在芯片领域的丰富经验和与AI的长期历史，被认为是一个潜在的领导者。AWS在生成式AI和积极宣传方面的做法被视为其定位的关键因素。

第三，讨论转向了AWS收购Annapurna Labs的例子。由于对Intel的性能和价格不满意，AWS开始与Annapurna合作，并最终收购了该公司。然后，AWS利用Annapurna在内部设计基于Arm架构的芯片。专家小组推测，AWS是否可以走类似的道路与Nvidia竞争，可能通过收购AI初创公司来创新其产品。但是，Andy Jassy的著名引文“没有经验的压缩算法”更倾向于Nvidia。

以下是值得注意的关键观点：

• Nvidia在AI领域被认为是一股主导力量，得益于其GPU技术和CUDA软件。

• 预计Apple和Tesla在神经网络上的重大投资将继续影响AI硬件设计。

• 亚马逊AWS、谷歌、微软和阿里巴巴等超大规模计算提供商是主要参与者，设计自己的芯片或AI产品。

• AWS收购Annapurna Labs展示了超大规模计算提供商通过内部设计降低成本和提高性能的潜力。

• AWS或其它超大规模计算提供商收购初创公司或进行内部创新以与Nvidia竞争是可能的，但在可预见的未来，它们将依赖于Nvidia。

• 地缘政治问题，特别是与中国和台湾TSMC相关的问题，被提出作为潜在的风险，因为Nvidia和Apple等公司面临着这些问题。

• 随着AI的发展，包括能源成本在内，计算成本必须下降。自动化是证明人工智能费用合理性的关键。

结论：Nvidia面临着很多竞争，但它们的领先地位是巨大的，在半导体领域，重大变革需要很长时间。

Snowflake遭遇挫折

我们转换一下视角，来看看Snowflake的季度报告，并讨论其在AI领域的定位。我们之所以说Snowflake遭遇挫折，是因为它们虽然险胜，但对未来持谨慎态度，提到了相对于过去的消费模式更加温和，并因此导致了投资者的抛售。具有讽刺意味的是，Snowflake的首席财务官在电话会议中一直被困扰着持续咳嗽。尽管出现了抛售，Snowflake的势头仍然强劲，客户流失率非常低。然而，事实是，客户通过减少保留策略来优化成本——这降低了存储成本并加快了查询速度——因此更少的存储和计算意味着更低的收入。

Snowflake的策略是成为数据应用的iPhone，或者说是应用商店。他们希望成为构建数据应用的最佳平台——比超大规模计算提供商、比Databricks更好。他们已经收购了一些公司，如Applica，现在又有了Neeva的支持，这些都是为了支持去年宣布的Snowpark开发者体验的预期成果，该体验使用除SQL之外的接口（如Python、Scala等）。

下面以Snowflake和Databricks作为案例研究，总结了与AI和自动化相关的数据基础设施的未来讨论。

Floyer认为，未来的企业架构应该通过自动化来减少员工数量。为了做到这一点，交易数据和分析数据需要统一，它们必须共享相同的数据库，以最小化时间延迟并推动实时自动化。他认为从长远来看，像Snowflake这样的架构可能无法支持这种模型，因为它们需要从数据源到应用程序采用更直接的方法。

关于Databricks，Furrier讨论了它如何成功地利用了大数据浪潮。然而，John也认为，人工智能的引入将改变这一格局，带来基础设施平台的转变。他认为数据库将变得无形，由人工智能自动化控制，数据存储将由开发人员和应用程序控制，从而完全颠覆当前的模式。

Floyer回应说，在未来保持一致性方面，数据库的重要性不言而喻，即使以更分布式的形式存在。他不认为开发人员会完全接管数据管理的角色，因为数据库减轻了开发人员的许多任务。他还相信，开发人员将从众多新工具中受益，从而更简化自动化的编排。

总结：数据基础设施领域将发生重大变革，向分布式、由开发人员控制的数据库和增加自动化的方向发展。然而，关于开发人员对数据管理的控制程度以及数据库是否仍然是一种必不可少的工具存在意见分歧。变革是不可避免的，公司需要适应以保持相关性。

调查数据证实了Snowflake增长势头放缓

下面的图表基于对1700名IT决策者的调查（包括264个Snowflake账户）。它展示了这264个账户中Snowflake的净得分的细化程度。净得分是根据ETR专有方法学的支出速度衡量指标。淡绿色的柱状图显示了新增客户中采用Snowflake的百分比。深绿色表示支出增长6%或更多的百分比。灰色表示支出保持不变。粉红色的柱状图显示支出下降6%或更多，亮红色表示流失。将绿色减去红色得到净得分。蓝线表示净得分，黄线表示数据集中提及的占比。

值得注意的要点有：

• Snowflake的净得分在2022年1月的调查中达到峰值，自那以后稳步下降。

• 它仍然非常高，位于数据集中最高水平之间。

• Snowflake净得分的下降是由于客户群体内支出保持不变的重大转变。这一点在Snowflake的盈利电话会议上得到了强调，CEO Slootman表示“首席财务官是业务的一部分”，意味着财务职能对支出增长施加了限制。

• Snowflake账户的流失非常小，支持其150%以上的净收入保留率（NRR）。

Snowflake和Databricks竞争定义“现代数据平台”

现在让我们分享一个不同的观点，并将Databricks纳入考虑范围，看看它们与Snowflake相比如何。这个图表比较了Snowflake（N=264）、Databricks（N=225）和Streamlit（N=111）的数据。它以净得分或支出动力为纵轴，基于N值的账户重叠/存在为横轴。波动的线表示随时间的变化。

数据中的几个要点值得注意：

• 过去两年多来，Databricks在企业中的存在明显增加，两家领导者之间的账户重叠设定了一场即将来临的竞争。

• Snowflake的净得分下降使其与Databricks保持一致。

• 尽管面临宏观压力，但这三个平台都在40%线以上，这是高度提高的支出速度的指标。

让我们深入探讨这次关于这些数据要点的讨论中出现的关键要点。

讨论从Furrier承认Snowflake的流失数据的有效性开始。尽管当前的经济逆风导致市场放缓，但Snowflake的流失率很低。因此，它们并没有失去客户，与云服务提供商之间的动态相似。目前的主要变化，如目前围绕人工智能的炒作，往往会导致买方市场冻结。这导致“等待观望”的态度，进一步降低了该行业的支出速度。但是客户并没有离开。

讨论中出现了一个重要的比较，即Snowflake和Databricks这两个市场上的重要参与者。Snowflake的强大商业模式使其脱颖而出，并使其在早期领导市场。然而，Databricks通过利用开源社区并不断增强其强大的产品组合获得了大量增长。

讨论中一个重要的焦点是数据保留策略。例如，Snowflake为客户存储大量数据，但问题是——所有这些存储的数据是否被有效利用？这是在盈利电话会议上讨论的话题，客户被迫控制成本，缩短保留时间是一种合乎逻辑的方法。

Floyer强调，随着时间推移，数据的价值会降低，促使在更分布式的形式中向高效地捕获和提取数据价值的方向转变，然后将其丢弃。巴克莱分析师Raimo Lenschow在盈利电话会议上提出了一个重要问题，即短保留时间的趋势是否可能持久存在，并且这是否会导致未来的数据存储需求发生变化。

• 预计数据捕获和利用效率的提高将导致更多的数据是短暂的。

• 然而，由于新兴行业和用例的出现以及人工智能的影响，生成的数据量将如此庞大，以至于它将继续呈指数级增长。

Furrier提出了“超级数据扩展者”（hyper data scalers）的概念。这些可以类比于云超大规模扩展者（cloud hyperscalers），但专注于为基础的人工智能模型存储大量数据。

• 这与数据存储和使用模型的持续演变相一致，基于基础的人工智能模型推动着这种变化。

• 存在一种可能性，即出现与目前的Snowflake和Databricks等公司提供不同的数据云形式。这些将支持更分布式的云数据架构，但将需要新类型的数据库和标准。

对话结束时，重点讨论了历史数据对人工智能的价值，特别是对于模式识别和训练人工智能模型的价值。有人猜测，在未来的数据基础设施模型中，重点将不再是存储，而是实时使用和领域特定数据。这可能会在未来显著改变数据处理的格局。

总结：Snowflake和Databricks目前的发展势头值得关注。这两家公司都有强大的管理团队和似乎忠诚的客户群体，并且它们都可能有效地利用人工智能。市场足够大，两者在短期和中期都有可能蓬勃发展，长期趋势围绕实时数据和人工智能推理挑战现状。

企业版的Uber——数据应用的未来

应用程序的世界正在转向数据应用。当今的数据孤岛主要是由数据嵌入到自动化流程的应用程序中造成的。我们越来越相信，业务逻辑将被融入到数据中，应用程序将采用这种新模式构建。我们经常使用的例子是企业版的Uber，其中创建了您企业的数字孪生。人、地点和物品被作为独立的数据要素数字化，但这些数据"产品"是可发现的、受控的，并且具有一致性。语义层使这些数据要素能够完全连接并被系统和彼此理解。

以Uber为例...乘客和司机根据需求和供应的相关数据（目的地、预计到达时间和价格）进行连接。这是实时进行的，而不会在可用性、延迟和一致性之间产生重大的权衡。我们认为这类应用程序将需要围绕数据架构、标准和平台进行新的思考。但更重要的是，它将推动企业实现新的自动化水平和生产力。

以下是三位分析师在使用Uber作为例子时关于生产力影响的总结：

• Uber员工的人均收入：Uber成功利用汽车、司机、街道和路况数据优化业务，所以每位员工的收入显著增长。从2021年到2022年，Uber每位员工的收入从60万美元增长到97.1万美元，远远超过典型软件公司每位员工22.5万美元至25万美元的收入水平。

• 自动化和人工智能对企业的影响：Uber的自动化模型代表了未来企业必须广泛自动化并利用人工智能来保持生存的趋势。不在十年内采用这种模式的公司可能面临来自使用人工智能工具和实时数据更有效的新兴初创公司的重大风险。

• Elon Musk对行业生产力的影响：Elon Musk通过创新的生产力方法在汽车和航天等行业产生了重大影响。通过制造“软件汽车”而不是硬件汽车，并在SpaceX等方面进行类似的创新，Musk表明企业必须适应新的技术和工作流程才能生存和蓬勃发展。

• 实时数据捕获至关重要：对于决策而言，最有价值的数据是实时数据。像Uber这样的公司通过基于即时数据进行实时决策而取得了成功。

• 现有企业与新进入者中的人工智能：Dell、IBM、HPE、Oracle、ServiceNow和Salesforce等现有企业当然可以利用人工智能。然而，人们相信一种类似于关键字搜索的新模式，最初被忽视，但最终成为行业的重要变革者。

• 向简化的转变：专家小组预测技术的持续转变代表了一个新的范式。这种转变很可能催生新的初创公司，就像互联网的兴起一样。我们相信下一波浪潮将专注于简化事物并减少完成任务所需的步骤。与互联网的崛起一样，能够在这个新兴市场中开展工作并加以改进的公司将能够获得最大的价值。大公司也将参与其中，从这种转变中获得他们应有的价值份额。

与以往的公司不同，尤其是在东海岸小型计算机业务的衰落中（Apollo、DEC、DG、Prime、Wang），如今的领导者对于颠覆性技术更加警惕。但是，盲点仍然存在，常常现有企业过于专注于保护自己的市场份额，导致增长放缓和缺乏创新。人工智能代表着现有企业将自动化引入现有平台以及颠覆者将新模式引入行业的机会。

与互联网不同，互联网通常被视为位（数字信息）和原子（实体物品）业务之间的两种方向的机会，人工智能具有更广泛应用的潜力，可能变得更加普遍。