【ANDY】VAST Data想做的不是一家存储公司，正如Cohesity早已不是一家灾备公司。奇迹正在发生！Source: Chris Mellor, VAST Data makes moves towards Thinking Machines: it's no longer a storage company, May 30, 2023存储供应商 VAST Data 正在构建一个 Thinking Machines 级系统，该系统拥有自己的可查询人工智能数据库，用于提出和回答分析问题，这些问题在 SuperPOD 等 Nvidia GPU 服务器上处理。我们从垂直集成的人工智能超级计算环境的角度分析了VAST Data的简报——从底部的 VAST Data 存储节点运行存储容量和 I/O，控制逻辑封装为运行在 x86 CPU 中的容器，或连接到 Nvidia GPU 或 GPU+CPU 系统的 BlueField-3 数据处理单元 （DPU），以及数据基础设施软件堆栈。这将提供接收和理解深度学习类型数据请求的能力——包括文本、视频、图像、基因组学和其它类型的数据。生成式AI，如ChatGPT，使英伟达的市场重要性飙升。VAST Data的联合创始人兼首席执行官Renen Hallak告诉我们：“这就是未来。现在每个人都知道了。一年前、两年前、三年前，我们在谈论人工智能。大多数人都不明白我们在说什么。但现在ChatGPT已经让它流行起来了。”回顾过去：“我知道（AI）会来。没想到来得这么快。我以为我们有更多的时间。生成式AI完全符合VAST的工程发展方向。”他说，人工智能需要“在基础设施上运行。该基础设施需要在硬件上运行。”硬件的处理部分需要数据——“所以我们构建的第一件事是非结构化数据存储。”这是 VAST Data 的通用存储，具有解耦的共享所有内容（DASE）、横向扩展、单层、全闪存架构，并将存储类内存用于元数据。该系统存储非结构化（文件和对象）数据，并具有通过 NVMe 以太网结构与 NVMe SSD 通信的控制节点（专用 x86 系统）。控制节点运行 VAST 的控制逻辑，该逻辑是容器化的。为此，还添加了一个数据目录软件层，用于生成有关系统中每个文件和对象的元数据。它以 SQL 可查询的表格格式存储——这意味着它是一个数据库，它为数据添加了一层结构。但它不是事务类型的数据库，例如关系型 Oracle 或 SAP 系统。该系统基本上是一个支持 AI 的 NAS，而不是 HPC 并行文件系统，这意味着现有的基于文件的企业可以采用它，而无需了解 HPC 和并行文件系统。VAST Thinking Machines概念的B&F图
VAST的控制逻辑可以在Nvidia的BlueField DPU上的Arm处理器上运行，甚至可以在Nvidia即将推出的Grace Hopper超级芯片的CPU中运行。Hallak热衷于垂直整合概念，将VAST软件，Nvidia计算和存储硬件嵌入到单个系统中。我们认为，我们已经看到了它的第一次启动迭代，VAST被认证可用于Nvidia的SuperPOD。他说：“垂直整合给你力量。如果我们知道数据在哪里以及如何存储，我们就能够访问它并以更有效的方式从中产生洞察力。”在Hallak看来，英伟达必须与无共享并行文件系统供应商和集群双控制器全闪存系统合作，因为他们是唯一提供运行AI应用程序的GPU所需的数据I/O速率的供应商。他说，现在，VAST允许使用标准接口NAS以类似或更好的速率向Nvidia的GPU提供数据。这是因为其 DASE、横向扩展、全闪存架构以及将存储类内存用于元数据。他说，企业会发现采用带有NAS型存储设施的Nvidia SuperPOD AI比使用并行文件系统更容易，后者是一个复杂且容易停机的HPC利基市场。在 Hallak 看来：“并行文件系统不够容易使用，也没有足够的弹性进入企业。...企业无法处理并行文件系统。因此，英伟达意识到存储系统限制了他们的扩张。”到目前为止，“企业级文件系统的速度不足以为 GPU 提供数据。他认为，VAST 的技术得到了 SuperPOD 认证的证实，这意味着它是第一个将并行文件系统 I/O 速度和可扩展性与企业 NAS 可靠性和可接受性联系起来的企业级文件系统。”“我可以告诉你，我们已经出售了几笔SuperPOD交易——SuperPOD，与它们相关的大量交易。而且我们还有很多很多很多正在筹备中。现在，我们已经宣布了，基本上任何试图构建大型AI集群的人都会打电话给我们，并问：‘我真的不再需要并行文件系统了吗？’这推动了我们业务的更大份额。”至于替代的企业 NAS 系统，Hallak 说：“您无法将这些架构扩展到这些新工作负载所需的水平。...我们今天的集群大小只有半EB。”这既是容量问题，也是大规模的 I/O 问题，而不仅仅是一个或另一个问题。他指出：“你可以做很多访问一点点容量。[或者]你可以用一点点访问权限来做很多容量。他说，VAST的技术可以实现高容量和高I/O速率。”将开发数据目录。Hallak说：“现在它是以表格形式构建的。因此，它与您在数据仓库中找到的内容非常相似。但随着时间的推移，我们将向这个数据库添加更多功能。” 我们提到了矢量嵌入数据类型（对于AI工作是必需的），但Hallak不愿透露。我们的印象是支持矢量数据库功能。他说，VAST系统“是一个数据分析软件数据平台”。它与数据仓库和数据湖库公司不同，因为“这些公司是为数字机器学习而构建的——数据库的行和列。我们构建它不是为了数据库的数字、行和列，而是为了图片、基因组和视频的深度学习。”传统上，存储公司不构建系统级基础设施软件。然而，这正是VAST正在做的事情。Hallak说：“我喜欢看看需要解决的最大问题是什么。这个问题的最佳解决方案是什么？我们离最佳解决方案有多近？这样，我发现我们构建的东西与其它人构建的东西完全不同。”“你发现存储公司不会构建数据库功能。这是因为他们相互看着，然后说‘没有其他公司这样做，我们也不会这样做。’我们向客户提问，‘你想看到什么？’然后我们进行相应调整。我们利用我们的架构以一种比以前更好的方式进行实现。”他的存储注意力的焦点是向上移动堆栈。Hallak再次表示：“一切都以数据为中心。...您仍然需要一个硬件部件和 SSD 来存储信息。您仍然需要一个 CPU 来运行逻辑。您仍然需要一个网络来连接这两者。...我们就是数据，三明治数据基础设施堆栈的中间。”“无论我们的客户把我们带到哪里，我们都会扩展到哪里。我们从存储开始，因为它是数据中心的锚点。它需要修复，以便您可以快速访问大量信息。现在我们已经解决了这个问题，我们正在努力构建这个难题还有很多其它部分。”他表现出的野心，对人工智能潜力的看法是巨大、非同凡响的。“我可以说，无论是谁最先构建出真正的人工智能——当我说真正的人工智能时，我指的是一台能够产生可以比我们更好地解决和理解能源问题、理解疾病问题等等的想法的机器——他将成为地球上最富有的人。因为那将是游戏结束。一旦我们达到那个水平，你就可以接管其他一切。”Hallak正在推动VAST构建一个软件集成层，该层将成为具有AI功能的前端和数据库。它将是一个垂直集成的存储到CPU + GPU到数据基础设施软件系统。在我们看来，他希望这成为企业生成人工智能的主力，通过它，VAST 的收入将攀升至每年数十亿美元。HPE采用VAST的GreenLake将把VAST系统汇集到中端企业级存储，而中端企业级迄今为止一直被VAST所忽视。VAST自己的销售队伍将专注于大型企业，并驾驭Nvidia的生成式AI浪潮，超越AI市场中的其它所有存储供应商。创业公司创始人必须对自己的判断有信心，对时机有信心，并且市场需要他们的产品。Hallak坚信VAST在正确的时间出现在正确的地点，提供满足需求的正确的产品。三大公有云也在生成式AI游戏中。戴尔的Project Helix，Pure Storage以及DDN，IBM，NetApp和WEKA也是如此。他们都渴望生成AI的荣耀，不想向VAST Data让步。这将是一场全面的冲突。----------------[以下为2022年的另一篇评论文章]----------------Source: Chris Mellor, How VAST Data could realize Thinking Machines' vision, March 29, 2022VAST Data联合创始人首席执行官Renen Hallak和CMO Jeff Denworth的评论表明，该公司将开发数据基础设施软件，以帮助实现早已倒闭的超级计算公司Thinking Machines的愿景。这与 VAST 的通用存储所实现的巧妙方式存储数据位还有很长的路要走。去年五月，Hallak告诉Protocol Enterprise的一位作家，VAST希望运行自己的数据科学平台，他说其轨迹将使其与包括Databricks在内的供应商竞争。“我们认为五年后...该基础设施堆栈需要非常不同。它需要启用人工智能超级计算机，而不是我们过去拥有的应用程序......垂直整合增加了简单性。但更重要的是，它允许你充分利用底层技术。”Hallak暗示，VAST Data将寻求构建大部分平台本身：“我们不可能只买别人......并将其绑在我们的系统之上。我们总是倾向于自己做关键部分。如果有任何外围设备不那么重要......那么也许会有收购的空间。”“将不同的数据服务编译成一个产品套件有很大的机会，”他补充说。Denworth在去年11月告诉《Computer Weekly》：“在未来的20年里，我们将看到一类新的应用程序。它不会涉及交易数据，也不会涉及数字化转型。我们将看到计算走向人类，观察、听取和分析自然数据。我们意识到计算不会局限于一个数据中心，并且会使用非结构化和结构化数据。我们也意识到数据具有重力，但高端计算也具有重力。”这将意味着一个新的计算框架，VAST将宣布“非常有雄心的产品”。在一月份，Denworth告诉《The Next Platform》：“Thinking Machines是一家非常独特的超级计算公司，致力于创建一些非常有趣的系统。最终，我们的目标也是要制造出一个可以自我思考的系统。”他补充道：“我们意识到我们可以将这一点推向经典文件系统定义的更远，但我们认识到，对数据有最深入了解的架构可以对如何处理数据做出最佳决策。首先是确定数据的内部情况。其次，根据任何给定时间内最优化的决策，将数据移到计算所在的位置或将计算移到数据所在的位置。”Denworth 在《存储评论》视频播客中告诉 Brian Beeler：“未来 20 年可能会看到我们称之为自然转变的东西，或者计算机开始适应人类......我们意识到，如果你在基础设施层面重新思考一切，那么在未来几年内，我们将把世界带到更高的堆栈上，可以实现一些收益。”“计算机现在肯定可以做人类以前可以做的事情的感官部分；他们能看到，他们能听到，他们可能闻不到那么多，但对自然信息的理解越来越接近人类的理解方式。我认为再次飞跃，从那个到拥有会思考的机器，可能是一个很大的飞跃，也许是一个较小的飞跃。但是一旦你到了一台Thinking Machines，游戏就结束了，除此之外你不需要任何东西。”“所以我认为这是有道理的，我们正在将所有资源用于建设基础设施，以实现下一波浪潮。我认为我们会惊讶于我们可以在可能的情况下走多远。”他谈到了在堆栈的不同部分工作的组织：“我们有，显然是硬件供应商在GPU上工作，我们有像我们这样的供应商在三明治基础设施部分和软件的中间工作，我们有从事生命科学，基因组学，医学成像的应用程序供应商，我们有金融机构，利用所有类型的信息进入他们的系统，这真的很令人兴奋。”数据的到达将驱动活动：“我认为事情正在发生变化。过去，你有一个应用程序，它会从内存或存储中读取数据，以便对其进行操作，然后将结果写入为已知的情况。我认为我们会越来越多地看到以数据驱动的应用程序，数据本身在进入系统时会触发基于该信息的不同特征的需要运行的功能。”“然后，随着我们将其与已存储的其余数据进行比较，我们将递归地运行越来越多的函数，作为我们对这个特定信息的理解结果，尤其是与GPU相关的部分。”Denworth说：“我认为我们被称为VAST Data是一个重要线索。我们正努力构建下一代数据基础架构。”“人们将看到我们在存储空间扩展，并且越来越接近实现客户对通用存储的真正愿景，他们不需要考虑数据的存放位置、访问权限以及可以对其进行哪些操作。”“与此同时，您还将看到我们提供越来越多的非存储部分，根据我们从客户那里获得的反馈。”VAST将“在混合云环境中帮助客户解决他们的数据处理、机器学习和深度学习问题，我们将考虑诸如层级存储等复杂性并将其排除在外……这似乎变得越来越受欢迎，因为人们开始理解一些自然语言处理模型、一些新的计算机视觉或计算机音频模型。所以这是非常令人兴奋的。我们与Nvidia合作的项目非常多。”Thinking Machines 和DatabricksThinking Machines是一家成立于1983年的超级计算公司，旨在利用当时的人工智能技术构建高度并行的系统。其目标是比串行计算更快地处理大量数据，以在几秒钟或几分钟内做出决策，而不是几天或几周。该公司扩张过快，在1994年破产，部分资产被Sun Microsystems收购。它的架构通常需要前端服务器、后端的Sparc CPU和向量处理器。去年二月，我们写道：“Databricks可以在数据湖中快速进行SQL查询和分析，而无需先将数据提取、转换和加载到数据仓库中。该公司声称其“Data Lakehouse”技术的性价比比传统数据仓库高出9倍。Databricks支持AWS和Azure云，并通常被视为Snowflake的竞争对手，Snowflake在2020年9月完成了一次巨大的首次公开募股（IPO）… Databricks的开源Delta Lake软件是基于Apache Spark构建的。”VAST Data计划构建一个与其现有存储平台垂直集成的数据基础设施层，形成当今所称的AI超级计算机。该层将提供数据湖功能，并能够自行启动分析处理；数据流入系统时将触发需要对其进行的功能。VAST的首席技术官Sven Breuner此前确认过这一点，他表示VAST将连接客户的各个独立VAST系统：“现在是时候开始通过在数据库类功能周围和无缝连接地理分布式数据中心的更多层面进行堆栈升级了。”我们认为VAST将使用许多Apache开源软件，例如像Databricks一样的Spark，像Imply一样的Druid，以及像Confluent一样的Kafka。VAST正在研究语音、语言和视觉应用，并将使用Nvidia硬件，如Grace和Hopper芯片系统。我们确信五级单元闪存和CXL总线将在VAST的存储和基础设施路线图中发挥作用。它将在本地和公有云中展示其IT基础设施系统，以帮助客户在混合云环境中解决所有数据处理和深度学习问题。我们认为VAST不会将其Universal Storage软件移植到公有云。Cnode软件可能很容易进行移植，但Dnode结构（存储级内存驱动器前端与NVMe QLC SSD后端驱动器）可能难以在公有云中复制，因为需要适当的存储实例。我们认为更有可能的是，在公有云中将有一套VAST系统可供云服务提供商的客户直接或间接使用。我们了解到VAST将在今年晚些时候的活动中宣布其为期10年的路线图方向。