查看原文
其他

驾驭数据海啸:ChatGPT和LLMs引领存储行业的颠覆

常华Andy Andy730 2024-03-16
【ANDY】基于开源软件的SDS全部没戏。另外,Chris忘了提造价(TCO)。

Source: Chris Mellor, ChatGPT, LLMs, and storage, May 25, 2023

分析

IT分析领域正被对大型语言模型(LLMs)机器学习和生成式人工智能(GAI)的浓厚兴趣所主导。去年11月底发布的ChatGPT聊天机器人引起了巨大的关注量,一周内就吸引了100万用户,并带来了谷歌的Bard和亚马逊的Titan等类似基础模型应用的蓬勃发展。

这种GAI具有理解文本请求并输出合理答案的能力,有潜力应用于整个企业和公共部门的IT领域,从根本上改进搜索和分析。在未来十年内,它们的使用威胁/承诺着取代和/或提升各种知识工作者的生产力,包括呼叫中心和内部销售人员、会计师、律师和金融分析师等。

对GAI的迅速崛起引起了IT行业的关注,此类影响正在被Forrester、Gartner等分析师和研究机构进行研究和预测。数据存储行业的一部分将从GAI的采用中获得强劲的销售利益,我们已经试图对其进行分类。

一份由William Blair撰写的长达126页的文件《Generative AI: The New Frontier of Automation》为此工作提供了大量信息。

硬件

  • DRAM - 对于运行LLMs的CPU/GPU服务器,包括用于训练和推理的高带宽内存(HBM),将需要更多、更多、更多的DRAM。

  • PCIe - PCIe 4和5.0的组件供应商应该为需求激增做好准备。

  • CXL - CXL 2.0内存池化将从LLMs获得巨大推动,包括CXL硬件供应商,如DRAM扩展器、CXL交换机和组件。诸如美光、三星、SK海力士等公司都将受益。

  • NAND和固态硬盘(SSD)- 需要更多、更多、更多的存储,重点是支持NVMe、PCIe 4.0和5.0连接,以及性能和容量的混合。这表明QLC和高层数的TLC NAND将受益。所有的NAND工厂和SSD供应商都应该将目光聚焦在这个市场上。

  • 存储阵列 - 需要高容量和高速IO。人工智能/机器学习集群将需要以PB级的容量。LLM的训练运行将需要高速读取数据集和写入检查点。这将需要由硬件和软件实现的并行访问。LLM的推理运行将需要高读取访问速率,并具有并行数据传递路径到处理器。

我们认为,这将主要有利于使用NVMe协议和具有Nvidia GPU服务器的GPUDirect支持的文件访问全闪存阵列。供应商,如DDN、NetApp、Pure Storage(AIRI)和VAST Data在这方面具备良好的优势。Panasas在边缘人工智能方面看到了机会。对象存储和块存储供应商的优势不如此明显。

我们认为,缺乏GPUDirect支持的供应商应该紧急追求此项技术。

软件

  • 以CXL为重心的软件 - MemVerge和Unifabrix等供应商应该预计他们的产品将出现大规模和持续增长的兴趣。

  • 数据分析 - 供应商需要紧急调查采用LLMs前端。

  • 数据库、数据仓库和数据湖 - 它们需要支持LLM模型所需的向量嵌入。紧急需求是调查和试用聊天机器人前端,以满足用户需求。这将使非数据科学家和不熟练的SQL用户能够运行复杂的分析。他们还有机会找到ETL(提取、转换和加载)过程,快速将选定的数据传送到LLMs进行训练和推理运行。以SingleStore和Databricks为例。

  • 数据管理器 - 他们可以通过应用LLM技术来分析其数据集,并向LLM过程提供数据来获益。以Cohesity为例。

  • 高速阵列 - 供应商可能会发现将他们的软件移植到公有云中(用于运行GAI模型)是值得的。这样他们就可以支持那些采用混合本地/公有云方法运行LLMs的客户。

  • 规模化并行文件系统 - IBM(Storage Scale)和WEKA等供应商处于有利地位,因为他们的现有客户采用了GAI技术,新客户寻求快速和高容量的文件访问软件。这些供应商有可能成为赢家。

间接受益者和不受影响者

  • 云文件服务供应商 - 他们可以使用存储在云中的数据集来提供给LLMs,但数据需要从底层对象存储中转移到更快的访问存储中;换句话说,需要某种形式的ETL。除非像AWS、Azure和Google这样的云服务提供商能够找到类似于GPUDirect的方式,将数据从S3和Azure Blobs传输到他们的GPU实例。

  • 数据编排器 - 如果他们能够编排供应LLMs所需的数据,他们可能会间接受益。

  • 数据保护和安全 - 供应商需要了解与其管理设施的聊天机器人接口,以更好地保护和安全地管理数据集,并识别漏洞。特定领域的聊天机器人可以检查组织的攻击面,并确定保护措施。数据保护备份数据集可以通过ETL过程提供给LLMs。

  • 磁盘阵列 - 这类产品速度太慢,只能用作闪存主存储的第二层存储。

  • 生命周期管理器 - 供应商需要研究聊天机器人接口如何提高用户的生产力。

  • 安全供应商 - 聊天机器人和其他人工智能技术可以提高它们在检测和应对恶意软件以及处理用户交互方面的效果。

  • 软件定义存储供应商 - 如果找不到满足高性能访问需求的方法,将面临被GAI浪潮抛在后头的风险。

  • 存储管理员 - 聊天机器人可以提高他们的生产力,或者用于使技能较低的员工能够执行更高级的工作。

  • 磁带系统 - 存档系统在为LLMs提供数据方面速度太慢,但仍然有其应用价值。

  • Web3 - 在LLM的世界中,这样的存储技术无法发展。速度太慢。
继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存