CXL将引领大内存技术而取代SAN时代

Source: Chris Mellor, CXL-led big memory taking over from age of SAN, June 20, 2022

按：1.转发此文主要是为 Charles 点赞；2.认同他的观点，计算机系统和数据中心级架构正在深刻变革的开端，这想想就让人激动不已。

利用 CXL 2.0 可以创建外部存储器阵列，就像光纤通道在 20 世纪 90 年代中期为外部 SAN 阵列铺平道路一样。 

使用 10TB 以上的内存池动态组合服务器的能力将使更多的应用程序能够在内存中运行，并避免外部存储 IO。存储类内存成为主要的活动数据存储层，NAND 和 HDD 用于温数据和非活动数据，磁带用于冷数据。

这是MemVerge首席执行官兼联合创始人Charles Fan的观点，他讲述了CXL市场的发展情况。

他说：“对于像我们这样在这个领域的人来说，这是一个重大的架构转变。也许是过去10年来该领域最大的一个。这可能会带来一个新的行业，一个可以在多个服务器之间共享的内存结构的新市场。

CXL 是 Computer Express Link，是服务器机箱外部 PCIe 总线的扩展，基于 PCIe 5.0 标准。CXL v1 于 2019 年 3 月发布，基于 PCIe 5.0，使服务器 CPU 能够使用缓存一致协议访问加速器设备上的共享内存。

MemVerge 软件将 DRAM 和 Optane DIMM 持久内存组合到单个群集存储池中，供服务器应用程序使用，无需更改代码。换句话说，该软件已经结合了快速和慢速内存。

MemVerge 大内存方案的 B&F 图

CXL v2.0 增加了对 CXL 交换的支持，通过该交换，多个 CXL 2.0 连接的主机处理器可以使用分布式共享内存和持久性（存储级）内存。此版本的 CXL 由 Intel 的 Sapphire Rapids 和 AMD 的 Genoa 处理器提供支持。

CXL 2.0 主机将拥有自己的直接连接 DRAM，并且能够通过 CXL 2.0 链路访问外部 DRAM。这种外部DRAM访问将比本地DRAM访问慢几纳秒，并且需要系统软件来弥合这一差距。（顺便说一句，MemVerge提供的系统软件。Fan说，他认为CXL 2.0交换机和外部存储盒的可用性最早可能在2025年出现。不过，我们将更早地看到原型。

三星 CXL 内存扩展盒

MemVerge正在与可组合系统供应商Liqid合作，以便MemVerge创建的DRAM和Optane内存池可以全部或部分动态分配给当今PCIe 3和4总线上的服务器。CXL 2.0应该引入外部内存池及其对服务器的动态可用性；可组合性软件的作用。

Fan说：“使用CXL，内存也可以变得可组合。我认为这与云服务模型具有高度协同作用。因此，云服务将支持它，我认为它们将成为这项技术的首批采用者之一。”

我们的想法是，包括公有云供应商在内的超大规模企业完全依赖CXL进行内存池。而且它们没有预先存在的技术来提供外部池存储资源。因此，它们要么自己建造，要么寻找合适的供应商，其中非常非常少。这是MemVerge，看起来像即用型软件。 

对于Fan来说，CXL 2.0“是我们短短五年生命中宏观行业最好的发展”。

他的公司将受到CXL 2.0生态系统的兴起的帮助，该生态系统由CXL交换机，扩展器，存储卡和设备供应商组成。MemVerge的软件已经可以在公有云中运行。SeekGene是一家专注于单细胞技术的生物技术研究公司，通过使用在阿里云i4p计算实例上运行的MemVerge内存机，显著减少了处理时间和成本。

Fan说：“阿里云是第一家向其客户提供支持Optane的实例的云服务提供商，然后我们的联合服务在此基础上，允许封装应用程序，并使用我们的快照技术进行回滚恢复。”

MemVerge将以开源形式提供其基本的大内存软件，以扩大其采用范围，并提供付费扩展，如快照和可能的检查点服务。

外部内存池示例

想象一下，今天有一个包含20台服务器的机架，每台服务器都有2TB的内存。这是20 x 2TB内存块，40TB，任何应用程序都限制为2TB内存。MemVerge的软件可用于将任何一台服务器的内存地址空间增加到3TB左右，但每个服务器的DRAM插槽数量有限，一旦用完，就没有更多的可用空间了。CXL 2.0 消除了这一限制。

现在，让我们重新构想一下由 20 台服务器组成的机架，例如，每台服务器都有 512GB 的内存，而机架则装有 CXL 2.0 连接的内存扩展器机箱和 30TB 的 DRAM。我们仍然拥有与以前相同的DRAM总量，40TB，但现在的分布方式不同，具有20 x 5.12GB块，每个服务器一个，以及一个30TB的可共享池。

内存中应用程序可能消耗高达30.5TB的DRAM，是以前的10倍，从根本上增加了它可以处理的工作数据集并减少了其存储IO。我们可以有三个内存中应用程序，每个应用程序占用 30TB 内存池中的 10TB。此类应用程序执行速度更快的能力将大大提高。

Fan说：“它提升了上限，即在可以使用多少内存方面对应用程序具有的上限，并且可以根据需要动态配置它。所以这就是我认为具有变革性的。“

而且不仅仅是服务器可以使用它。在Fan看来：“GPU也可以使用更具可扩展性的内存层。”

MemVerge 内存存储分层的想法

新创建的DRAM内容仍然必须是持久的，将30TB的数据写入NAND将花费相当长的时间，但是Optane或类似的存储级内存（如ReRAM）可以用于更快的IO。然后，最活跃的数据将存储在 SCM 设备中，活动较少的数据首先进入 NAND，然后是磁盘，最后是磁带，随着数据老化，其活动配置文件变得越来越低。

这种连接到CXL的SCM可以位于相同或单独的机箱中，并且也可以动态组合。我们可以设想 超大规模用户使用这种分层外部DRAM和Optane系统，以使其服务运行得更快，并能够以更高的利用率支持更多用户。

应用程序设计也可能发生变化。Fan补充道：“应用程序的一般逻辑是使用尽可能多的内存。并且仅在您没有足够的内存时才使用存储。对于其他数据密集型应用程序，它将以相同的方式移动，包括数据库。我认为内存数据库是一个普遍趋势。”

“对于许多ISP来说，我认为让基础设施提供更无限的内存将影响它们的应用程序设计——因为它更加以内存为中心。这反过来又减少了它们对存储的依赖。”

CXL 2.0、 超大规模服务器和公有云

公有云供应商可以设置具有明显更高内存容量和SCM容量的其他计算实例类型。它们的高客户数量和规模将使它们能够比普通企业更有效地分摊购买DRAM和SCM的成本 ，并从它们的服务器中获得更高的利用率。

Fan认为，目前的块级存储设备供应商可能会开始生产外部存储器和SCM设备，我们认为，服务器制造商也可以这样做。毕竟，它们已经在当前的服务器中提供了DRAM和SCM。融合基础架构系统可以开始添加 CXL 内存架和软件。

Fan坚信，我们正在进入一个大内存计算时代，CXL 2.0的影响将像35年前的光纤通道一样深远。在SAN时代，Fan说：“存储可以独立管理和扩展以进行计算。”

现在，内存也是如此。我们正在从SAN时代走向大内存时代，世界将由此而改变。