CXL将如何革新数据中心

Source: Tobias Mann, Bye-bye bottlenecks. Hello composable infrastructure?, Mon 16 May 2022

CXL（Compute Express Link）有可能从根本上改变系统和数据中心的构建和运行方式。经过190多家公司多年的联合开发，开放标准几乎已经准备好进入黄金时期。

CXL主席兼英特尔技术计划总监Jim Pappas的解读：对于那些不熟悉的接口，CXL 定义了一个通用的缓存一致性接口，用于连接 CPU、内存、加速器和其它外设。它对数据中心的影响是广泛的。

因此，随着第一批与CXL兼容的系统预计将于今年晚些时候与英特尔的Sapphire Rapids Xeon Scalables和AMD的热那亚第四代Epycs一起推出，我们问Pappas他预计CXL将如何在短期内改变这个行业。

组合内存基础设施

根据Pappas的说法，CXL的首批实现之一可能涉及系统内存。他解释说，到目前为止，只有两种方法可以将更多内存附加到加速器上。要么添加更多 DDR 内存通道以支持更多模块，要么必须将其直接集成到加速器或 CPU 封装上。

“你不能把内存放在PCIe总线上，”但使用CXL你可以，Pappas说。“CXL是为加速器设计的，但它也被设计为具有内存接口。我们从一开始就知道，这可以用作不同的内存端口。

无需使用更多或更大的内存模块填充系统，而是可以使用PCIe和CXL的通用接口通过卡安装额外的内存。由于 CXL 2.0 规范中引入了简单的交换系统，因此多个系统可以同时池化和访问包括内存在内的资源。

Pappas 强调，请务必注意，在此配置中，只有资源本身而不是内存内容在主机之间共享。“每个内存区域最多属于一个一致性域。我们不是在试图分享内存；这变得更加复杂。”

另一个场景涉及分层内存架构，其中系统利用软件包上的高带宽内存，直接连接到CPU的相当大的快速DDR5内存池，以及通过CXL模块连接的更大的较慢内存池。

根据Pappas的说法，内存池和分层内存对数据中心和云运营商有影响。“云客户面临的最大问题是他们的主要费用是内存。他们设备支出中大约有 50% 用于内存，“他说。

通过汇集这些内存，Pappas认为，运营商可以通过减少闲置的内存量来实现巨大的成本节约。Pappas说，由于池化或分层内存的行为与连接到CPU的系统内存没有任何不同，因此不需要修改应用程序即可利用这些技术。如果应用程序“需要更多内存，那么现在基本上有无限的供应”。

这项技术也不是理论上的。内存池和分层内存是CXL初创公司Tanzanite Silicon Solutions在本月早些时候被Marvell Technologies收购之前正在研究的几种技术之一。

Marvell认为，这项技术将被证明是实现真正可组合基础设施的关键，到目前为止，这些基础设施在很大程度上仅限于计算和存储。

告别 AI/ML 瓶颈

Pappas还希望CXL通过实现CPU，AI加速器和/或GPU之间比目前通过PCIe实现的更亲密的关系来使AI / ML工作负载受益。

在基本级别上，CPU 与外围设备（如 GPU）交互的方式是通过 PCIe 总线批量来回发送加载/存储指令。CXL 消除了此瓶颈，使指令基本上能够在加速器和主机之间流式传输。

“这与双处理器系统中发生的情况非常相似，其中缓存在处理器之间保持一致。我们正在将其扩展到加速器，“Pappas说。

他告诉我们，英特尔和其它公司过去曾尝试为加速器开发标准化互连，但失败了。部分问题在于与这些互连相关的复杂性在组件之间共享，这使得将它们扩展到第三方变得非常困难。

“当我们在英特尔试图做到这一点时，它是如此复杂，以至于几乎没有人，基本上没有人能够真正让它工作，”Pappas透露。他认为，使用CXL，基本上 所有 的复杂性都包含在主机CPU中。

这种不对称的复杂性并非没有权衡取舍，但Pappas认为它们是值得的。它们以应用程序类同的形式出现，特别是加速器获得对缓存或内存的优先级访问，并且必须进行第二次处理。

Pappas声称，通过客户通常知道加速器将访问哪些内存区域而不是主机访问的区域，这种情况在一定程度上得到了缓解。用户将能够通过在bios中设置偏差来适配。

下一步是什么？

CXL标准还没有完成。CXL联盟预计将在今年晚些时候发布3.0规范。

Pappas调侃，此更新包括从每秒32 GT/s到64GT/s的升级，这与计划迁移到PCIe 6.0以及支持许多新的内存使用模型一致。

该规范还引入了以非-非对称方式实现 CXL 互连技术的途径。此功能将允许GPU或NIC等设备直接与其它CXL设备交互，从而完全消除CPU作为瓶颈。

“这将非常重要，因为你会得到多个需要持续运行的加速器，”他说。

最后，该规范通过引入多级切换揭示了 CXL 结构。

CXL网络结构将是将技术扩展到机架级别之外的关键。有理由相信，在Gen-Z之后，这可能会出现在3.0版本中 —— 不要与世纪之交之后出生的成年人一代混淆 —— 去年年底将其一致性内存贡献给CXL联盟。

降低您的期望

尽管 CXL 对于数据中心的未来来说可能令人兴奋，但不要指望它会在一夜之间取得成功。该技术正处于起步阶段，第一代兼容系统预计将于今年晚些时候推出。

Pappas预计配备CXL的系统将分阶段出现，分层内存和内存池可能是第一个主流场景。

“明年，第一轮系统将主要用于概念验证，”他说。“说实话，没有人会采用从未尝试过的新技术。

在概念验证之后，Pappas预计在该技术最终开始在生产环境中出现之前，至少还需要一年的实验部署。