数据中心内存管理的未来

Source: Chris Hayner, Micron Discusses the Future of Datacenter Memory Management at OCP's CXL Forum, March 9, 2023

介绍

2022年10月20日，Micron参加了Open Computing Project（OCP）的CXL论坛。该论坛是OCP全球峰会的重要组成部分，描述CXL的计划，并展示当前和未来的CXL技术。

CXL过去和现在的能力

Compute Express Link（“CXL”）是一种开发标准，用于通过PCIe将设备链接在一起，这些设备以前仅在服务器内部通信。可以链接的设备类型取决于CXL版本。例如，在2019年，CXL 1.1引入了直接从一台机架式服务器中的CPU与位于服务器或另一个机架式节点上的内存扩展器进行通信的功能。2020年推出的CXL 2.0增加了对单级CXL交换机的支持，以便系统可以通过结构连接到多个CXL兼容设备，而不需要1:1连接。到了2022年，CXL 3.0版本描述了可以使用PCIe 6.0、多级交换和双倍总带宽以及许多其他功能的连接。

CXL的最终目标是完全重新定义数据中心，以实现更大的设计灵活性。该标准得到了您能想到的所有主要制造商的支持：从Intel、Micron和NVIDIA等硬件和CPU制造商，到IBM、Google和Meta等软件和平台提供商。

2021年，宣布Micron已停止开发3D XPoint内存，转而专注于CXL的未来。这看起来是正确的决定，因为Micron所做的演讲表明，CXL的潜力将大大超过3D XPoint项目的预期。

Micron的演讲强调了这样一个事实，即CPU设计一直强调更高的内核数量，而芯片和主板设计意味着标准内存部署无法从带宽角度跟上——特别是对于资源密集型应用程序。应用程序需要的是更快地访问更多内存，而CXL可以提供这一点。这是因为PCIe总线处理处理器和内存之间的通道。CXL不受主板每个通道的DIMM数量限制的限制——由于新的DDR设计，这些限制在未来将受到更多限制。

如今，使用CXL解决内存管理问题

CXL内存池是专门为此问题设计的功能。如果您的主机需要更多内存，则可以以专用方式从另一台主机分配该内存。此CXL总线连接将允许每个主机的超高内存分配远远超过主系统内存限制。

请参阅下图，其中显示了CXL 2.0如何启用内存池：

确实，CXL上的内存会比主板上的DIMM慢，但不会像您想象的那么多（Micron指出，基于CXL的服务器显示从CPU到CXL内存的延迟“相当于单个NUMA跃点”）。Micron还强调，工作负载容量和带宽可以“拨入”，因为随着时间的推移观察和微调系统性能，以利用不同的内存“层”。有许多非常耗费内存的应用程序，例如AI/ML、NLP和内存数据库，即使与板载DIMM相比不是100%的线路速度，它们也将从这种额外的系统内存容量和带宽中受益匪浅。

结论

CXL有很多值得喜欢的地方，Micron展示了现有硬件和CXL未来的性能优势。此外，与购买全新的服务器相比，仅通过CXL兼容设备升级内存分配具有TCO优势。在后CXL 3.0的未来，这种灵活性将从内存扩展到您能想到的基本上任何系统组件——CPU、GPU、存储等。

虽然该标准已经存在了一段时间（请记住，CXL 1.0是在2019年宣布的），但直到去年左右，我们才看到了该技术的实际应用示例。Micron的演讲展示了CXL将为数据中心带来的实际好处。