PCIe须与计算引擎和网络的节奏保持一致

Source: Timothy Prickett Morgan, PCIe MUST MATCH THE CADENCE OF COMPUTE ENGINES AND NETWORKS, July 7, 2023 

当系统架构师设计下一代平台时，他们首先会查看来自CPU、加速器、内存、闪存、网络接口卡以及PCIe控制器和交换机供应商的一系列路线图。在那些具有多种计算和存储类型以及将共享加速器和存储器等组件的集群中，交换机变得越来越重要。

问题是：这些路线图实际上并不太协调。大多数CPU和GPU制造商试图每两年进行一次重大的计算引擎升级，在两次重大发布之间的一年内进行架构和工艺调整，以便每年都有新产品可售。用于网络交换机和以太网、InfiniBand市场接口卡的芯片制造商通常也在两年的周期内推出新产品，并且过去与英特尔至强CPU的发布周期紧密配合，但这种节奏已被英特尔不断改变的路线图、AMD作为CPU供应商的再次崛起以及包括至少三家超大规模计算和云构建公司在内的其他Arm CPU制造商所打破。

此外，还有PCIe总线，在过去的二十年里发展不一致。虽然近年来PCIe规范的发布更加可预测，PCIe控制器一直忠于PCIe路线图，但PCIe交换机在MicroChip和Broadcom的产品发布方面相对滞后。

在一个宁静的七月早晨，我们思考这些事情，我们认为所有这些路线图需要更好地协调一致。具体而言，我们认为控制PCIe规范的PCI-SIG组织需要加快步伐，采取两年的节奏，而不是过去二十年平均三年的节奏。同时，在我们考虑这个问题的时候，我们认为行业会更好地服务于PCIe 7.0的快速节奏跳跃，这需要尽快推出，以使I/O带宽和通道数量与高吞吐量的计算引擎以及我们预计PCIe总线将越来越多地用于处理基于CXL的分层共享主存的需求保持更好的协调。

我们对PCI-SIG的带宽图进行了微调，该图没有显示PCIe 6.0规范在2022年发布，而是在2021年发布，这是不正确的。

不要误会我们的意思。我们对PCI-SIG组织表示感谢，这是一个数据中心和边缘计算领域各种公司之间的合作平台，自从2017年发布了最后的PCIe 4.0规范以来，PCIe总线能够按照可预测的路线图发展。在此之前，由于信号和材料方面存在一些困难，数据中心在PCIe 3.0上停滞了七年。在当时，英特尔主导了CPU市场，并且在提升I/O方面稍有犹豫，因为它在与“Sandy Bridge” Xeon E5处理器一起使用的芯片组中的SATA端口上出现了问题，这些处理器于2012年3月推出，晚于预期。此后，关于将PCIe 4.0和PCIe 5.0控制器集成到处理器中的困难问题一直存在着各种传言。

通常情况下，PCIe规范发布后，大约一年左右就会看到计算引擎和网络接口芯片中嵌入了控制器。因此，当PCIe 4.0在2017年发布时，我们在2018年看到了第一批使用它的系统，具体来说是IBM基于Power9的Power Systems机器，随后是AMD在2019年8月推出的“Rome” Epyc 7002系列处理器上的应用。直到2021年4月，“Ice Lake”一代的英特尔Xeon SP处理器才嵌入了PCIe 4.0控制器。

即使是在2019年迅速跳跃到PCIe 5.0规范，直到2021年，IBM在高端Power E1080机器上推出Power10处理器，才有产品中使用。AMD直到2022年11月推出的“Genoa” Epyc 9004系列处理器才具备PCIe 5.0，而英特尔直到2023年1月推出的“Sapphire Rapids” Xeon SP处理器才嵌入了PCIe 5.0。

因此，从CPU控制器的角度来看，PCIe 4.0和5.0之间实际上是一个三年的周期，尽管规范上只有两年的短跳跃。

我们认为规范和产品需要采取更短的两年节奏，以使计算引擎和互连技术能够协调一致。这也包括PCIe交换机ASIC，它们在3.0、4.0和5.0的规范中一直相对滞后，虽然它们已经广泛可用。

PCIe端口和PCIe交换机在任何给定的世代之间的滞后是一个问题。这种延迟迫使系统架构师在组合性（理想情况下在pod级别使用PCIe交换机）和带宽（通过直接服务器插槽提供）之间做出选择。系统和集群需要同时考虑组合性和带宽，并且我们还要加入高阶数。

目前，只有两家PCIe交换机制造商，即Broadcom（通过其多年前的PLX Technologies收购）和MicroChip。我们在2021年2月的专栏中介绍了MicroChip的Switchtec ASIC，它们在PCIe 5.0级别上从28到100条通道和16到52个端口进行扩展，但据我们所知，它们尚未大规模出货。Broadcom在2022年2月发布了其PCIe 5.0芯片组合，其中包括ExpressFabric PEX 89100交换机，它具有24到144条通道和24到72个端口。我们正在核实这些产品是否已开始出货，但到目前为止还没有收到Broadcom的回复。

我们的观点是，PCIe交换机必须在与支持特定PCIe级别的芯片同时推出计算服务器、内存服务器和存储服务器的时候。确切地说，必须在第一天就能够将交换机嵌入服务器，而不会丢失带宽、端口或牺牲阶数来获取带宽。因此，我们需要有很多供应商以防其中一家出现问题。这也是为什么我们最近一直在努力鼓励Rambus进入PCIe交换机ASIC市场的原因之一。

正当PCI-SIG发布PCIe 7.0规范的0.3版本时，所有这些都是我们关注的焦点。

让我们回顾一下一年前我们对PCIe路线图的预测，当时PCIe 6.0规范已经完成，PCIe 7.0正在崭露头角：

预计PCIe 7.0规范将于2025年获得批准，这意味着我们不会在2026年末或2027年初看到它在系统中的应用。我们认为这个等待时间太长了。我们需要PCIe 7.0提供加速器所需的带宽，以处理大量用于运行模拟或训练AI模型的数据。我们需要它与完全复杂的CXL 4.0规范相匹配，以实现共享和汇集内存。

我们理解，加速推出PCIe 7.0控制器和交换机将是困难的，同时也需要加速推出各种产品。无论是计算引擎还是外围设备制造商，都会不愿意放弃尽可能多的PCIe 6.0产品周期的投资。

然而，随着PCIe 6.0产品的推出和经过严格的测试（由于其采用了新的PAM-4信号传输和FLIT低延迟编码），我们认为整个行业应该开始加速，并尽可能与CPU和GPU的路线图保持一致，与它们形成两年的步调。

使各个组件保持平衡，然后一起向前迈进。