构建更高能效的系统：探索高性能计算的下一步发展
【ANDY】1.PCIe+高速以太网推动数据相关的系统架构革新；2.计算架构已经革新，数据架构革新尚未充分开始，下一代数据存储将出现颠覆式创新。
Source: Roland Dreier, The Next Step in High-Performance Distributed Computing Systems, July 27 2023
或者说内存、I/O和网络带宽之间的关系正在改变
最简单的思考计算进步的方式是，计算机变得更快了——我们用更新的组件构建新系统，旧代码也能跑得更快。有时事情确实就是这么简单：也许芯片制造技术进步了，时钟频率跳升了，或者NAND闪存取代了机械硬盘。
然而，科技的进步往往不均匀，系统架构需要演变以恢复平衡。举个例子，下面是一个比较2020年和2023年服务器中使用的典型内存、I/O和网络技术的带宽的图表（图1）：
所有的东西都变得更快了，但相对比例也完全颠倒了。对于2020年的服务器来说，一条DDR4-3200的单通道带宽几乎是x16 PCIe插槽的两倍，而PCIe Gen3x16的带宽超过了100 Gbps以太网链路。到了2023年，DDR的性能提升了50%，实现了向DDR5的过渡，但是PCIe的带宽却因为从Gen3跃迁到Gen5而增加了四倍，并且以太网的带宽增加了八倍，达到了单链路800 Gbps的速度。一条单独的800G以太网链路的带宽几乎是最宽的Gen5 PCIe接口的两倍，这对于将网卡连接计算资源到网络的传统架构来说是具有挑战性的。
举个具体的例子，比较主流双插槽服务器中使用的代表性服务器CPU，2020年的服务器可能使用“Cascade Lake”第二代Intel® Xeon® Scalable处理器，而2023年的服务器可能使用“Sapphire Rapids”第四代Intel® Xeon® Scalable处理器。下面的图表比较了这些处理器为CPU插槽提供的内存和I/O带宽（图2）：
我们可以看到，基准的Cascade Lake CPU拥有比PCIe带宽更大的内存带宽。而Sapphire Rapids大幅增加了内存和PCIe带宽，内存带宽翻了近一倍，而PCIe增加了六倍以上，现在大致与内存带宽相当。
那么这对系统架构意味着什么呢？其完整影响还有待探讨，但显然现在有很大的机会在规模上构建新的、更具能力和效率的系统，因为远程位于网络链路上的内存现在可以在带宽上无损访问（尽管我们需要正确的软件架构来处理延迟）。同时，像RDMA这样的已建立范式必须被扩展，以利用在计算节点之间具有巨大多路径带宽的高性能网络。过去，通过RDMA直接数据放置来避免复制是必要的，以避免超负荷使用可用的内存带宽，但现在网络流量可以在没有复制的情况下超过内存带宽，因此我们需要超越RDMA来有效地管理数据在系统内的移动。
当然，这些挑战和机遇意味着I/O系统必然会远离相同的网卡和交换机架构。随着以太网链路超越PCIe带宽，我们需要新的方式来将网络流量引导和聚合到计算资源，而在Enfabrica正在构建的“Accelerated Compute Fabric (ACF)”设备及其相关系统软件框架，我相信将成为下一代系统架构的核心组成部分。
---【本文完】---
近期受欢迎的文章：
我们正处于数十年未见之大机遇中
新技术爆发式发展，催生新产品
然而，颠覆式创新并非简单的技术堆叠
而是异常复杂的系统工程
需要深度洞察
欢迎一起分享思考和见解