解耦式存储（Disaggregated Storage）
解耦式存储是计算机数据中心中的一种数据存储方式。它允许将计算服务器内的计算资源与存储资源分离，而无需修改任何物理连接。[1]
作为可组合的解耦式基础设施的一种形式，解耦式存储允许通过网络结构连接资源，提供在升级、替换或添加单个资源时的灵活性。它还使得服务器可以为未来的扩展构建，提供比传统数据存储更高的存储效率、规模和性能，同时不会影响吞吐量和延迟。[2]
背景
以往数据中心存储存在两种形式：
直连式存储（DAS）：磁盘或驱动器连接到单个服务器。磁盘容量和性能仅对该服务器可用。容量扩展受限于服务器中的驱动器槽位数量或扩展机箱的限制。容量和性能可以通过扩展服务器来进行规模化扩展（添加驱动器到服务器）或横向扩展（通过添加服务器）。[3]
存储区域网络（SAN）：存储阵列中的磁盘或驱动器可以被分配给网络上的一个或多个服务器。容量扩展受限于支持的扩展机箱数量。[4]
DAS 具有一个关键的优势 —— 它为在该服务器上运行的任何工作负载提供高性能。然而，它也有两个关键的缺点：网络上的整体性能较低，因为无法在网络上共享存储而不影响性能。容量利用率较低，因为磁盘容量无法直接被其它服务器使用。[5]
SAN 用于向数十甚至数百个服务器分配存储空间，从而提高了容量利用率，但存储区域网络使用了可能带来一些缺点的专用网络硬件和/或协议。[6]传统的存储网络无法提供许多应用程序所需的足够吞吐量或延迟最小化，并且无法提供足够的带宽来利用新的闪存技术的全部性能。[7]
解耦式存储概述
解耦式存储是一种规模外扩存储形式，由一些存储设备组成，作为一个逻辑存储池，可以通过非常高性能的网络结构分配给网络上的任何服务器。解耦式存储解决了存储区域网络或直连式存储的限制。解耦式存储是动态可重配置的，可以优化配置物理资源以最大化性能并限制延迟。[8] 解耦式存储提供本地存储的性能和存储区域网络的灵活性。
多项技术改进共同推动了存储解耦成为现实。这些改进包括：
现代服务器性能：由于 PCIe Gen 4 串行总线，许多服务器可以提供超过 8GB/s 的吞吐量，远远超过传统存储网络的性能能力。
向 NVMe 的转变：从磁盘转向 SAS/SATA 闪存，现在又是 NVMe 闪存，对服务器和网络都造成了压力。单个 NVMe 驱动器可以提供数百万 IOPS 的性能，远远超出传统存储网络的能力。[9]
10Gb/25Gb/40Gb/100Gb 以太网。越来越多的数据中心正在用更快的以太网替换较慢的网络连接，消除了带宽限制和瓶颈。[10]
在这些高带宽连接上，像 NVMe-oF 这样的协议充分利用了网络优势，消除了瓶颈，提升了性能并减少了延迟。
存在不同级别的存储解耦功能，其中最灵活的完全解耦功能允许从任何存储设备向网络上的任何服务器提供存储容量和/或性能，然后根据新的需求进行扩展、缩减或重新配置。[11]
References
"Storage Disaggregation in the Data Center". Data Center Knowledge. 2013-10-18. Retrieved 2019-11-30.
Tomsho, Greg (2017-07-26). MCSA Guide to Installation, Storage, and Compute with Microsoft Windows Server2016, Exam 70-740. Cengage Learning. ISBN 978-1-337-40066-4.
"What is direct-attached storage (DAS)? - Definition from WhatIs.com". SearchStorage. Retrieved 2019-11-30.
"What Is a Storage Area Network (SAN)? | SNIA". www.snia.org. Retrieved 2019-11-30.
"Direct Attached Storage". www.enterprisestorageforum.com. 15 May 2019. Retrieved 2019-11-30.
"Fibre Channel Really Is Dead". IT Infrastructure Advice, Discussion, Community - Network Computing. 2015-04-23. Retrieved 2019-11-30.
"Advantages and disadvantages of storage area network (SAN)". IT Release. 2019-05-02. Retrieved 2019-11-30.
Zervas, G.; Yuan, H.; Saljoghei, A.; Chen, Q.; Mishra, V. (February 2018). "Optically disaggregated data centers with minimal remote memory latency: Technologies, architectures, and resource allocation [Invited]". IEEE/OSA Journal of Optical Communications and Networking. 10 (2): A270–A285. doi:10.1364/JOCN.10.00A270. ISSN 1943-0639. S2CID 3397054.
"Industry Outlook: NVMe and NVMe-oF For Storage". InterOperability Laboratory. 2018-02-08. Retrieved 2019-11-30.
John, Kim, Chair SNIA Ethernet Storage Forum. "Servers and storage rapidly adopting 25GbE and 100 GbE networking" (PDF). snia.org. Retrieved 30 November 2019.
Understanding Rack-Scale Disaggregated StorageSergey Legtchenko, Hugh Williams, Kaveh Razavi†, Austin Donnelly, Richard Black, Andrew Douglas, Nathanael Cheriere†, Daniel Fryer†, Kai Mast†, Angela Demke Brown‡, Ana Klimovic†, Andy Slowey and Antony Rowstron. "Understanding Rack-Scale Disaggregated Storage" (PDF). usenix.org. Retrieved 30 November 2019.
---【本文完】---
近期受欢迎的文章：
我们正处于数十年未见之大机遇中
新技术爆发式发展，催生新产品
然而，颠覆式创新并非简单的技术堆叠
而是异常复杂的系统工程
需要深度洞察
欢迎一起分享思考和见解
参考文档1：
数据中心中的存储解耦合
Source: GILAD SHAINER, Storage Disaggregation in the Data Center, Oct 18, 2013
巨大的数据爆炸现象已经得到充分显现。预计相同的指数增长，使得全球可用数字数据量从200EB增长到2006年的近2ZB（增长10倍），将在2011年到2015年之间激增到超过8ZB的可用数字数据量。几乎70%的拥有超过500名员工的公司声称管理超过100TB的数据，几乎40%管理超过1PB的数据。
即使这些惊人的数字与一些全球领先公司所产生和管理的海量数据相比也显得微不足道，这些数据归功于云计算、Web 2.0、高性能计算和大数据的出现。数据量如此庞大，以至于传统的数据中心在不进行大规模升级以适应灵活、可扩展解决方案的投资的情况下即将过时。
数据分析的重要性
除了可扩展性问题外，这些公司还面临其它各种挑战，包括如何组织、备份和恢复如此大量的数据。但在这些挑战中最重要的可能是如何分析和关联数据以改善业务决策并增加利润。数据分析对于公司的努力来模拟客户行为、改善生产、提供销售和营销决策以及对抗负面印象和欺诈活动至关重要。
通过对数据进行分类和趋势分析，以便根据这些信息采取行动，对于利润率来说至关重要。成功分析数据的人很可能在决策中走在前列。
数据中心的演进
随着数据量的激增以及公司试图适应对大量数据进行分析的重要需求，数据中心不得不不断演进以满足不断变化的要求。除了不断调整数据中心存储容量来处理大量数据外，数据中心架构还必须适应对更快、更强大的数据分析的需求。
要理解这个演进过程，有必要从数据中心最基本的起源追溯到今天的庞大设施，并注意其中变化的技术理由。
数据中心最早的版本不过是一个包含CPU、内存高速缓存和存储的大型计算机，所有功能都集中在一个容器中。网络概念尚未发展，因此数据中心的所有功能都包含在一个中央位置。
随着网络的引入，将网络的存储组件与计算组件分开成为常见做法。这样做的好处是允许增加专用存储，相比于与CPU捆绑在一起，可以更好地利用它。
然而，过去十年来不断增加的数据量以及对数据分析的需求再次改变了典型数据中心的构成。现有的互连技术远远不能满足实时（甚至是合理快速）处理大量数据以提供相关分析信息的要求。大多数数据分析请求需要数周的时间来满足，到那时已经来不及利用这些信息了。
为了解决互连性能不佳的问题，数据中心解决方案开始将存储与计算服务器捆绑在一起。通过将计算与存储的距离减少到几乎为零，公司可以立即访问数据，实现更快的分析，并增强业务决策能力。
然而，这种集成式数据中心的转变是需要付出代价的。新的服务器提供了较少的灵活性，成本更高，并且浪费的存储空间比以前的解聚式存储要多。当固态硬盘（SSD）存储成为首选的存储技术时，其在计算和存储之间提供了更快的性能，维护集成式数据中心的成本变得更加昂贵。
快速互连推动解耦合
得益于快速互连技术，如InfiniBand、RDMA和RoCE（以太网上的RDMA），现在可以以高达56Gb/s的速度发送和接收数据，未来还将有100Gb/s的速度。此外，几乎没有任何延迟，即使在如此高的互连速度下，延迟也不到1微秒。
互连性能的改善使得解耦式数据中心再次成为现实。现在可以将存储与计算分开，而不会影响性能。由于存储和计算之间的互连速度足够快，因此仍然可以几乎实时进行数据分析来支持此类需求。
解耦式存储的优势
解耦式存储带来了重要的优势。通过将存储与计算分离，IT 管理人员现在可以灵活地升级、替换或添加单个资源，而不是整个系统。这也使得 IT 管理人员能够更好地规划未来的增长，只在必要时增加存储，从而更好地利用可用存储空间并控制预算。
此外，现在可以根据数据的特性定制所使用的存储类型。对于需要立即访问的数据，使用 SSD 存储是有意义的，但存储中也有大量很少被访问的数据，对于这些后端数据来说，SSD 存储既昂贵又未充分利用。对于这些需要大容量但不要求高速的后端数据，返回到较慢但更便宜的 SAS 或 SATA 存储是有意义的。
有了快速互连技术的可用性，将存储与计算服务器解耦，以多种方式大幅降低了数据中心的总投资成本，提高了存储利用率的效率，增强了存储堆栈的弹性，并为未来的数据中心规划提供了按需增长的可能性。
参考文档9：
行业展望：NVMe和NVMe-oF在存储中的应用
Source: InterOperability Laboratory, Industry Outlook: NVMe and NVMe-oF For Storage, 2019-11-30
本周，《行业展望》栏目采访了新罕布什尔大学互操作性实验室（UNH-IOL）的数据中心技术高级工程师David Woolf，谈论NVMe和NVMe-oF在存储和数据中心中的作用。David在构建UNH-IOL成为全球一流的互操作性和合规性测试中心团队中，开发了数十种行业评审的测试程序和实现。他还协助组织了许多行业互操作性测试活动，包括在UNH-IOL设施和外部场地举行的活动。David一直积极参与许多行业论坛和委员会，讨论合规性和互操作性，其中包括SAS Plugfest委员会和SATA-IO Logo Workgroup。此外，他还担任MIPI联盟测试工作组的联合主席，协调NVMe集成商列表和Plugfests。
行业展望：为什么存储行业转向NVMe和NVMe-oF？是什么推动了这一转变？
David Woolf：在深入讨论存储行业转向 NVMe 的原因之前，了解NVMe和NVMe Over Fabrics（NVMe-oF）的含义是很重要的。NVMe是专门为固态硬盘设计的存储接口。NVMe-oF允许远程访问闪存存储，延迟类似于通过光纤通道、以太网和其它传输方式的本地访问。
在高端客户端领域，NVMe已经取代了之前使用的串行ATA（SATA）接口。即使是高端智能手机现在也使用NVMe接口，而之前它们使用的是嵌入式多媒体控制器（eMMC）。企业领域也正在发生类似的变化。对于需要最高性能的应用程序，NVMe正成为行业标准。
NVMe之所以与其它SATA和存储接口不同，重要的原因是它专门为闪存存储设计，而不是传统的ATA命令集，这个命令集已经发展了几十年，并包含了许多处理旋转磁盘介质的特定功能。市场上最早推出的带有SATA接口的固态硬盘（SSD）的性能确实高于它们的传统硬盘对应产品。但它们无法充分利用闪存存储的性能优势，因为控制器需要使用ATA命令集，这变得相当复杂。闪存存储介质之所以比机械旋转硬盘介质更快，是很容易理解的。使得NVMe在SSD接口上具有优势的原因是，它的命令集针对闪存存储进行了优化和简化。这种方法允许设计出一个简化的控制器，它理解较简单的NVMe协议，而不是较复杂的ATA协议。
NVMe最初设计为使用PCI Express（PCIe）传输。PCIe被认为是从CPU到任何外围设备的强大通信通道。它具有低延迟、高带宽和使用多个通道的能力，这些都是存储应用的关键特性。但是，PCIe的主要用途是在服务器中。
NVMe-oF允许将NVMe协议映射到一种布线技术。这种能力使得包含使用PCIe的NVMe SSD的存储节点能够使用一种布线技术进行连接。结果是，通过高性能存储区域网络连接的更大存储池成为可能。使用大数据集的应用程序将能够获得更好的性能。
IO：NVMe-oF部署使用哪些布线技术？每种技术的优势和挑战是什么？协议是否可能使用其它布线技术？
DW：目前主要使用并在新罕布什尔大学互操作性实验室（UNH-IOL）最近的NVMe插件测试中进行了测试的布线技术是RoCE（RDMA over Converged Ethernet）和光纤通道（Fibre Channel）。InfiniBand和iWARP是支持NVMe-oF部署的其它技术。
光纤通道（FC）作为一种存储布线技术具有丰富的历史，许多使用它的企业在引入NVMe到他们的网络中时愿意继续利用这项投资。使用每条通道32Gbps的第六代光纤通道（128Gbps对于一个单独的QSFP28连接器上四条合并的通道），它在信令层上保持与以太网每条通道25Gbps（一个单独的QSFP28连接器上四条合并的通道100Gbps）的同步。
当然，以太网已经部署了大量端口，许多IT专业人员熟悉这项技术，在物理协议层面有强大的互操作性，并且每个端口的成本较低。在真正大规模的超大规模部署中，以太网的每个端口低廉的成本可以在数据中心配置方面节省开支。然而，为了使以太网成为无丢包的布线技术，必须在其上加入一些流量管理和拥塞避免功能，这可能会增加延迟。然而，一些公司正在努力通过集成这些功能到硅芯片中来缓解较高的延迟。
展望未来，NVMe组织正在积极致力于为NVMe-oF在TCP上制定绑定规范。
IO：在实施NVMe-oF时有哪些挑战？
DW：互操作性是一个挑战，这仅仅是因为为了使系统正常运行，许多组件必须协同工作，但我们稍后将解决这个问题。一个主要的挑战将是调整系统以获得最佳性能。NVMe将处理不同类型的工作负载。例如，流式音视频与通过机器学习算法推送数据集具有不同的流量特征。配置布线技术以处理流量管理和拥塞避免，同时为特定工作负载提供最佳性能将带来挑战。
IO：NVMe-oF对于关键数据是否足够安全？
DW：NVMe提供了安全的发送和接收功能，以及一些密码擦除功能。NVMe-oF取决于其部署的布线技术的安全性。由于许多企业在关键数据上使用光纤通道和RoCE，可以合理地认为NVMe-oF也可以处理关键数据。
IO：为什么互操作性对于NVMe-oF技术很重要？
DW：NVMe-oF允许在数据中心创建大型存储池。因此，互操作性不仅仅关乎单个服务器或存储节点内的组件之间的良好配合。相反，更多的组件必须协同工作才能构建高性能的系统。
在存储节点或服务器中，NVMe驱动程序（无论是随操作系统附带的开源驱动程序还是专有驱动程序）必须与NVMe SSD和PCIe芯片组互操作。NVMe-oF驱动程序必须与主机端的以太网NIC或光纤通道HBA互操作。目标端可以使用插入存储节点PCIe接口的现成HBA或NIC，也可以集成在硅片中。NVMe-oF的组合可能性非常多样，因此需要社区解决互操作性问题。NVMe组织通过一系列的插件测试来做到这一点。