查看原文
其他

2023年数字存储和内存产业预测

常华Andy Andy730 2024-03-16

【ANDY】计算机架构的革新:从以计算为中心,到以数据为中心。

Source: Tom Coughlin, Digital Storage And Memory Projections For 2023, Dec 30, 2022

在2021年对HDD的巨大放量需求之后,在新冠疫情期间对客户端计算和数据中心存储以支持远程工作的需求的推动下,该需求在2022年开始放缓,下半年对数字存储和内存产品的需求急剧下降,因为科技公司预计在不确定的经济环境中需求下降而削减。

另一个重要因素是传统客户端应用程序和高性能存储中销售的HDD持续下降,其中固态硬盘(SSD)现在占主导地位。此外,客户端应用程序在前两年支撑远程工作的增长之后,在2022年整体下降。

与2022年第二季度相比,2022年第三季度的硬盘总出货量下降了13.9%(38.4M对44.6M)。这延续了自2022年第一季度以来的下降趋势。2022年C3季度的总出货量比2022年C2季度下降了约37%。2022年的总出货量估计为1269EB,比上一年下降约12%。预计C4Q的硬盘出货量和出货量将持续下降。

从2022年第二季度到2022年第三季度,平均销售价格(ASP)下降了1.7%。但是,下图中显示的多年平均售价趋势表明了硬盘平均售价的总体增长。

硬盘平均销售价格历史记录

2022年第二季度平均售价下降是由于Seagate的平均售价下降抵消了WDC(西部数据公司)的收益。自2015年以来,更昂贵的大容量存储企业级HDD百分比的增加导致HDD平均售价增加,因为传统应用程序(例如PC存储和高性能企业级HDD)已被SSD取代。我们预计,随着近线硬盘出货量到2027年增长到占硬盘总出货量的87%以上,未来几年HDD平均售价将继续增加。

我们预计2022年硬盘总出货量约为166M台,比2021年的259M台下降约36%。这三家硬盘制造商之间的市场份额可能约为Seagate 43%,WDC 38%和Toshiba 19%。HDD出货历史和到2027年HDD总出货量的预测如下所示。

硬盘年度出货历史和预测

我们相信,未来几年对大容量近线硬盘的需求将继续推动HDD容量需求增加,预计2027年的存储容量出货量为6936EB。

2022年出现了更大容量的HDD,尤其是近线硬盘。在今年早些时候Coughlin Associates与WDC共同发布的白皮书中,我们介绍了其中的一些进展。WDC于2013年率先推出密封氦气填充硬盘,并于2015年率先推出带状磁记录(SMR)硬盘。填充氢的驱动器实现了目前可用的10磁盘最大容量HDD,而带状瓦的磁记录实现了更高的存储容量,以换取更复杂的写入过程。

2020年,WDC推出了首款能耗辅助磁记录技术ePMR硬盘以及三级磁头执行器,并于2021年推出了OptiNAND硬盘。

OptiNAND将iNAND通用闪存(UFS)嵌入式闪存驱动器(EFD)与传统的旋转磁盘介质集成在一起,并对固件算法和片上系统(SoC)进行了创新改进。OptiNAND使用片上驱动系统(SoC)来控制与iNAND闪存驱动器的通信。关键驱动器内务管理功能利用更高的闪存容量来存储比传统HDD上可行的更多元数据。

HDD可以生成千兆字节的元数据,这些元数据可以存储在OptiNAND上。与存储在HDD上相比,可以访问此元数据的速度更快,并且用于增强HDD的性能和存储容量。此外,将元数据存储在NAND闪存中可释放HDD上的额外容量来存储用户数据。更快的元数据访问可实现更快的HDD性能。

WDC使用这些技术在2022年推出了其22TB传统磁记录(CMR)硬盘,即使用垂直磁记录而不使用轨道瓦。SMR硬盘通常可以获得大约10%的磁道密度,因此存储容量比CMR硬盘增加。但是,2022年推出的WDC ultra-SMR硬盘使用OptiNAND和先进的信号处理算法以及特殊扇区数据放置,实现了18%的存储容量(26TB)SMR驱动器,其磁头和介质与22TB CMR 硬盘相同。

能耗辅助磁记录是HDD的发展方向。将更多磁盘放入当前的3.5英寸HDD外形中变得越来越困难。自2015年以来,HDD面密度(可以存储在磁盘表面固定区域的信息量的度量)一直停留在不超过约1.2Tbpsi(太比特/平方英寸)。Seagate表示,他们将在2023年将硬盘面密度提高约20%,以使用热辅助磁记录(HAMR)创建具有10个磁盘的30TB+硬盘。Seagate计划在未来几年内使用HAMR实现更高的面密度硬盘。

2021年,Seagate表示,他们已经进行了实验室演示,记录了超过2.0TBpsi的容量,并计划到2026年交付面密度超过3.0TBpsi的50TB+硬盘,此前面密度每年增长超过20%。与NAND闪存相比,HDD面密度每年增加20%应有助于保持近线存储应用的HDD存储价格竞争力。显示这些投影的Seagate幻灯片如下。

Seagate产品路线图

除了更高的存储容量外,Seagate还计划扩展其双执行器2马赫硬盘。它们提供的数据速率性能是单执行器硬盘的两倍。更大容量的Seagate硬盘将包括双执行器,以提高性能。另请注意,Seagate可以使用SMR将其硬盘的存储容量增加至少10%。该公司表示,他们出货了近25%的各种近线硬盘和SMR硬盘。

Toshiba计划使用其微波辅助磁记录(MAMR)技术在2023年至2024年实现30TB+近线硬盘,并在2026年之前推出超过40TB的HAMR硬盘。下面的图表由高级存储研究联盟(ASRC)提供存储密度增长预测的HDD行业联盟显示,到2034年,使用HAMR在内的技术组合,对超过10个Tbpsi硬盘(应提供超过200TB的HDD)的预测。

ASRC硬盘面积密度路线图

磁带也使用磁性记录,但磁带的面密度比HDD落后许多代。这为磁带提供了未来增加存储容量的重要未来技术。然而,磁带与HDD不同,因为它使用灵活的介质,并且一次写入或读取多个轨道。这意味着磁带一旦安装在磁带驱动器中,其数据速率远高于HDD。HDD越来越多地用于近线存储,而磁带用于存储较冷的数据和归档。主要的磁带技术是LTO,超过80%的市场由IBM企业磁带占据。

LTO9磁带是容量最高的通道。它于2019年推出,尽管直到2021年9月才正式上市。LTO9磁带盒的原生容量为18TB(面密度约为HDD的1/100)。2022年,LTO磁带联盟将LTO磁带的代数扩展到LTO14,在LTO9之后,每一代的容量都会翻一番,如下所示。

LTO项目世代到第14代

LTO14的本机存储容量高达576TB。LTO世代大约每2.5年推出一次,我预计LTO10可能会在2023年的某个时候推出。如果未来的LTO世代继续遵循这一趋势,那么576TB磁带可能在2036年左右可用(当时HDD存储容量可能超过200TB)。

磁带制造商一直在推广磁带作为一种更可持续的存储介质,因为当磁带盒放在架子上时,很少使用能耗。Fujifilm估计,与HDD相比,使用磁带产生的碳排放量减少了约43%。

磁带介质、驱动器和磁带库的总市场可能超过20亿美元。IBM是磁带驱动器的唯一制造商,Fujifilm和Sony是磁带介质的唯一制造商。我们估计2022年的磁带总出货量为198EB,到2027年将攀升至399EB。

HDD越来越多地用于使用近线HDD的数据中心的辅助存储。与2021年相比,2022年HDD单位出货量预计将下降约36%,出货量将下降约12%,主要是由于2022年下半年数据中心所有存储的需求放缓。然而,数据增长将需要2023年及以后几年的产能出货量增长。LTO磁带路线图预计在2030年代的某个时候将达到576TB的磁带盒。

到2022年底,消费者、客户端和服务器应用程序对所有存储和内存技术的需求都将下降。此外,新的DRAM和NAND生产能力已经上线,导致额外的产品可用性(除了新冠疫情相关的供应链问题)。这导致NAND闪存和DRAM的价格降低。11月下旬,TrendForce表示,NAND闪存收入在22年第三季度环比下降了24%。

然而,在2023年及以后,存储需求增加的驱动因素有很多,这将推动对存储设备的需求。事实上,在2022年12月中旬,SEMI(国际半导体产业协会)报告称,到2024年,全球芯片行业预计将在新工厂投资超过5000亿美元(尽管与2022年相比,2023年新半导体工厂的开工预计将下降约15%),其中大部分投资将进入存储芯片工厂。

NAND闪存是数据中心和企业应用中的主要主存储(活动进程内数据的存储),它通常是智能手机和大多数个人计算机等消费类设备中使用的唯一存储。在较大的设施中,活动数据位于SSD上,较冷的数据保存在硬盘驱动器(HDD)和磁带上。

NAND闪存现在提供来自Micron的多达232层(用于消费级SSD),SK hynix的Solidigm(前身为Intel的NAND闪存业务)宣布他们正在制造238层512Gb TLC NAND闪存芯片,计划于2023年上半年量产。到2023年,我们预计200+层NAND闪存将获得市场份额,甚至可能宣布第一个接近300层的NAND。

然而,层缩放并不是在NAND闪存中获得更高内存密度的唯一方法。在2022年FMS上,Kioxia及其合作伙伴WDC讨论了NAND扩展。Kioxia主题演讲的图像显示,横向缩放(单元的大小和彼此之间的间距是另一个重要特征)。

Kioxia闪存密度增加系数

除了横向和垂直扩展之外,还有架构扩展,其中不同类型的半导体器件相互重叠以节省空间,包括将NAND单元芯片相互连接(正如中国的YMTC一直倡导的那样)。

逻辑缩放是指每个单元存储多少位,TLC(每个单元3位)和QLC(每个单元4位)可用于当今的许多应用,而PLC(每个单元5位)可用于未来。请注意,这种逻辑缩放以密度为代价,以位保留时间和磨损为代价。WDC预计到2032年将有500+NAND闪存层,并表示2021年NAND总产能为765EB(艾字节),预计到2025年将超过2ZB(泽字节)。

Samsung也在寻求堆叠NAND芯片以创建更密集的存储设备。下图显示了10年(2032年)1PB器件的32芯片堆栈预测。NVIDIA有兴趣将PB级NAND设备与其GPU一起使用。

Samsung的32芯片堆叠容量路线图

DRAM扩展也在继续。Samsung是世界上最大的DRAM制造商,他们在2022年的技术日上分享了他们的DRAM路线图,如下所示。

Samsung内存路线图

Samsung即将推出的DRAM解决方案包括32Gb DDR5 DRAM,8.5Gbps LPDDR5 XDRAM和36Gbps GDDR7 DRAM。Samsung还谈到了定制的DRAM解决方案,如HBM-PIM(内存中的高带宽内存处理),AXDIMM(加速DIMM)和CXL。

有各种类型的计算存储设备和体系结构可用。其中包括基于DPU的网络计算存储,例如NVIDIA的Mellanox提供的产品以及主要SSD公司内置计算的SSD。将计算放在存储设备附近或存储在存储设备中可以减少数据移动(从而降低系统电源要求和延迟),并且还可以减轻CPU的某些计算任务的负担。我们预计各种计算存储设备将在2023年变得更加普遍,用于各种计算任务。

NVMe现在是主要的闪存接口,NVMe-oF(架构上)通常是以太网,在数据中心中变得越来越普遍。NVMe-oF用于创建可在CPU和服务器之间共享的固态存储池。这种存储池化和共享称为解耦(将服务器的各个部分解耦为共享池),然后软件可以使用该池创建支持可组合的基础架构,这些基础结构支持可根据需要创建或销毁的虚拟设备或容器。这种池化和可组合性正在通过计算高速链路(CXL)互连扩展到内存。

CXL为各种类型的内存提供了一个交换网络,并在过去几年中被推动允许在共享内存环境中将Optane内存与DRAM结合使用,该共享内存环境支持具有不同成本和性能的不同类型的内存。CXL 3.0规范发布于2022年,允许创建可在CPU之间共享的内存池。

Intel于2015年与其当时的合作伙伴Micron一起推出了3D XPoint技术,并于2017年开始出货NVMe Optane产品(其3D XPoint的商品名),并于2018年开始出货DDR产品。在以可能接近100亿美元的总成本补贴这款相变内存产品后,Intel于2022年7月宣布将逐步淘汰其傲腾产品。尽管Intel仍提供当前一代傲腾产品,但没有傲腾CXL产品。相反,SSD公司正在寻求使用DRAM和NAND闪存提供基于CXL的产品。

几家主要的NAND闪存公司已经在2022年展示了基于NAND的CXL设备。Samsung推出了用于AI/ML应用的内存语义CXL SSD。该器件包括一个具有大量NAND闪存的内部DRAM缓存。小IO是用DRAM完成的,普通IO是用NAND闪存完成的。Samsung表示,与常规PCIe 4.0 SSD相比,他们的随机读取性能提高了20倍。SK hynix在2022年FMS上展示了CXL内存扩展器(与其他公司一样)以及他们所谓的弹性CXL FPGA原型。他们还表示,他们有基于DDR5的CXL样品。

Marvell和其他控制器公司正在其控制器中支持CXL(以及NVMe),作为实现完全数据中心可组合性的一种手段,包括内存池和存储池。下图显示了Marvell对CXL如何推动架顶式(TOR)交换机开发的愿景,这些交换机支持CXL,并完全解耦了计算、内存和存储。

Marvell对CXL实现完整服务器解耦和可组合性的愿景

我们预计,第一批使用CXL对现有CPU进行内存扩展的系统将从2023年开始提供,支持CXL版本3.0的内存池系统将在2024年的某个时候推出。

尽管傲腾存储器正在逐渐减少,但各种其他非易失性存储器技术正在嵌入式应用中兴起,最初取代了NOR闪存和一些SRAM。其中包括磁性随机存取存储器(MRAM)和各种电阻式RAM(RRAM)技术。台积电、Samsung和其他代工厂已经为可穿戴和汽车应用生产了各种嵌入式设备,此外,小芯片技术和新的通用小芯片互连高速(UCIe)接口的日益普及可能会推动离散存储器对DRAM和新兴存储器的需求。

正如《客观分析新兴存储器进入下一阶段》报告中的下图所示,到2032年,嵌入式和分立式非易失性存储器技术(以MRAM为代表)的增长可能会推动容量出货量的增长和440亿美元的收入。

Coughlin Associates和对内存技术产能出货量的客观分析预测

最后,让我们快速浏览一下基于DNA的存储的未来。这与固态存储器有一定的相关性,因为一些合成DNA存储初创公司正在寻求使用硅基设备作为其存储方法中的重要元素。下图来自Microsoft研究院的Karin Strauss的演讲,显示了用于储存的合成DNA的基本步骤。

写入和读取合成DNA数据的各种步骤

DNA存储仍处于实验室和早期原型存储系统阶段,但有传言称,2023年将进行一些DNA存储演示。

尽管2022年结束时所有类型的存储和内存技术的需求都在下降,但我们预计需求将在2023年恢复,以满足不断增长的存储需求,并从包括NAND、DRAM、CXL和新兴存储器在内的最新技术中提高效率。此外,预计2023年DNA存储将取得一些重大进展和示范。

尽管供应链存在挥之不去的问题,至少部分远程工作和远程协作似乎将继续存在,但在2022年,我们开始从两年的新冠疫情的影响中恢复过来。另一方面,高通胀率和收紧货币供应以试图遏制通货膨胀导致许多技术驱动型公司在下半年勒紧裤腰带,裁员并缓和IT基础设施支出。结果,所有类型的存储产品的出货量急剧下降,NAND和DRAM的价格暴跌。

尽管2022年出现了负面逆风,但我们认为,许多趋势将推动2023年及以后对数字存储和数字存储系统及产品的需求。其中许多趋势都有据可查,但有些趋势更为微妙。IBM存储布道者Shawn Brume表示:“在美国,超过4800万辆道路上的汽车加速了自动驾驶技术的导入,产生了23EB的数据,这些数据需要进入深度存储......大量数据将成为新用例的标准,例如废物管理跟踪运输率、倾倒率、回收条件和分布以及长期生态影响,其中一些数据必须存在20-30年才能变得有价值。”

随着更多的交互远程发生,对基于云的存储和应用程序的需求将保持高位。自动化和更多本地制造业供应链的发展应该会推动对IT技术的新投资。人工智能(AI)正变得越来越强大,并被用于嵌入式设备、网络边缘和数据中心的更多应用。

这将推动IT资源从数据中心外扩散。Seagate Lyve Cloud全球战略和联盟副总裁兼首席信息安全官Ben McLaughlin表示:“更多的公司将在城域边缘部署本地存储。在大型城区场景,将大量数据存储在创建和使用数据的位置附近,可实现大规模数据分析工作负载所需的极低延迟。使用更大的数据集进行更快的分析可以推动更好的机器学习模型,并最终推动更快的创新和更好、更及时的决策。”

此外,部署基于计算快速链路(CXL)的内存池与使用NVMe-oF的存储池相结合,将能够将内存和存储从服务器中分离出来,并增加可组合计算基础设施,从而提高IT资源的使用效率,从而降低成本和IT碳足迹。在PCIe 4.0和5.0上运行的CXL和NVMe将提供更快的性能。此外,PCIe 6的工作正在进行中,可能会在5年内将NVMe和CXL性能再次翻倍。此外,在2022年,开放内存接口(OMI)成为CXL联盟的一部分,为扩展本地存储和共享远程存储的网络提供了更大的可能性。

使用存储网络行业协会(SNIA)制定的标准,到2023年,存储系统中存储设备内和附近的计算将变得更加普遍。NVIDIA,Marvell,AMD,Intel,Kalray等公司正在NIC中构建DPU功能,所有主要的SSD公司都在为SSD提供内置于其SSD中的扩展计算资源。

对于许多组织来说,基于云的存储现在涉及管理许多私有云和公有云,用于不同的应用程序,并且具有不同的成本权衡。这些多云趋势推动了对多云管理软件的需求,以最大限度地利用这些不同的云资源。它们还推动了数据处理方式的更大移动性。

Hammerspace是一家提供跨云和本地资源的存储管理的公司,其营销高级副总裁Presley表示,“如果难以获得特定的硬件或计算资源,组织可以简单地将其数据移动到不同的数据中心或具有更多容量的云。基于云的工作流也推动了开源和裸机存储基础架构的更多使用,对传统的企业存储制造商产生了影响。作为回应,许多存储系统制造商现在以即用即付和增长模式提供他们的产品,使这些购买更像是运营支出而不是资本支出。”

然而,将对象存储的使用扩展到更多应用程序的趋势正在增长,这有利于软件定义的通用服务器。数据库就是一个例子,正如MinIO的联合创始人兼首席执行官Anand Babu Periasamay所指出的那样。“目前,数据库正在融合对象存储作为其主要存储解决方案。这是由性能、可扩展性和开放表格式驱动的。开放表格式(Iceberg,Hudi,Delta)兴起的一个关键优势是它们允许多个数据库和分析引擎共存。这反过来又产生了在任何地方运行的需求-现代对象存储非常适合这一点。”

早期的导入是强大的,Snowflake和Microsoft在2022年正式发布的外部表功能。现在,公司将能够将对象存储用于任何数据库,而无需将这些对象直接移动到数据库中,他们可以就地查询。

随着数据生成的总体逐年增长,以及数据作为AI训练、趋势识别和其他应用程序工具的内在价值不断增加,归档内容变得越来越重要和多样化。Spectra Logic企业营销副总裁Betsy Doughty表示:“随着越来越多的组织采用混合云存储架构,使用本地和公有云存储的组合,归档被用于容量管理(从备份中删除较少使用的数据并提高系统性能),同时实现数据保存。”

在归档和活动数据应用程序中迁移到S3对象存储可实现经济高效的数据归档工具,这也有助于保护这些数据免受勒索病毒攻击。QStar Technologies销售和营销高级副总裁Dave Thompson表示:“到2023年,我们将看到更多的组织使用“从边缘归档”技术,以确保所有珍贵的公司数据免受勒索病毒攻击。现在,作为所有归档类存储,从边缘进行归档要容易得多;私有云和公有云以及磁带库,可以使用S3兼容协议轻松访问。”

同时,除了对象之外,许多用户还可以访问文件中的数据。XenData首席执行官Phil Storey表示:“对于许多人来说,将文件和对象访问组合到同一个存储系统,允许他们的组织同时使用基于文件的应用程序和本机云应用程序来处理相同的非结构化内容。文件/对象存储组合方法为混合云存储提供了一条顺畅的路径。”

数据可以归档在磁带(例如LTO),光盘和硬盘驱动器上(未来DNA存储等新兴技术有可能用于归档。IBM表示,到2023年,我们将看到DNA存储的首次有限实际使用)。将数据移动到归档可以减少存储该数据所需的能耗。此外,存储设备存储容量的改进可以减少数据存储对环境的影响。

Nyriad首席执行官Derek Dicker表示:“新的共享存储技术将会出现,它可以充分利用最新的高效大容量硬盘,而不会影响性能、效率或可靠性。通过利用最大容量的硬盘驱动器,Active Archive功能可以在相同的耗电和空间占用空间内进行扩展。需要这样的突破来跟上数据增长的步伐,而不会使环境受到电力使用和碳排放的不可持续增长的影响。”

勒索病毒

勒索病毒保护和恢复在2023年仍将是关键问题,备份和归档在保护数据免受此威胁方面发挥着重要作用。Druva首席技术官Stephen Manley表示:“网络攻击者在生产环境之前瞄准备份,因此受害者无法在不支付赎金的情况下恢复数据。因此,数据保护是公司风险管理战略不可或缺的一部分。首先,高管们必须制定涵盖网络保险、安全和数据保护的风险管理战略。其次,数据保护团队必须与安全部门合作,以确保其备份的安全。最后,数据保护团队应与安全团队联系,了解他们在准备攻击和从攻击中恢复方面需要发挥的作用。”

随着公众对公司关注环境、社会和治理(ESG)政策的压力越来越大,这些因素正在成为组织持续经济健康的重要考虑因素。Datadobi产品营销副总裁Steve Leeper表示:“到2023年,企业将不得不优先考虑环境,社会和治理(ESG)政策,以获得竞争优势。PwC最近的一份报告发现,超过80%的人对于ESG最佳实践的公司,更有购买或工作的意愿。截至今年,只有略多于一半的公司制定了ESG计划或正在积极规划。

2023年存储系统趋势包括增加对象存储、多云存储的使用、使用新的内存和存储接口进行存储和内存解耦、为大量数据创建经济高效的存储、防范勒索病毒、活动和响应式归档以及关注数字存储对环境的影响。

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存