可计算存储赋能数据的高速性和局部性
Source: cfheoh, Computational Storage embodies Data Velocity and Locality, March 21, 2022
多年来，我一直在认真观察“可计算存储”（Computational Storage）的发展。它以前有几个名字，“原位数据处理”（in-situ data processing）这个名字最让我印象深刻。可计算存储命名法在不久前将 CMSI（Compute Memory Storage Initiative）放在一起时变得更加有凝聚力。该计划是 SNIA 的几个标准机构，主要技术参与者和几个SIG（special interest groups）合作的地方，以推进我们今天所知的存储技术行业中的可计算存储领域。
可计算存储的场景正在蓬勃发展，可计算存储的功能实现对于应对爆炸性数据海啸变得至关重要。2018年，IDC在其《2021-2025年全球数据领域预测》报告中预测，全球将拥有175 ZB 的数据。据说，这个数字已经被修正为250ZB 这个令人振奋的数字，因为超级速率的数据正在创建、产生等等。
可计算存储驱动因素
如果我们采用计算机科学对原位处理（in-situ）的定义，可计算存储可以被提炼为处理数据的位置。简而言之，“使计算更接近存储”。这意味着存储子系统中存在一个处理单元，它不需要主机 CPU 来执行处理。以非常简单的方式，存储阵列中的RAID卡可以被视为可计算存储设备，因为它执行RAID功能而不是主机CPU。但是，新一代可计算存储具有比RAID卡中的RAID功能更强大的功能。
可计算存储中有许多因素很有意义。以下是一些：
大量数据淹没了当今云平台和企业系统的集中式架构。大部分数据来自端点设备 —— 移动设备，传感器，物联网，销售点，监控设备，等等。在源数据点预处理数据可以帮助过滤数据，减小要集中处理的大小，并在数据被引入中央数据处理系统之前保护数据
在接收数据时对数据的实时处理提供了创建数据分析速度的机会。许多数据不需要移动到中央数据处理系统进行分析。通常在自动驾驶汽车、欺诈检测、推荐系统、灾难警报等场景中，需要近乎即时的响应。在数据源点执行早期数据分析具有巨大的优势。
摩尔定律正在减弱。CPU 不再是宇宙的中心。我们开始看到CPU卸载技术来增加CPU的职责，如压缩，加密，转码等。SmartNIC，DPU（数据处理单元），VPU（视觉处理单元），GPU（图形处理单元） 等已经出现，以形成新的计算范式。
通过可计算存储释放中央资源还可以加速整个数据架构中的整体分布式数据处理。CPU 和相邻的内存子系统执行由 I/O 中断引起的上下文切换所需的时间较少，就像当今大多数计算/存储体系结构一样。总效果减轻了 CPU 的负担，并回馈了更多的 CPU 周期来执行更高的处理任务，从而提高了整体性能。
内存互连的兴起正在实现数据处理子系统的更分布式计算结构。不断兴起的CXL（Compute Express Link）互连协议，特别是在Gen-Z之后，已经成为一股不可忽视的力量。内存互连的兴起可能会在不久的将来加强可计算存储的见证。
可计算存储部署模型
SNIA提出了几种部署模式。这些模型是可计算存储开始的主要起点。上图总结了部署模型，它们包括：
可计算存储处理器 （CSP，Computational Storage Processors）
可计算存储驱动器 （CSD，Computational Storage Drives）
可计算存储阵列 （CSA，Computational Storage Arrays）
下面是一张摘要幻灯片，其中显示了当前的可计算存储实例：
SNIA在许多支持组织和技术供应商的帮助下，一直在努力交织可计算存储生态系统。我一直收到有关Computal Storage Geek Out，Video Library，网络研讨会，白皮书等的电子邮件和邀请。
可计算存储中的 ASIC 和 FPGA
ASIC（application specific integrated circuits）和FPGA（field programmable gate arrays）的存在在可计算存储中很强，尤其是FPGA。这是由将FGPA重新用于可计算存储中所需的许多不同功能的灵活性所驱动的。这些定义为 CSF（Computational Storage Functions）的功能包括：
存储 —— RAID、纠删码
数据缩减 —— 压缩、重复数据删除、压缩
数据加密
机器学习/人工智能
转码和转录
数据处理和采取层的监控（扫描/解析、筛选/选择、聚合/联接）
数据分类和基本分类，用于标记和标记数据以进行合规性和数据管理
远程核心转储处理
分散式存储挖矿/农场（mining/farming）
加速 —— 由于数据局部性，许多FPGA和一些ASIC以高带宽执行加速处理
具有内存处理的边缘和实时计算 —— 新的分布式计算开发，如新兴的新型数据处理框架所示。
更快地将数据转化为有价值的数据
我过去曾指出，移动数据是昂贵的。数据移动性不仅会耗费时间和金钱，而且尾部延迟效应还会对数据处理管道产生其他重大影响。这是我的“Storage Elephant Compute Birds”类比，鸟类飞到大象所在的地方比让大象移动到鸟类栖息的地方更容易。数据是大象；计算是鸟。
随时随地存储数据非常简单。硬盘驱动器很容易达到 20TB，并在未来3-4年内将容量翻倍。使用带有 NVMe 接口的固态硬盘，可以轻松获得快速数据。但是，如果数据的语法和上下文不是在创建或收集数据的位置确定的，并且不会快速处理，那么这些数据中有多少是重要和有价值的。在许多端点中， 从现场处理的数据中获得洞察的速度是价值所在。能够从这些现场洞察中做出响应，只需几秒钟甚至几毫秒，这就是价值所在。这些是可计算存储可以为CPU卸载和边缘计算带来的速度和局部优势。
在更大的计划中，由于可计算存储的出现，我们也看到了新的分布式计算和数据处理范式的诞生。