计算存储的时代到了吗？

计算存储这个概念对我们来说并不新鲜。只是和许多概念一样，这个想法已经远远领先于技术。

简而言之，计算存储将处理能力提升到存储级别。它不需要将数据从存储系统加载到内存进行处理；在存储和计算资源之间移动数据效率往往很低，虽然计算系统增长迅速，但还是无法跟上不断扩展的数据集。

存储容量正在突飞猛进地增长，但数据处理架构还是一成不变——将数据从存储器加载到内存中，处理后再写回到存储器。存储工业网络协会(SNIA)说得很简单：“从磁带和软盘开始，存储架构基本上没有改变。”

现在有一些解决方案，如SAP HANA这样的内存数据库，可以减少数据进出存储器；阵列中的闪存驱动器能够通过将控制器和闪存直接连接到主机的PCI Express总线，绕过驱动器和CPU之间传统的、速度较慢的SAS和SATA接口。

但这还远远不够，目前服务器的内存已达到TB级，用于大数据分析、人工智能和机器学习的数据集已达到PB级。

计算存储将处理放到存储媒体上，在存储媒体所在的地方进行处理。这不可能在机械驱动器上实现，但是可以在固态存储上实现，而且越来越有吸引力，因为移动数据比处理数据需要更多的功耗。

加州大学欧文分校和NGD Systems进行的一项研究表明，有些系统的性能可以提高8到9倍，同时功耗也有所减少，大多数系统的性能至少可以提高2.2倍。

对于大多数用户来说，他们可能不知道正在发生的事情；但对于大型数据中心来说，这种方法每年可以节省数百万美元。关键是要尽可能做到无缝，即对终端用户基本上是不可见。

Rambus的技术研究员、杰出发明家StevenWoo表示：“软件正在抽象出一个概念，他们只需要知道有一个支持计算模型的基础设施，当满足某些条件时将执行代码。在哪里执行代码并不重要；只有当条件满足时，代码才会运行。这一点很重要，因为目标是提高利用率。现在我们可以启动这一小段代码，让它在某个地方运行，而不用专门租用一台有时会闲置的虚拟机。”

计算存储是提高这种效率的一种选择，但肯定不是唯一的选择。然而，它正开始吸引更多的关注。

三星和Xilinx验证了这一概念

计算存储已经出现了好几年。自2018年以来，IBM一直在其闪存阵列中开发一种名为Flashscore Module的FPGA。它可以简单地卸载和加速存储堆栈，同时可以压缩内容。

IBM Fellow和IBMFlash Storage的首席技术官Andy Wall认为，计算存储将继续走向主流。“在FCM的例子中，我们正在卸载一些非常耗时以及在软件中很难处理的东西。这样简化后的数据存储会变得更加容易。”

去年11月，三星和Xilinx发布了SmartSSD计算存储驱动器(CSD)，他们声称这是业界首个可适应的计算存储平台。它结合了三星2.5英寸U.2 SSD，单端口PCIExpress Gen 3适配器和3.84TB的启动容量与XilinxKintex Ultrascale+ KU15P FPGA处理器。除了闪存，每个驱动器还配有4GB的2400MHz DDR4内存。

虽然看起来像一个消费级设备，但SmartSSD的性能绝不会止步于此。其MTBF (Mean Time Before Failure)为200万小时，随机写速度可达800000 IOPS (I /O Operations Per Second)，随机读速度可达110,000 IOPS。

Xilinx数据中心集团的业务开发和产品营销总监Jamon Bowen说，使用计算存储基本上有两大好处。首先，客户有一个针对工作负载进行优化的加速器，而不是通用的计算设备；其次，通过避免移动数据可以避免内存污染，以及搬移数据带来的功耗和复杂性。

Bowen补充说，在许多计算场景中，有很多需要在确定的时间内获得结果；通过基本的硬件解决方案，我们可以保证性能和延迟，这一点很重要。

基本用例

虽然如此，不要指望计算存储能立即完成繁重的工作。专家们一致认为，由于处理能力的限制以及人们开始接触计算存储，它将从减轻工作量和做准备处理开始。

英特尔Optane Solutions and Strategy高级总监Chris Tobias表示：“你必须先弄清楚自己想要出售哪些产品，最先弄清楚这一点的将首先开始进入市场。你必须首先找出与存储相关的最简单的任务；通用计算还远远不能满足此类存储需求。”

Objective Research的首席分析Jim Handy指出，利用现有的分片技术在数据库中使用计算存储是有潜力的。分片是将数据库分解成多个部分，然后每个部分都被并行处理。

Handy说：“这是一种加快数据库运行速度的方法，但它最终会导致很多问题，因为同一个数据库被分散到不同区域，需要重新组装起来；但这种连接操作非常容易出错。”大多数主数据库，无论是商业的还是开源的，都以自己的方式支持分片。MySQL很明显不支持分片。

Handy指出，当数据库被拆分时，实际上并没有修改数据。一旦数据库被分解，你就会搜索它，并可能对它进行排序。计算存储使得分片、搜索、排序和连接变得更加容易，因为它们都在相同的内存空间中。

Lewis Rhodes Labs的创始人David Follett表示，这也有助于减少在边缘收集的数据量；该实验室开发了一种用于计算存储的神经形态处理器。他指出，一架现代商用飞机每次飞行，都会产生平均4TB的数据，这些数据在飞行结束时被下载到一个大型数据库中，其中包含在全球任何特定时间飞行的所有飞机的信息。

边缘计算存储提供了一个机会，可以减少不必要的数据，只将有价值的数据发送到主数据中心系统。

应用程序重写?

计算存储的好处是可以消除或减少数据移动。但这种功能上的变化也可能意味着应用程序运行方式的根本转变。对于Hadoop和Spark等企业应用程序或Oracle的数据库是否需要重写，专家们存在分歧。

英特尔Optane解决方案和战略高级总监Chris Tobias表示：“利用这个契机可以彻底重组软件。通过计算存储，我们将把某些功能从服务器软件上剥离，然后将这一功能的多个副本转移到SSD上。”

Pliops总裁SteveFingerhut表示，Pliops正在开发自己的计算存储处理器。但是它需要在架构上进行重大的更改，基本上必须重写应用程序来实现整个功能。

 “如果计算存储需要一些独特的东西，或者对架构进行重大改变，就会产生很多摩擦；公司很难接受这一点。使用一个开放的规范，比如块接口，意味着公司可以移植到这种规范，并在未来拥有灵活性，不会被锁定在任何一个供应商。”Fingerhut 说。

“商业软件应用可能会缓慢接受这种方法。正是那些超大规模的数据中心运营商购买了计算存储这一技术，而这些运营商完全控制自己的软件和硬件。”

Handy还认为，大型软件供应商可能会采取观望态度。如果计算存储在他们的客户群中流行起来，那么他们就会支持它。“但我不认为他们会是第一个支持计算存储的公司。”

计算存储供应商ScaleFlux的首席执行官钟浩表示，向计算存储的转移都是从API开始的，而不是应用程序。他引用英伟达的CUDA语言作为不同GPU应用的API和库的完美例子；利用计算存储、数据库和大数据也需要类似的事情发生。

“一旦计算存储有了这个标准的API，它们就可以很容易地分享这些框架。数据库供应商可以采用这些API，并拥有两个版本的数据库，这意味着他们可以使用计算存储来大大加快工作负载。与此同时，如果计算存储不可用，他们的软件可以继续使用。”

对抗物理定律

Follett指出，科技行业擅长推进技术，但由于固有的矛盾，在推进计算存储方面将面临真正的挑战。

“从根本上说，存储喜欢密度大、温度相对较低，而计算密集后温度相对热。这两件事完全相反。SSD通常在75摄氏度左右有热切断，而在带有合适尺寸FPGA的U.2中温度可能达到75摄氏度。”

U.2硬盘看起来像SATA的消费硬盘，也就是2.5英寸的塑料外壳。怎么在上面放散热器?

“如果想做任何计算上有意义的事情，就必须弄清楚要怎么处理这些热量，这是一个根本性的障碍。”

Wall不同意这种说法，他表示可以在企业设备中冷却SSD，包括服务器和全闪存阵列。NVMe规范将U.2限制在25W，但所有这些服务器和存储单元都提供冷却机制，以确保驱动器处于其温度限制下。而我们已经拥有这些冷却SSD的机制。

Bowen表示，SmartSSDCSD的设计是在标准的25W电源外壳下运行，适用于U.2。“联合设计的一个重要部分是确保SSD和FPGA部分协同工作，以满足这一限制，比如NAND在写入过程中使用更多的功率。FPGA的功率是基于IP负载和它的时钟速率。”

他补充说，有一个称为EDSFF的规范，它预期了更多的需求，并支持更低功率(12.5 W – E1.s thin)和更高功率(70W -E3L 2T)。该规范现在由SNIA管理。

未来发展

Bowen认为，计算存储的发展势头正在日益增强。事实上，NVMe联盟中有一项技术建议将计算添加到NVMe框架中。

该联盟将使用标准的NVMe驱动程序来调用加速器功能，并在存储设备之间传输数据，而不是让三星、Pliops、ScaleFlux等每个独立的计算存储供应商自行实现。

Zhong还认为，在NVMe标准中加入计算存储将增加对这一概念的支持，随着该标准的成熟，一些主要数据中心将在未来12到18个月内开始部署。

原文链接：

https://semiengineering.com/has-computational-storage-finally-arrived/