2018年中国新增数据量为7.6ZB,2019年中国大数据储量达到9.3ZB,2025年中国新增数据量将达到48.6ZB。
IDC《2021年V1全球大数据支出指南》预测全球大数据支出规模将在2024年达到2983亿美元,2020-2024年月10.4%的复合增长率。2020年,中国大数据市场整体规模预计超过100亿美元,并有望在2024年超过200亿美元。中国大数据市场五年内CAGR为19.7%,增速全球第一。
大数据市场的激增带来多个子市场的蓬勃发展。不同的行业对数据有着不一样的需求。例如,政府金融对于数据的安全性有着较高的要求,因此会更多的将数据部署在本地,从而带动了硬件市场;云计算行业的发展,则带动了一部分用户对数据云上存储的需求,也因此激发了软件市场的增长。作为数据的载体,存储市场在这样的趋势之下迅猛发展。
存储市场迎来春天
存储设备是存储市场的硬件支持,按照存储介质分类,存储可以分为光学存储、磁性存储和半导体存储;而按照存储的实现模式分类,存储设备包括DAS(直链存储)、SAN(存储区域网)和NAS(网络存储)三种模式。
2021年中国企业级存储市场将达到55亿美元,按照7.16%的年复合增长率,2024年中国企业及存储市场空间有望达到65.9亿美元。随着AI、云技术、物联网技术的大量应用,数据的激增引起了对存储的需求。存储市场正在向数据中心、云存储的方向成长。据前瞻产业研究院测算,2019年我国的存储市场规模已经高达4770亿元。
在大数据的推动下,存储市场迎来了春天。与此同时,在这股春风之下,新的技术也出现了,这也引起了新一轮的竞争。
存储的新技术
存储市场的发展激发了对存储技术的要求。海量的数据对硬件数量的要求越来越多,最初的磁芯存储器只有几百个字节的容量,当它们面对当今世界如此巨大的数据量时,在物理空间的存储上就存在着巨大的困难。要知道1ZB就等于相当于1*1021B。因此提高单位体积的存储数据能力就成为了存储器件要攻克的一大方向。
密度高成为技术正在攻克的主要方向,而提高硬盘的其中一个难点是当机械硬盘的存储密度的增大,磁性颗粒的体积会减小,磁性受到影响,导致磁性颗粒的极性顺序被扰乱最终损坏数据。
主流硬盘曾经使用LMR——纵向或水平磁记录技术去提高密度,但这一技术随着磁极粒子体积的缩小粒子之间干扰增大,被市场淘汰;随后PMR——垂直磁性记录的技术出现,通过让磁性例子和磁感应的方向与盘片垂直,提高硬盘密度。
然而随着数据量的增大,PMR技术也走到尽头,为了更大程度的提高密度,SMR——叠瓦式磁记录技术应运而生。SMR技术利用了满足读取磁头和写入磁头浪费的部分空间重叠。采用SMR技术的硬盘缓存可以达到256MB,使得硬盘的性能有了进一步提升。
不过当存储密度高于1.5TB每平方英寸面临超磁限制后,磁场强度记录的数据无法将会无法满足。为了解决这个问题,HAMR热辅助技术出现。
HAMR技术是通过激光加热磁存储介质从而使记录磁头每次翻转单个位的磁极性,进而达到写入数据的目的,由于磁盘迅速受热时,介质更加易于写入数据,因此采用这项技术后,硬盘的存储密度可以显著提升,目前借助HARM技术希捷系列企业硬盘已经达到18TB。
该技术也被希捷视为是存储行业的颠覆性技术。随着硬盘容量不断变大,容量增加的速度在放缓。而HAMR技术能够确保容量的逐年提升,从而降低每存储单位的成本,这对整个行业来说是极具颠覆性的。
在希捷看来,由于硬盘存储面密度的提升,磁头在相同时间内单次读取的数据量也相应更高,想要做到在大存储容量下快速寻址正确位置,需要更长的时间和更为精准的寻址方式,为了解决高密度之下的性能问题希捷引入了MACH.2多磁臂技术,利用多条磁臂来提高硬盘的IOPS性能。
数据的未来如何发展
除了存储的难点,随着数据量的增加和边缘计算的大量应用,数据的传输成为另一个挑战。在分布式IT生态发展的浪潮之下,在不同云层和边缘的数据已经无法再各自孤立,数据端点到边缘到云的高质量传输调取成为不可避免的发展趋势。
在传输问题中,带宽是数据传输的一个重要限制,对于动则几十P的数据,一旦面临传输可能会耗费几周的时间。而在信息化时代中,如果用几周的时间进行数据传输,极大的影响了数据的即时性,从而影响企业的创新能力等。因此,如何进行快速传输,成为数据爆炸式增长背景下亟待解决的问题。
物理传输方法成为海量数据传输的新一解决方案。将数据存储在便于拆卸的模块化存储设备中,需要传输时直接拔出通过物理方法运输。这种方式在传输大量数据时超越了带宽的限制,同时可以将传输中的数据损耗降到最低。
存储市场不止存储……
为了提供整个系统级的产品,希捷已经准备进入芯片行业。希捷从去年推出了其设计的两款RISC-V处理器,其中一款是为了提高硬盘的性能,另一款则是为了面积优化。希捷推出的处理器可将实时的、关键的硬盘工作负载性能提升高达3倍,另外还支持高级伺服(移动控制)算法,用于控制磁头在邻近磁道之间的移动,从而实现更精细的定位。
除了芯片,希捷的Lyve品牌,正在致力于前文所说的“物流运输数据”,作为存储行业传统的领军企业的希捷正致力于提供一个硬件方案的数据传输服务,从客户端到桌面,到数据存储,到边缘节点,再到公有云和私有云节点,提供全系列方案,把光纤传输变成物理传输,大大提高传输效率,并且降低传输成本。
从人类文明开始,存储二字就成为文明史上不可忽视的重要环节。从结绳记事到如今大数据时代,存储的发展不是简单的硬盘市场,其背后是终端市场的繁荣与新技术的突破,更是人类智慧结晶的闪光。