“软件定义”的概念在计算、存储、网络等IT基础设施领域被广泛使用。不同于传统的“硬件定义”,“软件定义”强调硬件设备与软件系统解耦,构建覆盖在硬件层上的虚拟化(软件)层。
软件定义存储是“软件定义”概念在存储行业的应用。软件定义存储(Software-Defined Storage,SDS)是一种数据存储方式,所有存储相关的控制工作都放置在相对于物理存储硬件的外部软件中。
2023年中国SDS市场规模为184亿人民币,预计2027年将达到301亿人民币,2023-2027年复合增速13%。
软件定义存储的前八大应用场景分别是云计算、视频监控、大数据分析、医疗影像、高性能计算、海量数据归档备份、电子票据影像、数据库。云计算场景SDS应用最为广泛,SDS以其天然的软件定义属性,与云计算场景高度契合,当前SDS在公有云中的渗透率已近100%。数据库场景SDS增长最快,超低时延的SDS 2.0产品使得数据库上云及传统存储替代成为可能,推动SDS在数据库场景快速渗透,2022年数据库SDS市场规模增速高达150%。
在存储软件+专有硬件的存储方案中,专有硬件针对存储软件进行了定制化优化升级,软硬件协同使用,可获得优于通用硬件的稳定性与性能表现。但随着SDS 2.0产品升级,新一代SDS软件+通用硬件的组合,性能上可轻松超越传统SDS软件+专有硬件。
覆盖市场:
注:扫描下图二维码或点击文末左下角“阅读原文”,可下载完整版《2023爱分析·软件定义存储全景报告》。
“软件定义”的概念在计算、存储、网络等IT基础设施领域被广泛使用。不同于传统的“硬件定义”,“软件定义”强调硬件设备与软件系统解耦,构建覆盖在硬件层上的虚拟化(软件)层。软件定义存储是“软件定义”概念在存储行业的应用。软件定义存储(Software-Defined Storage,SDS)是一种数据存储方式,所有存储相关的控制工作都放置在相对于物理存储硬件的外部软件中。根据云计算开源产业联盟定义,软件定义存储指将存储物理资源通过抽象、池化整合,并通过智能软件实现存储资源的管理,实现控制平面与数据平面的解耦,最终以存储服务的形式提供给应用,满足应用按需(如容量、性能、服务质量、服务等级协议等)使用存储的需求。与软件定义存储较为相似的概念还有分布式存储,两者根本的区别在于“硬件解耦”。分布式是区别于集中式,强调存储自身设备采用分布式架构,大多以软硬一体机的形态呈现,强调软硬件整体优化,用户可以选择配置,但通常无法选择硬件产品的品牌。软件定义是区别于硬件定义,更加强调纯软的形式,实现了硬件解耦,用户可自由选择硬件供应商。当前两者呈现明显的融合发展的态势,二者的界限并不十分严格,本报告的市场统计中也包括分布式存储,不做严格区分。图1:软件定义存储与分布式存储
从技术架构的角度,软件定义存储市场可划分为基础设施层、服务层和应用层。软件定义存储建立在CPU、内存、操作系统、存储介质、存储网络等基础设施上,以纯软、软件+通用硬件、软件+专用硬件的形式提供块存储、文件存储、对象存储、大数据存储等存储服务,并面向垂直行业和通用场景提供数据存储应用。软件定义存储市场划分详见下图。图2:软件定义存储市场全景地图
本报告重点选取云计算、数据库两大场景的软件定义存储市场进行研究。2.1 基础设施与需求双向作用,驱动SDS 1.0向SDS 2.0革命性升级
大数据、云计算的发展呼吁更加敏捷灵活的IT架构,2012年软件定义存储(SDS)的概念被首次提出。此时的SDS架构(SDS 1.0)主要面向慢速存储硬件和网络设计,存储IO处理效率局限明显,性能、时延、稳定性、可靠性均难以满足企业核心业务的存储要求,在企业存储市场的渗透率较低,且主要应用于中低端业务场景。近十年来,基础设施和用户需求快速发展,基于SDS 1.0架构设计的产品在性能、稳定性等方面显得愈发捉襟见肘,仅靠功能层面的优化获得的效果有限,亟需通过架构革新实现全面的跨越式提升。在基础设施与需求双向驱动下,SDS 1.0向SDS 2.0进化。图3:当前已进入软件定义存储2.0时代
基础设施层面。存储介质及网络能力在过去十年实现飞跃式提升,新兴的SSD介质相比磁介质,性能提升近千倍,时延降低数百倍;网络带宽可达到100Gbps,RDMA等新兴网络技术更是将网络时延带入10us级水平。与此同时,SSD的成本持续优化,专家预测未来2~3年基于SSD构建的数据中心的TCO将低于HDD,推动SSD在企业数据中心的渗透率快速提升。然而,面向慢速存储硬件及网络设计的SDS 1.0难以释放当前高速硬件及网络的性能潜力,亟需新一代SDS破局。需求层面。过去十年来,企业对存储需求的变化核心体现在四个方面。第一,海量数据爆发与智能应用涌现,需要能够支撑高并发、高性能应用的存储设施。第二,业务深度云化,核心业务及性能敏感型业务开始向云上迁移,集中式存储难以满足云计算对存储敏捷灵活性、海量并发和扩展性的需求,企业转向SDS产品,然而云化将带来较大的存储性能及时延折损,SDS 1.0无法支撑应用保持上云前的使用体验。第三, SDS 1.0主要基于intel CPU设计,难以适应当前多元化的信创生态。第四,混合多云常态化,跨厂商、跨平台、跨云的存储资源共享和数据互通需求空前迫切。在上述多重压力的作用下,SDS朝着高性能、低时延、稳定可靠、数据互通的方向快速进化。2.2 2023年中国SDS市场规模超180亿,进一步压缩传统存储市场IDC数据显示,2023年中国SDS市场规模为184亿人民币,预计2027年将达到301亿人民币,2023-2027年复合增速13%。图4:2023年中国SDS市场规模超过180亿元人民币
与此同时,在企业存储市场,基于标准硬件的SDS正在逐步替代SAN、NAS等传统存储。根据IDC数据,近年来,SDS在企业存储市场的渗透率持续保持上升态势,从2019年的18%上升至2021年的27%;反之,传统存储市场份额在逐步萎缩,从2019年的65%下降至2021年的52%。图5:SDS在企业存储市场渗透率持续提升,压缩传统存储市场
2.3 Top5应用场景规模占比80%,云计算占比最大,数据库增长最快根据爱分析调研,软件定义存储的前八大应用场景分别是云计算、视频监控、大数据分析、医疗影像、高性能计算、海量数据归档备份、电子票据影像、数据库。其中,云计算、视频监控、医疗影像、海量数据归档备份、电子票据影像是软件定义存储的传统应用场景。随着数据成为企业核心资产,企业对数据价值的挖掘持续深入,大数据分析、高性能计算、数据库等新兴场景迎来快速增长。综合来看,云计算场景SDS应用最为广泛,SDS以其天然的软件定义属性,与云计算场景高度契合,当前SDS在公有云中的渗透率已近100%。数据库场景SDS增长最快,超低时延的SDS 2.0产品使得数据库上云及传统存储替代成为可能,推动SDS在数据库场景快速渗透,2022年数据库SDS市场规模增速高达150%。图6:软件定义存储八大应用场景市场规模情况
图7:软件定义存储八大应用场景市场规模增速情况
2.4 基础设施完善、运维能力强的企业更倾向于采用纯软交付基础设施完善、具备专业运维团队的大型企业用户,倾向选择纯软采购,可灵活选购硬件产品,或充分利用原有硬件设备,避免硬件厂商绑定的同时,提高资源利用率。基础设施条件与运维能力较弱的中小企业,更愿意选择存储软件+通用硬件/专用硬件的软硬一体采购,拆箱即用,运维难度低。一般来说,存储软件+专有硬件的存储方案中,专有硬件针对存储软件进行了定制化优化升级,软硬件协同使用,可获得优于通用硬件的稳定性与性能表现。但随着SDS 2.0产品升级,新一代SDS软件+通用硬件的组合,性能上可轻松超越传统SDS软件+专有硬件。爱分析基于对甲方企业和典型厂商的调研以及桌面研究,遴选出在软件定义存储市场中具备成熟解决方案和落地能力的入选厂商。图8:软件定义存储厂商全景地图
软件定义存储作为数据基础设施,其评估维度主要包括成本、稳定性、安全性、性能、扩展灵活性、管理便捷性等六大方面。由于业务特征差异,不同应用场景对存储需求的侧重点不同。视频监控、医疗影像由于动辄数百TB甚至PB级的存储规模,存储降本压力巨大,属于成本敏感型场景;短视频、游戏等场景中,应用抖动、卡顿是用户最经常感知的体验问题,稳定是其核心关注点;海量数据归档关注存储可靠性,国产替代关注核心技术自主可控,属于安全敏感型场景;性能是当前阻碍核心业务、数据库上云进程的主要因素,将直接影响核心业务、数据库云化后的使用体验;视频监控、工业互联网产生海量非结构化数据,增长迅速,需要扩展灵活的存储设施;大数据分析、数据湖需要对海量、多类型的数据进行存储、分析,要求数据互通、统一存储,关注存储的管理便捷性。图9:SDS产品核心评估维度及各维度的高敏感度场景
根据研究范围定义,本次报告聚焦云计算、数据库等性能敏感型场景。甲方终端用户:
各行业企业的IT部门、大数据部门,以及相关业务部门。
甲方核心需求:
云计算
企业上云已成为企业数字化转型的重要路径,SDS以其天然软件定义的特性完美契合云计算,成为云计算的首选存储方案。云计算又可细分为虚拟化和容器两大场景,不同场景对存储的核心需求有所差异,虚拟化场景下存储的核心痛点在于性能折损导致的应用上云后使用体验大打折扣;容器直接对接物理服务器,省去了虚拟层,灵活敏捷的特征要求存储能够被轻量级地访问和管理。Gartner数据显示,2021年中国云计算平均渗透率仅9.7%(以云计算占IT支出比重衡量),低于全球的15.3%,为加快数字化转型进程,企业需要更加高性能、云原生的SDS产品,实现从局部上云向全面上云、深度用云的过渡。企业需要高性能SDS支撑核心业务在虚拟化场景稳定、高效运行。存储对接到虚拟化平台后,将不可避免产生40%~60%不等的性能折损,严重影响应用上云后的使用体验。当前国内企业已上云业务主要聚焦在非核心以及非性能敏感型业务。面向慢速硬件及网络设计的SDS 1.0产品,存在明显的IOPS、时延、稳定性局限,叠加云化性能折损的影响,难以支撑核心业务与性能敏感型业务在云上的稳定运行,应用卡顿、宕机等情况增加。企业迫切需要高性能的SDS产品,确保该类业务虚拟化上云后,可获得与云下一致或更优的体验。
企业需要SDS贴近云原生,支持容器场景下敏捷访问和管理存储系统。容器场景对敏捷灵活性具备较高要求,然而传统SDS和传统集中式存储均采用异构的方式进行挂载,无法灵活便捷地访问。企业希望SDS更加贴合云原生,可支持用户轻量级访问,并能够敏捷地管理存储系统,如敏捷地发放数据存储服务、敏捷地创建或删除卷。
数据库数据库一直处于企业业务系统的核心位置,几乎所有的应用系统都离不开数据库,数据库系统的性能问题常常是应用系统性能问题的关键,存储又在数据库中起着决定性的作用,高可用、高性能、低时延是数据库对存储的核心需求。当前中国数据库市场正在迎来快速上云和国产化进程加速的两大浪潮交汇期。为保证数据库上云后仍可稳定、高速运行,在存储时延、稳定性、安全性上提出了更高的要求。与此同时,数据库国产化趋势下,核心技术自主可控并能良好适配国产数据库生态也成为存储系统的硬性标准。企业需要超低时延SDS支撑数据库上云。由于存储对接到云场景后,会产生较为严重的IOPS、时延折损,然而,数据库作为典型的时延敏感型场景,对存储的IO时延极为敏感,如金融行业交易类业务的数据库系统,通常对存储IO时延的要求在2ms以内。为确保数据库上云后,仍可高速运行,需要百微秒级超低时延的SDS产品进行支撑。
企业需要SDS具备秒级灾备能力,保证数据库长期稳定安全运行。数据库承载着企业核心业务,一般都是7x24小时不间断运转,要求极高的稳定性和安全性。为保证业务连续性以及数据高可靠,要求存储具备超高容错能力,支持对存储设备实时监控,可智能预警故障,发生物理故障时可实现秒级切换,并能高速修复故障。
企业需要SDS良好适配国产数据库生态,实现国产替代真替真用。数据库及存储作为企业基础软硬件设施,是信创率先发力的领域。为支撑企业数据库及IT基础设施信创战略,SDS必须满足核心技术自主可控、友好兼容其他国产软硬件、兼容后性能无衰减等三个要求,以真正实现国产替代以及真替真用。
企业需要更加弹性的存储,支持数据库灵活扩展。数据规模以及数据应用模式的极速扩张使得部署于传统集中式存储的数据库环境,时常出现突发式存储资源短缺或与其他系统软件冲突的现象,导致服务质量难以保证。企业希望更加弹性的存储,支持按需扩容,以支撑业务快速发展,对此,部分厂商推出了高性能数据库一体机解决方案。
厂商能力需求:
企业基于云计算、数据库场景中软件定义存储的需求,对软件定义存储厂商提出了多项能力要求,包括具备新一代SDS架构研发能力、具备完备的数据保护能力、敏捷灵活的存储管理能力等。此外,软件定义存储厂商需要确保核心技术自主可控,并积极融入信创生态。SDS 厂商需要具备全新架构的研发能力,充分挖掘高速硬件的性能,实现存储性能的跨越式提升。传统SDS产品主要基于Ceph、GFS等开源框架开发,这些架构主要面向慢速硬件及网络设计,软件IO栈存在局限,很难完全发挥SSD、RDMA等新兴存储介质及网络技术的性能优势,即使投入大量精力优化,IOPS、时延、稳定性等方面可获得的提升也很有限,很难支撑云计算、数据库等高性能场景需求。
基于此,要求SDS厂商具备新一代架构的研发能力。为保证基于新一代架构开发的产品,能够极致挖掘高速硬件及网络的性能,实现存储性能的跨越式提升,SDS厂商需要具备强大的研发团队,且核心团队成员需要在存储领域具备丰富的经验积累,包括深厚的技术积累和深刻的产品理解。
SDS厂商需要具备完备的数据保护能力,确保核心业务上云后稳定安全运行。为满足企业数据库等核心业务系统云上稳定运行,SDS厂商需要建立颗粒度更细、更全面的数据保护能力,除常见的多副本冗余外,还应建立如故障实时监控、智能预警、快速修复、秒级切换、双活容灾等能力,构建“故障前预警-故障中业务平稳运行-故障修复”的全流程完备数据保护能力。
SDS厂商需要构建更加敏捷灵活的存储管理能力。云计算与数据库场景中,敏捷灵活的存储管理能力可分为两个层面,第一,容量与性能的弹性扩容能力,第二,存储的快速部署与轻量级访问/管理。由于弹性扩容是SDS的核心特征之一,SDS厂商应重点提升存储快速部署与轻量级访问和管理能力,一方面,以更加贴近云原生的产品支撑容器平台轻量级运行,另一方面,存储软件支持在线升级、快速部署,保证数据库业务的连续性。
SDS厂商需要充分融入数据库信创生态,核心技术自主可控、可用。为支撑企业数据库及IT基础设施信创战略,SDS厂商应满足三大要求。首先,需实现核心技术自主可控。其次,应友好兼容其他国产软硬件,软件上,需兼容主流国产操作系统、数据库;硬件上,需支持全系列国产CPU、服务器、存储硬件等。最后,应确保与其他国产软硬件兼容后性能无衰减,部分国产SDS产品成熟度不足,与国产硬件结合后,性能衰减明显,无法匹配用户的业务性能需求,国产替代反而造成IT建设倒退。
厂商的产品服务满足云计算、数据库场景的厂商能力要求;
近一年该厂商在云计算、数据库的SDS市场的营收不低于1000万元;
近一年该厂商在云计算、数据库的SDS市场的付费客户不低于10个;
华瑞指数云
厂商介绍:
华瑞指数云(ExponTech)成立于2020年,专注于数据存储基础设施领域,公司基于原创技术自主研发下一代软件定义存储、存数一体混合多云数据平台等面向数据和数字化经济的基础软件产品、系统和解决方案,帮助企业和组织建设“以数据为中心”的新型IT基础设施,实现全场景数据在统一的数据平台上存储、管理和分析,消除数据孤岛,促进数据的共享和智能管理。公司目前在深圳、北京、成都、西安、洛阳、长沙等地设有研发中心和分支机构,客户遍布金融、教育、医疗、广电、制造、政府等多个行业。2023年,全球存储性能委员会(简称SPC)公布最新SPC-1基准评测榜单,ExponTech自主研发的分布式SDS产品ExponTech WDS凭借27,201,325 IOPS(每秒读写操作次数)、0.217 ms峰值性能时延以及0.144 ms平均时延的评测值,创造新世界纪录。ExponTech WDS在成本方面同样具备显著领先,其凭借SDS软件架构+普通服务器硬件的组合方式,使得每KIOPS仅为319.25元人民币。ExponTech WDS(WiDE Hyper-IO Disk Storage)是基于全自研的极速分布式存储引擎WiDE构建,面向云计算,数据库,AI训练等企业关键业务和高性能业务场景打造的全自研分布式软件定义存储软件,支持TCP, RoCE, Infiniband等物理网络环境,全闪或混闪硬盘介质,可提供单卷超200万IOPS,单路70微秒极低时延,3节点集群超1200万IOPS,对比传统的分布式软件定义存储软件在相同标准服务器硬件环境上实现10到30倍的性能提升,时延下降90%。基于标准PC服务器构建的分布式全闪存储,在性能,时延和可靠性等关键指标上媲美和超越高端全闪阵列,助力企业级关键业务的现代化架构升级和云化转型。WDS 凭借全新的分布式系统架构,打破了现在主流的SDS只能用于中低端业务场景的藩篱,可满足企业核心数据库、实时数据仓库、高性能虚拟化、HPDA(High Performa Data Analysis)、容器存储等应用对高性能、低时延、高可靠存储能力的需求,可广泛应用于金融、 医疗、能源、交通、制造等行业,为企业关键应用提供持续卓越的数据存储服务能力。图10:ExponTech WDS产品架构(来源:华瑞指数云官网)
云计算、数据库领域,华瑞指数云的SDS产品在性能、稳定安全性、敏捷灵活性、信创等四方面具有优势。产品性能上,华瑞指数云自研新一代SDS存储架构,可提供极致性能体验。稳定安全性上,华瑞指数云WDS产品具备超高容错,双活及无损快照能力,可确保核心业务及数据库云上稳定安全运行。敏捷灵活性上,WiDE引擎和WDS产品采用微服务架构,支持敏捷部署并完美适配云原生环境。信创上,WDS产品完全自主研发,核心技术自主可控,并全面支持主流信创软硬件生态,助力企业数据存储及IT基础设施全面国产化。基于新一代存储架构打造,可提供极致性能体验。华瑞指数云核心团队成员具备十余年分布式存储产品研发经验,为突破基于慢速硬件及网络设计的传统SDS存储软件架构的掣肘,华瑞指数云从零开始自主研发新一代分布式存储引擎WiDE,并基于WiDE引擎研发了新一代软件定义的极速分布式块存储产品WDS。
不同于传统SDS分层转发的IO处理模式,WiDE引擎自研的极速IO栈采用了全用户态的端到端无锁数据通道,IO处理全流程无上下文切换、零中断、零拷贝,大幅降低时延。基于WiDE打造的WDS可实现20~40us的极低时延,相比传统SDS时延降低90%以上,IOPS提升最高可达30倍,能够真正充分发挥新一代硬件介质和网络技术的能力,使云应用从能用向好用转变。
具备超高容错及无损快照能力,确保系统高可用和高可靠。对稳定安全性的隐忧是阻碍企业核心业务、数据库上云的关键原因之一。WDS通过智能磁盘/网络亚健康监测、多级故障域提高故障前的预防与容错能力,通过双活容灾确保故障中业务平稳运行,通过无损快照、分布式复制状态机等机制实现数据的强一致性,快速备份,故障后的快速恢复,构建从故障前-故障中-故障后的全链路保障能力,确保系统的高可用和高可靠。
WDS的多级可靠性故障域,单资源池可容忍最高2个机柜/服务器失效,有效减少故障发生。支持双活容灾,业务在极端故障场景下仍然可以切换到另一个容灾区域,业务的连续性可以得到充分的保证。支持RoW无损快照,可提供实时备份和恢复能力,且对单卷打数万个快照后,该卷的性能下降不超过5%。此外,WDS采用了自研的分布式复制状态机,能保证三副本在任何时间的强一致性,相较于业界常用的复制状态机,其在故障修复效率上具备更优秀的表现,能够带来更好的可用性。
采用微服务架构,支持敏捷部署并完美适配云原生环境。WiDE引擎和WDS分布式块存储产品,采用微服务架构和全容器化部署,能够在任意云平台或者物理环境上快速部署发放软件定义的分布式块存储服务,支持存储软件的在线升级和弹性伸缩,升级过程中不需要重启系统,不会导致业务中断,保证业务的连续性。
以云原生的方式支持kubernetes容器云平台的标准CSI接口,以CSI-NVMe-oF的方式给容器提供高性能块存储,支持核心数据库业务的生产级容器化部署和运行,用户可以灵活访问和管理存储,像访问本地盘一样快速和轻量。
核心技术自主可用,全面支持主流信创软硬件生态。数据库、存储作为基础软硬件,是信创率先发力的领域。WiDE引擎和WDS产品完全自主创新从零开始开发的核心代码,友好兼容国产信创软硬件,如海光、鲲鹏、飞腾等国产CPU, 统信、麒麟、openEuler等国产操作系统、国产SSD盘、网络设备及服务器整机,全面满足企业信创战略需求。
针对国产CPU单核性能偏弱、多NUMA节点的特征,华瑞指数云在SDS存储软件层进行了针对性的优化,结合极速IO栈避免跨NUMA的内存访问,性能损耗极低,在国产信创CPU平台上同样可以获得极高的存储性能,真正实现国产信创的真替真用乃至超越。
SmartX成立于2013年,是一家企业云基础设施产品与解决方案提供商,专注超融合、分布式存储、云原生存储。SmartX致力于创建可扩展且易于使用的计算和数据基础设施,提升企业 IT 能力,让企业集中精力在帮助商业运转的应用和创新上。SmartX已服务约 150 家金融行业客户,涵盖银行、保险、证券、基金、期货、信托、互金资产等细分行业。SmartX面向企业自建云需求,提供超融合、分布式存储、云原生存储、网络与安全、Kubernetes 管理等多样化产品组合,覆盖从传统生产业务到现代化敏态业务,从数据中心到边缘的各类场景。在软件定义存储市场,SmartX的主要产品为SMTX ZBS,产品核心为自主研发,应用场景为服务器虚拟化、私有云、容器和物理机。京东云是京东集团面向企业、政府等机构的技术服务品牌,主打“更懂产业的云”。京东云在全国建立了70个城市服务基地,为包括银行、保险、基金、信托、证券公司在内的814家各类金融机构提供了数字化服务的综合解决方案,已为1542家大型企业、超152万家中小微企业提供了数字化解决方案,帮助企业实现数智化转型。京东云提供弹性计算、存储、数据库等多种产品。在软件定义存储市场,京东云的主要产品为分布式存储平台——云海,其提供块存储、分布式文件存储、并行文件存储、对象存储、大数据存储等5种存储服务。云海已在存算分离、高性能计算、AI训练、大数据底层存储等新兴场景,以及音视频存储、图片存储、数据报表、灾备存储、传统存储替代等传统场景得到应用。
创作团队易丹
关于厂商全景报告爱分析厂商全景报告面向数字化市场的甲方用户,由爱分析定期撰写并公开发布,为甲方采购旅程中的数字化规划、厂商选型等环节,提供决策依据和支撑。
报告提供所覆盖领域的数字化市场全景地图、特定市场分析与入选标准,以及入选厂商列表、代表厂商评估等研究成果。
甲方用户可以依据入选厂商列表,拟定潜在供应商名单,并通过爱分析第三方评估,了解厂商在特定市场的产品服务优势,选择合适的厂商进行选型。
注:点击左下角“阅读原文”,下载完整版《2023爱分析·软件定义存储厂商全景报告》。