轻骑逐单于,大雪满弓刀:华为分布式存储的一骑绝尘

原创 脑极体 2023-06-10 19:00


唐代诗人卢纶,有一首脍炙人口的《和张仆射塞下曲》,“月黑雁飞高,单于夜遁逃。欲将轻骑逐,大雪满弓刀。”诗中的慷慨激昂,热血炙烈,千年来让无数国人心魂激荡。


时代变迁,岁月迁移,今天我们所期望听到的热血故事或许不在现实世界,而是在数字山野的轻骑追逐中,在核心科技的发展竞赛里。


《数字中国建设整体布局规划》中,明确提出了构筑自立自强的数字技术创新体系,为关键核心技术突破发展指明了方向。在核心科技自立自强中,越来越多的“欲将轻骑逐,大雪满弓刀”的故事正上演着。



5月24日,在德国汉堡举办的ISC 2023(国际超算大会)期间,更新了最新一期的IO500榜单,这是国际最权威的存储性能排行榜。在IO500极为重要的10节点榜单中,华为OceanStor Pacific分布式存储全面刷新了世界纪录。尤其惊人的是,华为OceanStor Pacific的总得分超过了13万分,是上届冠军得分的15倍之多。


在世界纪录背后,在华为OceanStor Pacific分布式存储霸榜背后,蕴藏着存储镇守数字经济大国重器的支柱意义,也蕴藏着中国存储从跟随走向领先的全球化趋势。


一纸榜单背后,是一份对数字山河的守候,是一场轻骑绝尘的突围。



数字时代,半壁江山


想要讲清这个故事,首先需要了解一个背景:HPDA为什么重要?以及面向HPDA场景的分布式存储为什么价值非凡?


首先HPDA是由HPC(High Performance Computing高性能计算)发展而来。HPC是一种数据分析的应用场景。其通过聚合大量的计算和存储单元对数据进行分析,从而解决复杂问题。从基因测序到芯片制造,从油气勘探到航空航天,再到我们生活中的天气预报、影视特效渲染,都离不开HPC作为计算底座。


总之一句话,HPC是现代社会发展的计算基石。所以有人笑称,《三体》里的外星人要想遏制人类科技,其实不用那么麻烦,不让人类用HPC就行了。


随着HPC性能与技术的不断进步,人类能够在固定时间内分析更多数据,与之相伴的,我们也会保存更多数据给HPC场景,用来挖掘数据背后的价值。


随着相关数据量的指数级增长,HPC领域逐渐认识到提升数据分析能力、革新数据分析机制的重要性。将AI、大数据等技术分析手段与HPC结合,是更高效实现数据价值的新形式,即HPC、AI、大数据融合而成的 HPDA(High Performance Data Analytics)。


根据相关数据,2017 到 2023 年间,HPDA类应用的年增长速度达到了15.4%,HPC-based AI 类应用的年化增速更将达到 29.5%,远高于传统HPC的7.8%。由于HPDA事关国计民生,与国家的科技创新能力、科技自立自强水平紧密相关,HPDA已在全球范围内被认为是未来科技发展的战略高地,被称为占据数字时代的半壁江山。


一项技术的快速增长,往往会给配套设施带来挑战。HPDA的快速发展,就给存储产业带来了巨大的升级需求。随着数据量从PB级向EB级演进,存储成本日益增高。高性能计算量的持续增加,以及大数据、AI能力的加入,又对海量数据的多次提取、流转、读写、存储能力提出了更高的要求。


因此面向HPDA的分布式存储,正在承载越来越多的目光和声量。有人认为,谁掌握了HPDA存储,谁就能掌握尖端科研的未来。



但现实情况是,中国在发展适配HPDA场景的分布式存储过程中,正遇到一系列问题。


比如说,中国目前仍然有75%的数据存纳于机械硬盘之中。相对于闪存盘,机械硬盘容量密度低,数据读取慢,能耗高,可靠性差。相对来说,闪存介质几乎没有缺陷,尤其更适合HPDA场景这种对性能与时延异常敏感的工作负载。


在目前阶段,“磁退硅进”已经成为存储产业发展的核心趋势。比如全国人大代表、华中科技大学计算机科学与技术学院院长冯丹教授就提出,需要加快发展中国技术创新的,以半导体全闪存技术为核心的下一代存储技术标准体系。为此,要抓住全球存储介质升级、存储架构跨代演进窗口期,尽快完善中国自身的数据存储、数据保护、安全评测等关键标准体系建设。


在各个企业级存储相关领域中,以HPC、HPDA场景为代表的分布式存储全闪存替换任务更加急迫。好在,华为分布式存储已经开始行动,推进面向全闪存的一系列改造。比如说,本次IO500霸榜的华为OceanStor Pacific分布式存储,就是采用了全闪存机型。未来分布式存储的全闪化已经是确定性的产业走向,面向这个趋势,从产业侧到应用侧都应该加速分布式全闪的替换进程。


一件毋庸置疑的事就是,即便前路漫长,中国分布式存储全闪存替换是大势所趋,发展全闪分布式存储已经刻不容缓。


再者,适配高性能计算的Lustre分布式文件系统已经明显落后。Lustre 1.0早在2003年发布,随后得到了一系列欧美IT企业与美国能源部的认可,逐渐形成了谈起HPC,就无法绕开Lustre的局面。但事实上,Lustre在适配HPDA的过程中已经展现出了架构落后、磁盘碎片化问题严重、性能瓶颈明显、安全能力不足等短板。


在受目前外部环境未知的干扰下,对于存储这样承载着科技明珠HPDA的关键基础设施,逐渐实现自主可控也是当务之急。


综合来看,占据数字时代半壁江山的HPDA,亟需自主创新、实力绝群的存储力量来加持。


十分幸运的是,它来了,伴着“地表最强”的称号走来了。



定海神针,霸榜之路


IO500是HPC领域最具影响力的世界级存储排行榜,被称为“存储界的诺贝尔”。其主要针对存储系统的性能进行评测与排名,综合考察了带宽性能(GiB/s)和元数据性能(kIOP/ s)两大部分。其中10节点榜单统一了计算规模,把基准性能测试的计算节点限制至10个,能够更全面、更准确地反映出存储在日常应用中的实际表现,备受全球HPDA领域用户关注。


综合来看,IO500在目前阶段就是最具公允性与说服力的存储性能榜单。一方面,经过多年发展,其颁布结果和行业价值已经得到了全球数字化产业的承认。另一方面,IO500榜单的测试非常客观、科学,其提供了严苛的标准化性能测试套件,确保结果可信。值得一提的是,IO500榜单有着公允的测试人员配置与学术监督机制,避免了不少榜单受地缘因素影响,恶意打压他国产品技术等现象。



在这样的存储领域最高舞台上,华为OceanStor Pacific分布式存储以一骑绝尘的姿态,完美刷新了纪录。其通过模拟不同的I/O应用模型,历经12项苛刻的场景测试,整体达到了2400 GiB/s的带宽与770万 kIOP/ s的元数据性能。打破IO500纪录十数倍的霸榜行为背后,可以仰望到华为OceanStor Pacific的技术成果在业界铸就了又一座丰碑。这座丰碑像一枚定海神针,在数字山河荡气回肠。


十年磨一剑,一朝试锋芒。成功霸榜之前,华为分布式存储已经用了十年时间深耕细作,累积深厚技术,不断创新。从这次IO500总览星图中就可以看到,从总体得分、带宽性能、元数据性能等五个维度来看,华为OceanStor Pacific全面实现了“五边形战士”的成就,没有一处短板,没留下任何空缺。难怪有人说,这次IO500出炉,让全球看到了华为存储藏不住的王者实力,看到了中国存储崛起的必然性。




快马加鞭,实力斐然


那么我们自然有必要刨根问底,看看华为OceanStor Pacific究竟是如何实现这些成绩的?


俗话说,天下武功,唯快不破,对于存储来说也是如此,快就意味着性能优势,意味着提升了HPDA的工作效率与数据分析能力。为了追求这个快,华为采取了不断精进的四层加速架构,这也被称为华为存储独有的“多维度加速”体系:


1.应用加速:面向HPDA为代表的数据密集型应用,华为分布式存储业界唯一的应用感知DataTurbo加速引擎,通过融合数据格式、近数据处理和特征处理算子卸载加速等技术,实现了HPDA生态应用性能的倍增,提升了应用处理效率。


尤其针对HPDA愈发密集、愈发不可或缺的大数据环节,华为统一了数据湖和数仓内的文件格式,并优化了元数据结构,创新性地在存储侧为计算引擎开启缓存能力,实现了效率60倍的提升,让数百PB数据的查询时间缩减至10秒。


2. 算法加速:通过独创的SmartBalance全均衡设计,华为可以实现对数据类型和I/O流的智能感知,从而能够提升HPDA业务混合负载的处理效率。这不仅兼顾了CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈,更解决了HPC多流程跨系统的数据迁移、数据膨胀问题。



3.网存加速:华为OceanStor Pacific通过自主创新的网络芯片支持RoCE,同时支持RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时,可以智能调整网络的相关参数,大幅降低不同存储节点间的数据交换时延。


4.架构加速:与陈旧的Lustre开源分布式文件系统架构相比,华为分布式存储带来了全对称式分布式架构。据测评,Lustre的非对称设计会导致在7对MDS时出现性能瓶颈,并且网元部件众多而导致IO路径漫长。与此不同的是,华为OceanStor Pacific的全对称架构打破了元数据瓶颈,性能可以随容量实现绝对的线性增长。


此外,与Lustre对负载的单一路径读写、覆盖写模式不同,华为OceanStor Pacific采用智能IO路径选择与Append-Only模式,避免长时间运行导致的磁盘碎片化问题,实现动态混合IOPS性能提升20%。


不仅如此,相比Lustre自身无冗余保护,纯粹依赖底层SAN阵列的RAID保护的安全模式,华为OceanStor Pacific凭借软硬一体的稳定深度可信协同,满足跨节点冗余保护,支持最大4节点故障业务不中断。


通过四大维度的全面技术创新,华为实现了分布式存储的“快马还需一鞭”,比想象中更快一步。这些技术创新点的叠加产生了一种化学反应,让华为OceanStor Pacific的性能远超业界竞品,做到了这样一句武侠小说里的形容——真正的强大,是没有对手的。



龙城飞将,家国守候


与大家想象的不同,华为分布式存储并非远在天边,其所带来的价值就在我们的城市中,就在我们的生活里,就在科技自立自强的披星戴月中。


比如说,山东的朋友应该都对济南超算非常了解。国家超级计算济南中心,是科技部批准成立的千万亿次国际超级计算中心之一,目的是为打造超级计算的高性能数据分析HPDA平台,从而支撑学术攻坚,赋能透明海洋、类脑计划、基因组学、人工智能、新药创新等领域的大科学计划、大科学工程的实施。


这样一个重要的平台,在存储资源搭建过程中却也遇到了一系列问题。比如说以文件存储为主的HPC平台、AI平台,与以对象存储为主的云平台,存在严重的数据孤岛,最大的难题是不同平台间的数据流动。并且,存储资源的相互抢占,会导致原本充沛的算力无法发挥,整体系统效率不高。


峰回路转,华为OceanStor Pacific分布式存储有效地解决了这些问题。通过结合数据流动软件,华为分布式存储帮助济南超算打造了超算领域首个最大规模的数据流动平台,其可支持打通数据流动,促进数据跨域创新,助力济南超算中心打造数据密集型超算。在我们为济南超算、中国超算自豪时,似乎也应该记得军功章有华为OceanStor Pacific的一份。


华西医院,是四川朋友非常了解的一家医疗机构。除了强大的医疗能力,华西还肩负着科研探索、引领西南地区生物医药事业发展的重任。其中,华西生物医学大数据中心是华西医院的健康医疗大数据研究与应用开放共享平台,其推进的大规模全基因组分析,以及临床成果转化,是华西生物医学大数据中心的重要探索方向。


想要满足华西在基因领域的数据存用,也有着一系列挑战。基因测序产生的数据容量普遍达到了TB级别,对数据存储提出了挑战。华为OceanStor Pacific分布式存储,为华西医院提供了更高性能的存储底座,实现了200倍存储性能提升,全基因组分析流程时间从传统的24小时缩短到了7分钟。


都说21世纪是基因的世纪,在认识我们自己前,首先需要妥善的存储作为探秘基因工程的起点,华为OceanStor Pacific分布式存储再次守护成功。


由此不难看出,华为OceanStor Pacific既是数字中国的守护者,也是数字中国的加速器。它默默守护着科技创新、前沿探索,帮助每一座城市在超算的时代里熠熠生辉。



目前阶段,华为分布式存储在欧洲、中东、拉美和亚太的关键业务场景均实现了大规模突破,达到了2022年全球二级存储收入排名第二的成绩,在总份额中占比25%,并保持着18%的增速。从国内来看,华为分布式存储连续六年市场第一,占比高达48.2%,同时在海外,华为分布式存储也受到广泛认可,份额达到25%,在文件与对象存储上的收入增速高达50.8%。


未来,我们应该会看到华为存储出现在更多的榜单上,欲将轻骑逐,大雪满弓刀,越来越多的数据中心、实验室、工厂、农田里,将上演以存储定未来的故事。


尤其在这个时代,华为OceanStor Pacific折桂IO500还有一重独特的意味。这重意味,可以用一句边塞诗来表达:但使龙城飞将在,不教胡马度阴山。


脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 182浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 117浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 91浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 143浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 158浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 220浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 176浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 67浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 141浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 98浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦