想成为大数据驱动型组织,应该如何选择存储系统?

原创 趣味科技v 2021-07-07 17:57

面对数据增长带来的严峻挑战,企业要想以大数据驱动持续业务发展,应该选择什么样的存储系统?


数据增长带来的严峻挑战


随着大数据时代的来临,企业数据团队如今每天需要处理的数据,已经超越了以往的任何时候。


据统计,2020年一小时产生的数据,比2000年全年产生的数据还多。未来3年全球产生的数据,将会比过去30年的还要多。数据的急剧增长,也给企业带来了极为严峻的挑战。


举例来说,需求最严苛的非结构化数据工作负载,譬如大量的图形和视频文件,分析、研究、基因组学和人工智能数据的大型存储库,半导体电子设计自动化,HPC高性能计算,以及许多其他计算场景等,让许多企业的存储系统显得捉襟见肘,疲于奔命。因为这些工作负载需要大量的CPU和GPU处理能力,并且需要系统具备无缝扩展容量和性能的能力。


不过,数据增长在给企业带来挑战的同时,也为企业开启了更多的机遇。来自麦肯锡咨询公司的一份分析报告指出,擅长利用大数据价值的企业组织将获得持续发展动能。这些能力涵盖了以下几个方面:一是更容易获取新的客户资源(多达23倍);二是更好地保留老客户(多达6倍);三是在市场份额上获得更好的成长(多达19倍)。



显而易见的是,与没有充分利用大数据分析平台的传统企业相比,大数据驱动型的企业组织能够获得更多的受益。因此对于广大企业来说,这是一个挑战与机遇并存的时代。


配置存储系统时的考量因素


众所周知,数据正在成为现代企业的核心资产。全球知名咨询机构IDC的分析也指出,企业在通过加速创新的数据分析计划,来实现数字化转型重要阶段和改善业务指标时,应该做好扩大数据存储的准备。那么面对飞速增长的数据,企业在配置存储系统时,应当重点考虑哪些方面的因素?


戴尔科技集团大中华区非结构化数据存储事业部高级经理李海表示,企业在搭建数据化平台的时候,应该着重考虑的要点包括有数据的安全性,数据的有效性,数据的及时可用,以及数据的延伸性、扩展性等等。


“企业在选择存储系统时,应该充分考虑自己的数据能不能随着业务的增长而得到迅速的扩张。譬如你今天的数据可能只有100PB,但是下个月就可能是300PB,你的存储架构是不是具备这样的弹性?是不是能够满足自身业务的数据增长?而且还是不同维度的增长?”李海说道。


李海接着指出,有时候企业数据量虽然没有多少变化,但是算力需求也会出现突然增长。譬如一家企业的数据可能今天需要的算力是“1”,但是明天需要的算力就突然变成了“10”。但另外一些用户又不一样,其需要的算力可能是固定的,但是数据则会出现不同时间点的跳跃。因此对于企业来说,无论是计算还是存储都需要不同的弹性,这些都是企业需要重点考虑的因素。



Cloudera的最高级别认证


怎样才能帮助企业应对数据增长带来的严峻挑战?如何在激烈的市场竞争中利用大数据驱动企业持续发展?怎样保障数据的安全性?如何有效地治理数据?怎样去做快照、复制和容灾?帮助企业解决这些问题,就是戴尔科技集团与Cloudera两家公司联合起来要做的事情。


2021年5月7日,Cloudera宣布在Cloudera Data Platform私有云版本上成功完成了Dell EMC PowerScale/Isilon 8.2.2质量控制测试套件(QATS)认证。现在,使用Dell EMC PowerScale与Cloudera Data Hub或Hortonworks Data Platform的客户,在迁移至业内首个企业数据云Cloudera Data Platform时可获得延展的技术支持。


值得一提的是,该质量保证测试套件(QATS)流程是Cloudera的最高级别认证,可对所有Cloudera产品套件的软件文档系统、新一代硬件和容器进行严格的测试。该认证紧跟多项帮助企业保持敏捷性和贴近数据的主要趋势,包括存储与计算解耦,虚拟化和容器化部署的快速采用,以及作为底层存储的对象存储日益普及。Dell EMC PowerScale上的Cloudera Data Platform可帮助企业整合最具灵活性、可扩展性、成本效益以及能够随时随访问数据的共享存储配置。


“QATS认证的好处是什么?就是帮助企业在搭建大数据平台选择我们两家的解决方案时,不需要再去做很多的验证,不需要再考虑我们两家模块上的契合度问题,因为我们已经做过大量的认证,包括每个模块、每个应用、每个访问、每种协议都已经帮客户验证过了,而且我们在实验室里模拟了很多环境,并且在运行中产生了大量的实践性的数据指南,从而会后继衍生出如何部署、调优、实现,提供大量的资料,来配合后期的用户去实现更好的搭建。这也是我们这次最高级别认证的含义,它不是一个简单的硬件和软件兼容性的认证,而是两个生态之间的契合性的认证,每个环节都实现了无缝契合。”李海表示。


“面对客户不同的需求和复杂的应用场景,要配合做QATS这样的最高级别测试,一定要深度的合作才可以做到。如果任意拿到一个厂商的界面上去做,很可能会出现各种各样的性能问题或者安全问题,让客户心急如焚又不知所措。而戴尔科技集团与Cloudera两家后台的实验室是互通的,这是建立在长期的合作基础上的,大家在沟通上有一致的语言,才能实现无缝契合和企业级的响应,这对于提升客户的满意度来说非常重要。”Cloudera大中华区售前技术总监刘隶放表示。



全闪存阵容再添新成员


伴随着数据基建市场的蓬勃增长,在经过对相关业内人士的调查之后,美国知名科技企业风投机构A16Z得出结论:一个现代化数据架构中,数据湖已成为数据分析架构中的中流砥柱,赫然在列数据分析架构的核心位置。


作为企业,自然都希望自己的文件存储系统能够跟得上数字业务不可预测的需求。而数据本地化、性能和经验证的技术,则是面向AI场景对基础设施的前三大考量因素。


来自ESG(Enterprise Strategy Group,企业战略集团)最近的一项研究发现,为了跟上数字业务的需求,用于非结构化数据的大数据/数据湖存储库是受访者投资最多的三个工作负载场景之一。要想充分释放数据的商业潜力,文件存储不仅要足够大,还必须速度快,易管理。这些需求正带来全闪存数据湖的增长。


戴尔科技集团迄今为止最强大的节点Dell EMC PowerScale F900,正是为现代化高性能数据湖而生。




作为戴尔科技集团旗下屡获殊荣的PowerScale全闪存阵容新成员,F900配有dual-socket的cascade lake处理器、全NVMe闪存并兼容NVIDIA GPUDirect,以处理最数据密集型的工作负载,并且拥有更大的灵活性和更多的可选择配置。



而对于企业来说,基于强大的PowerScale OneFS操作系统,可以轻松添加新的F900节点或用新的PowerScale节点替换旧节点,还能与现有的Isilon集群无缝兼容。而通过Dell EMC PowerScale F900,企业不仅可以获得更强大的功能和扩展能力,而且还能够从戴尔科技集团拥有超过250家ISV合作伙伴集成和认证的强大生态系统中获益。


趣味科技v 资深媒体人彭承文和他的小伙伴们耕耘打理的科技自媒体,传播趣味文章,八卦前卫科技,年度十大媒体人,十佳科技自媒体,美通社媒体传播专家,2018平昌冬奥会火炬手.
评论
  • 全球智能电视时代来临这年头若是消费者想随意地从各个通路中选购电视时,不难发现目前市场上的产品都已是具有智能联网功能的智能电视了,可以宣告智能电视的普及时代已到临!Google从2021年开始大力推广Google TV(即原Android TV的升级版),其他各大品牌商也都跟进推出搭载Google TV操作系统的机种,除了Google TV外,LG、Samsung、Panasonic等大厂牌也开发出自家的智能电视平台,可以看出各家业者都一致地看好这块大饼。智能电视的Wi-Fi连线怎么消失了?智能电
    百佳泰测试实验室 2024-12-12 17:33 66浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 115浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-12 10:13 46浏览
  • 铁氧体芯片是一种基于铁氧体磁性材料制成的芯片,在通信、传感器、储能等领域有着广泛的应用。铁氧体磁性材料能够通过外加磁场调控其导电性质和反射性质,因此在信号处理和传感器技术方面有着独特的优势。以下是对半导体划片机在铁氧体划切领域应用的详细阐述: 一、半导体划片机的工作原理与特点半导体划片机是一种使用刀片或通过激光等方式高精度切割被加工物的装置,是半导体后道封测中晶圆切割和WLP切割环节的关键设备。它结合了水气电、空气静压高速主轴、精密机械传动、传感器及自动化控制等先进技术,具有高精度、高
    博捷芯划片机 2024-12-12 09:16 87浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 88浏览
  • 应用环境与极具挑战性的测试需求在服务器制造领域里,系统整合测试(System Integration Test;SIT)是确保产品质量和性能的关键步骤。随着服务器系统的复杂性不断提升,包括:多种硬件组件、操作系统、虚拟化平台以及各种应用程序和服务的整合,服务器制造商面临着更有挑战性的测试需求。这些挑战主要体现在以下五个方面:1. 硬件和软件的高度整合:现代服务器通常包括多个处理器、内存模块、储存设备和网络接口。这些硬件组件必须与操作系统及应用软件无缝整合。SIT测试可以帮助制造商确保这些不同组件
    百佳泰测试实验室 2024-12-12 17:45 74浏览
  • 首先在gitee上打个广告:ad5d2f3b647444a88b6f7f9555fd681f.mp4 · 丙丁先生/香河英茂工作室中国 - Gitee.com丙丁先生 (mr-bingding) - Gitee.com2024年对我来说是充满挑战和机遇的一年。在这一年里,我不仅进行了多个开发板的测评,还尝试了多种不同的项目和技术。今天,我想分享一下这一年的故事,希望能给大家带来一些启发和乐趣。 年初的时候,我开始对各种开发板进行测评。从STM32WBA55CG到瑞萨、平头哥和平海的开发板,我都
    丙丁先生 2024-12-11 20:14 78浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 66浏览
  • 本文介绍瑞芯微RK3588主板/开发板Android12系统下,APK签名文件生成方法。触觉智能EVB3588开发板演示,搭载了瑞芯微RK3588芯片,该开发板是核心板加底板设计,音视频接口、通信接口等各类接口一应俱全,可帮助企业提高产品开发效率,缩短上市时间,降低成本和设计风险。工具准备下载Keytool-ImportKeyPair工具在源码:build/target/product/security/系统初始签名文件目录中,将以下三个文件拷贝出来:platform.pem;platform.
    Industio_触觉智能 2024-12-12 10:27 79浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 173浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 99浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-11 17:58 88浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 114浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 78浏览
  • 在智能化技术快速发展当下,图像数据的采集与处理逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步,对于图像数据的采集、处理和分析的需求日益增长,这不仅要求我们拥有高性能的相机硬件,还要求我们能够高效地集成和测试各种算法。我们探索了一种多源相机数据采集与算法集成测试方案,能够满足不同应用场景下对图像采集和算法测试的多样化需求,确保数据的准确性和算法的有效性。一、相机组成相机一般由镜头(Lens),图像传感器(Image
    康谋 2024-12-12 09:45 80浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦