中国企业数字化:如果能重来,我要学李白

原创 脑极体 2023-08-30 19:51


一位北漂创业的朋友,看过《长安三万里》之后,被感动得泪流满面。在他看来,自己和李白一样,都是被繁荣的盛唐气象所吸引,为了追逐“心中的长安”而一往无前。


一代人有一代人的“长安”,都渴望站到时代最核心的舞台上,实现理想、建功立业。数字经济,应该是我们这一代人,所拥有的黄金机会。


今年以来,大模型这样火爆的创新方向,以及由此而生的巨大机会,就像光辉万丈的长安一样,代表着增长、繁华,以及无限可能性,吸引着无数企业和创业者,想要投身其中。


然而,“梦到长安三万里,海风吹断碛西头”,长安是理想,和现实之间,隔着三万里路,并不容易抵达。


很多企业入局研发或应用大模型,却没有做好技术、成本、基础设施等一系列准备,就盲目踏上了旅程,其中的首要考验,就是存储。



IDC的《数据时代2025》报告显示,全球数据规模呈现井喷式增长,中国将成为全球最大数据源。海量数据中,语音、图片、视频等非结构化数据约占80%,与结构化数据相比,非结构化数据增长迅速、管理困难。存储降本,成为企业IT基础设施建设的重要议题。


举个例子,互联网企业/金融机构等普遍开展的数字化业务,有大量的音视频文件存储需求,需要庞大的存储资源。政府电子档案要求保存周期为5年甚至更长,公检法司数据要求保存周期至少30年以上……这些数据普遍处于10PB以上规模,假设归档存储按0.001元/GB/年计费,则用户30年存储成本将超过1亿元。


根据专家访谈,考虑行业及规模差异,企业存储成本约占IT基础设施整体成本的5%~30%,随着数据规模持续扩大,这一比例也将进一步加剧,带来的存储成本也不可小觑。


AIGC、大模型等智能化应用,海量非结构化数据对存储的极致成本效益提出了挑战,CPU、内存、磁盘三种资源的动态配比常常顾此失彼,存在浪费现象,日积月累形成了不小的成本压力。


这样看来,数据大爆炸的背景下,降低存储成本,已经成为各行各业数字化转型、智能化升级的前置条件。


这时候,京东云的真实业务实践和技术累积优势,就显现了出来。京东用二十年时间走过了数字化之路,已经构筑了支撑大规模业务的存储基础设施,并大规模应用于京东的各类业务之中。京东云既解决了存储基础设施方面的技术难题,也对存储成本进行了极致优化,让存储降本成为现实。



因此,数字经济的《存储三万里》该怎么跨越?我们不妨通过京东云自研分布式统一存储平台——“云海”,来一探究竟。



数字盛世,存储关山


试想一下,如果李白带着几大车沉重的行李,可能还没走到长安,就已经被行李负担拖慢了速度,被盗匪劫走了财物,为雇人保护行装而花光储蓄……而被劝退了。“银鞍照白马,飒沓如流星”,轻装上路,才有了诗仙的肆意飞扬、浪漫洒脱。


对数字化企业/政府来说,最宝贵的资产就是数据。而以SAN、NAS等集中式存储为代表的传统存储,就像马驮肩扛的行囊一样,在保存腾挪数据资产时,显得愈发捉襟见肘。


不仅会带来高昂的建设和维护成本,一旦遭遇外部威胁或故障,就容易影响业务的连续性,损伤用户体验,增加了运维复杂度和数据丢失风险。而且其扩展能力有限,无法很好支撑大模型这类大容量、高并发、高性能的应用场景。


所以,更加快速安全、敏捷灵活的分布式存储,成为一种强烈的需求,演化为存储的“今日之选”。


与传统集中式存储相比,分布式存储采用松耦合的系统架构,每个存储服务器节点都承担数据存储的功能,可以横向扩展、性能和容量随节点数量扩展线性提升,支持全冗余部署,保障业务连续性和数据安全性。


相当于李白们从西域到长安,不用全程将行囊背在身上,可以把沿途的多个城市当作站点,分别设成各自独立的存储节点,用统一的账册(软件系统)进行调度管理,省去了全程保存看守维护迁移的开销和人力成本。即使途中出现了意外,也可以通过其他站点快速解决,不影响后续的行程(业务),将损失降到最低。


在此基础上,“存算分离”技术应运而生。存算一体的架构下,计算和存储中只要有一个达到瓶颈,都会影响整体性能,导致业务应用停滞,存在大量的资源浪费,同时运维复杂、扩展受限、升级困难。而依托云平台的分布式存储,采用“存算分离”,可以将数据通过云上数据湖/仓库基础设施来存储,由微服务直接访问存取,无论是应用/数据哪个环节出了问题,都可以依托云平台的弹性和可扩展能力,快速解决。


可以简单理解为,将行李(数据存储)和用途(应用计算)分开,单独按需配置。这样就可以避免行李多用不完(资源浪费)或者行李少不够用(资源不足),优化计算资源利用率,旅客的综合成本就减少了,这是前往长安(数字化转型)成本最优的存储方案。


但是,实现存算分离的分布式存储架构,并非易事。主要面临以下问题:


1.性能损失。


存算分离有两种实现方式:一是自建机房,另一种是上云。自行部署存储系统,初始投资成本高,需要购买的硬件设备和该有的冗余副本一个也不能少。所以,绝大多数企业都选择交给云厂商,在云上构建存算分离架构,用户只需要按量付费。


但传统的云上分布式存储性能低下,读写慢、性能低于本地盘50%-70%,对于智能汽车、游戏等性能敏感型行业,延迟、卡顿问题十分明显,强行做存算分离,性能无法满足业务正常需求,所以企业不敢用、也用不了。


2.降本不明显。


自建机房中的存算分离架构,即使释放了计算节点,也无法收回成本,动态缩容是没有意义的,动态扩容又受到机房容量的影响,如果事先按照业务高峰规划了资源,那么在低谷时即使释放了计算节点,资源浪费的现象也依然存在。此外,分布式存储各集群的管理要求有差异,运维难度随之上升,风险预警难,故障定位慢,需要投入非常高的运维成本。


相比之下,云上的存算分离架构,这些条件由云服务商保障,在释放计算节点后,云厂商可以将这部分资源销售给其他客户,通过庞大的客户群将高昂成本进行摊销,对用户来说,是成本更低的方案。这就要求云存储服务商在用户规模、成本优势上,拉开显著差距。


3.可靠性存疑。


分布式存储分为开源和自研两条路线,目前主流的开源技术如Ceph、Swift、HDFS、GlusterFS、Lustre,均为国外技术并托管在国外开源社区,存在一定的供应链风险。在大规模部署时,开源存储产品的稳定性和安全性存在一定挑战。作为数据基础设施的存储,进行国产化替代,尤其需要注重自研能力,厂商对存储系统的性能、稳定性、安全性具备完全控制权,保证产品的性能和稳定性,最大化降低用户应用风险。对厂商的资金实力、研发能力、产品迭代优化等,提出了较高的要求。


可以看到,数据大爆发的时代背景下,存算分离架构会越来越有优势。


从集中式存储到分布式存储只是第一步,第二次升级是做到真正的存算分离,才能支撑大模型、AIGC、自动驾驶等高质量存储诉求,推动存储产品向更先进的存算分离架构演进,急需实力绝群、自主创新的技术力量带来改变。



先进存储,云海为桥


李白在《关山月》中写道:明月出天山,苍茫云海间。长风几万里,吹度玉门关。横亘在李白们和长安之间的迢迢路途,有没有一条“捷径”呢?


2012年,率先踏上数字化行程的京东,正式开启自研存储产品的研发,经过十余年的发展,这些关于存储的经验,都凝结为京东云的思考,以及自研分布式统一存储平台“云海”的核心能力。


具体来说,传统分布式存储像是地上的路,而“云海”更像是一座直达的桥,跨越了重重关卡,更快抵达先进存储的目的地。


第一,性能关。


零售电商高并发的业务特点以及金融对安全稳定的刚性需求,深刻影响着京东云对存储稳定性的理解及要求。在京东618奇迹的背后,离不开的极致性能与坚如磐石的稳定性支撑。


性能,对于电商直播、游戏、AI训练、自动驾驶等高性能计算场景是必备刚需。以AI训练为例,大模型参数规模已向万亿级迈进,数据的读写速度、搬运速度与吞吐量,会直接影响到模型训练效率。要缩短业务模型的训练迭代周期,底层存储必须具备极高的性能指标和并发能力。



作为京东云十年磨一剑的分布式存储产品,云海支持全冗余部署、多机房灾备,并不断融入无leader非仲裁协议、智能流控、智能化运维等技术,持续突破稳定性的能力极限。


同时,通过架构的革新,云海实现了跨越式的性能提升,在这两年的京东618中,基于云海的存算分离系统架构,使得原本由于性能问题很难全面实施的存算分离得以落地,面对吞吐量TB/s、IOPS上亿级的压力,依然能够提供顺滑的存储体验。


极致性能和稳定性支撑,让“云海”能够满足新兴复杂应用和井喷数据规模的存储需求。


第二,成本关。


无论业务规模大或小,IT基础设施的降本是企业永恒的追求。以京东为例,截至2023年Q2,京东在自营商品SKU达到千万级的基础上,库存周转天数继续保持着31.7天的全球领先水平,运营着超1600个物流仓库,超过56万名员工。如此庞大复杂体系的高效运转,每天产生着海量的数据,如何以最低的成本来存储,成为云海必须要解决的问题。


云海通过高性能支撑上层应用存算分离、EC超低冗余技术等,大幅提升磁盘物理使用率、得盘率与存储密度,全面优化存储成本。


今天,云海已实现1.1x级别副本的超低冗余存储,以及行业内最大规模QLC-SSD的落地,成本技术指标领跑行业,为数字经济的长期可持续发展奠定了基础。



第三,自主关。


京东完全掌握云海底层架构设计和核心代码主动权,核心技术自主可控,并就开源框架常见性能、稳定问题,进行了针对性优化。与所有主流国产化平台兼容互认,包括操作系统、数据库、中间件、服务器、CPU、主板、网卡、磁盘等,助力政企客户实现全面国产可控。


因此,“云海”可以在全面自主的基础上,保证存储性能,做到真替真用,打消了国产化替代的后顾之忧,全面满足政府客户、企业客户信创需求。


“云海”为桥,让存算分离的分布式存储不再遥远。那么,这股先进技术的“春风”,能否从京东内部实践吹向千行百业,抵达产业深处呢?



逐梦长安

接地气的技术理想主义


数字经济的繁荣,不仅需要李白的惊才绝艳,也需要高适的脚踏实地,将其一点一滴地践行。


作为数字新基建的先进存储,要结合各行业对云盘的具体业务诉求,真正落地并降本增效,是不能悬浮在天上的,要干苦活、累活。


《长安三万里》中,高适对李白说:你是谪仙人,要回天上。我是世间人,我在世间盘桓。


和现实中的产业站在一起,正是京东云脚踏实地、关注现实的一面。


京东集团技术委员会主席、京东云事业部总裁曹鹏曾提到,我们一直相信,技术进步来自产业实践,又反哺于产业发展。在“云海”存储身上,解决产业中实际而具体的存储问题,将存算分离的分布式存储真正落地,更将“高适”的那一面显现了出来。



为了让云海更适配产业诉求,京东云还做了大量工作:


首先是务实。自己的降落伞自己先跳,京东云基于京东集团内部丰富的存储应用场景,以及对降本提效的极致追求,推动云海实现由实际业务推动的高速迭代,验证云海的技术先进性、有效性、可靠性。


此外,京东云坚持让客户说话,让市场说话。“云海”与真实产业、现实场景结合的案例正在不断激增,在各行业显现出先进存储的真实价值:真省钱,京东云存储助力某大型消费金融公司打造存算分离大数据分析系统,实现有效降本;真可靠,京东云存储助力某政府部门建设稳定安全的国民养老保险平台,数据的安全合规存储,是项目首要需求;真可用,某自动驾驶公司依托京东云存储,构建高性能自动驾驶模型训练平台,大幅提高训练效率。这些真实的案例,帮助企业在数字化转型中,更加笃定地踏上先进存储这条必然之路。


另外,为了匹配中国企业的差异化特点和不同部署需求,京东云带来了更懂中国市场的多元化交付模式。全新发布了云海一体机,可同时支持纯软授权或软硬一体机形式独立交付,也可作为存储标准化产品,以纯软或软硬一体机的形式集成在解决方案中输出,让客户有更灵活的选择。


用李白的逸兴飞扬,展技术壮志;用高适的脚踏实地,向产业落地。云海的一体两面,正是数字中国所需要的技术理想主义。


在先进存储的底座上,掘金数字时代,是我们这一代人的盛唐,是值得追逐的《长安三万里》。


和云伙伴一同前行,这条数字化之路就不再孤单,也终将抵达。


脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 99浏览
  • 在当前人工智能(AI)与物联网(IoT)的快速发展趋势下,各行各业的数字转型与自动化进程正以惊人的速度持续进行。如今企业在设计与营运技术系统时所面临的挑战不仅是技术本身,更包含硬件设施、第三方软件及配件等复杂的外部因素。然而这些系统往往讲究更精密的设计与高稳定性,哪怕是任何一个小小的问题,都可能对整体业务运作造成严重影响。 POS应用环境与客户需求以本次分享的客户个案为例,该客户是一家全球领先的信息技术服务与数字解决方案提供商,遭遇到一个由他们所开发的POS机(Point of Sal
    百佳泰测试实验室 2025-01-09 17:35 131浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 89浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 82浏览
  • 1月7日-10日,2025年国际消费电子产品展览会(CES 2025)盛大举行,广和通发布Fibocom AI Stack,赋智千行百业端侧应用。Fibocom AI Stack提供集高性能模组、AI工具链、高性能推理引擎、海量模型、支持与服务一体化的端侧AI解决方案,帮助智能设备快速实现AI能力商用。为适应不同端侧场景的应用,AI Stack具备海量端侧AI模型及行业端侧模型,基于不同等级算力的芯片平台或模组,Fibocom AI Stack可将TensorFlow、PyTorch、ONNX、
    物吾悟小通 2025-01-08 18:17 87浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2025-01-09 09:58 91浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 130浏览
  • 1月9日,在2025国际消费电子展览会(CES)期间,广和通发布集智能语音交互及翻译、4G/5G全球漫游、随身热点、智能娱乐、充电续航等功能于一体的AI Buddy(AI陪伴)产品及解决方案,创新AI智能终端新品类。AI Buddy是一款信用卡尺寸的掌中轻薄智能设备,为用户带来实时翻译、个性化AI语音交互助手、AI影像识别、多模型账户服务、漫游资费服务、快速入网注册等高品质体验。为丰富用户视觉、听觉的智能化体验,AI Buddy通过蓝牙、Wi-Fi可配套OWS耳机、智能眼镜、智能音箱、智能手环遥
    物吾悟小通 2025-01-09 18:21 85浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球中空长航时无人机产值达到9009百万美元,2024-2030年期间年复合增长率CAGR为8.0%。 环洋市场咨询机构出版了的【全球中空长航时无人机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球中空长航时无人机总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析中空长航时无人机市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从中空长航时
    GIRtina 2025-01-09 10:35 113浏览
  • 在过去十年中,自动驾驶和高级驾驶辅助系统(AD/ADAS)软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而,目前仍缺乏能够高质量集成多传感器数据采集的解决方案。康谋ADTF正是应运而生,它提供了一个广受认可和广泛引用的软件框架,包含模块化的标准化应用程序和工具,旨在为ADAS功能的开发提供一站式体验。一、ADTF的关键之处!无论是奥迪、大众、宝马还是梅赛德斯-奔驰:他们都依赖我们不断发展的ADTF来开发智能驾驶辅助解决方案,直至实现自动驾驶的目标。从新功能的最初构思到批量生
    康谋 2025-01-09 10:04 108浏览
  • HDMI 2.2 规格将至,开启视听新境界2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新HDMI规范为规模庞大的 HDMI 生态系统带来更多选择,为创建、分发和体验理想的终端用户效果提供更先进的解决方案。新技术为电视、电影和游戏工作室等内容制作商在当前和未来提供更高质量的选择,同时实现多种分发平台。96Gbps的更高带宽和新一代 HDMI 固定比率速率传输(Fixed Rate Link)技术为各种设备应用提供更优质的音频和视频。终端用户显示器能以最
    百佳泰测试实验室 2025-01-09 17:33 131浏览
  • 职场是人生的重要战场,既是谋生之地,也是实现个人价值的平台。然而,有些思维方式却会悄无声息地拖住你的后腿,让你原地踏步甚至退步。今天,我们就来聊聊职场中最忌讳的五种思维方式,看看自己有没有中招。1. 固步自封的思维在职场中,最可怕的事情莫过于自满于现状,拒绝学习和改变。世界在不断变化,行业的趋势、技术的革新都在要求我们与时俱进。如果你总觉得自己的方法最优,或者害怕尝试新事物,那就很容易被淘汰。与其等待机会找上门,不如主动出击,保持学习和探索的心态。加入优思学院,可以帮助你快速提升自己,与行业前沿
    优思学院 2025-01-09 15:48 112浏览
  • 在智能网联汽车中,各种通信技术如2G/3G/4G/5G、GNSS(全球导航卫星系统)、V2X(车联网通信)等在行业内被广泛使用。这些技术让汽车能够实现紧急呼叫、在线娱乐、导航等多种功能。EMC测试就是为了确保在复杂电磁环境下,汽车的通信系统仍然可以正常工作,保护驾乘者的安全。参考《QCT-基于LTE-V2X直连通信的车载信息交互系统技术要求及试验方法-1》标准10.5电磁兼容试验方法,下面将会从整车功能层面为大家解读V2X整车电磁兼容试验的过程。测试过程揭秘1. 设备准备为了进行电磁兼容试验,技
    北汇信息 2025-01-09 11:24 111浏览
  • 一个真正的质量工程师(QE)必须将一件产品设计的“意图”与系统的可制造性、可服务性以及资源在现实中实现设计和产品的能力结合起来。所以,可以说,这确实是一种工程学科。我们常开玩笑说,质量工程师是工程领域里的「侦探」、「警察」或「律师」,守护神是"墨菲”,信奉的哲学就是「墨菲定律」。(注:墨菲定律是一种启发性原则,常被表述为:任何可能出错的事情最终都会出错。)做质量工程师的,有时会不受欢迎,也会被忽视,甚至可能遭遇主动或被动的阻碍,而一旦出了问题,责任往往就落在质量工程师的头上。虽然质量工程师并不负
    优思学院 2025-01-09 11:48 125浏览
  • 车机导航有看没有懂?智能汽车语系在地化不可轻忽!随着智能汽车市场全球化的蓬勃发展,近年来不同国家地区的「Automotive Localization」(汽车在地化)布局成为兵家必争之地,同时也是车厂在各国当地市场非常关键的营销利器。汽车在地化过程中举足轻重的「汽车语系在地化」,则是透过智能汽车产品文字与服务内容的设计订制,以对应不同国家地区用户的使用习惯偏好,除了让当地车主更能清楚理解车辆功能,也能进一步提高品牌满意度。客户问题与难处某车厂客户预计在台湾市场推出新一代车款,却由于车机导航开发人
    百佳泰测试实验室 2025-01-09 17:47 61浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦