网络巨擘们正以疯狂速度扩充数据中心规模,他们正在为信息科学写历史,但还不清楚这样的趋势最后会带来什么…

举例来说,Facebook在过去十年就打造了一个包含15个大型数据中心以及数百边缘网络站点的全球性网络,负责运作服务数亿用户、数以千计的软件程序,而且每两个小时就有一次软件更新。该公司工程与基础建设主管Jay Parikh表示:“当你正在打造的分布式系统每天会影响数十亿人,真的很酷…也很吓人。”

Parikhy在该公司首度于美国加州总部举行的大型分布式软件系统研讨会上,对台下约200名软件工程师与来宾表示:“我们处理的所有事情都是分布式系统问题,这在过去的扩展式(scaled)环境中是从未做过的…包括自己布建海底电缆──都是这个产业以往不曾处理过的。”

他指出,计算机与网络硬件遭遇的挑战,还有在硬件中执行的数据库与其他软件“会相互影响,衍生出关于效率、文化、预算编列…等等问题,所有事情都会互相连结。”

这场活动还邀请到了来自亚马逊云端服务(Amazon Web Services)、Google、共乘服务业者Lyft,以及电商平台Shopify等公司的程序设计师,分享最新的技术,以及探讨利用包括管理全球性分布式数据库、系统除错,还有如何在系统中断时加速复原等议题。

Facebook讨论了两项开放源码分布式软件系统工作的进展,一是能快速将配置变化推送到数以百万计服务器的架构,另一项是处理操作系统用户空间中内存失序问题的程序。

它们是Facebook为了支持旗下四大被广泛使用之应用程序──News Feed、Instagram、Messenger与WhatsApp──以及用户族群规模较小的Oculus软件,所打造之广大云端运算软件平台的一部分。

FacebookFtWrthDC.jpg

一个Facebook数据中心的概念图,包含两个60MW数据中心(前面)和三个30MW建筑物。 (图片来源:Facebook)

开源软件以及开源硬件…芯片?

Facebook一直在慢慢将网络架构中的现成商用软硬件以自家开发的软件或硬件方案来取代,并将之转为开源;举例来说,在过去几年,该公司将现成的数据库(MySQL)、储存(Memcached)程序与网络服务语言(PHP),以自家开发的程序代码取代,并释出为开源码。

在总部举行的这场Systems@Scale活动,也是为了要让Facebook的软件工程师能与其他公司的同业相互交流,目标是加速为他们面临之分布式系统挑战寻找通用解决方案的脚步。

在硬件方面,Facebook现在一般都是使用以现成芯片、采用自家规格打造的服务器与交换机,而非来自供应商的商用系统。有业界消息指出,Facebook从今年春天起就一直在招募半导体工程师;该公司发言人婉拒对此发表评论,仅透露可能会在9月举办的一场活动中讨论到关于芯片开发的计划。

Facebook的系统硬件规格通常透过2011年成立的Open Compute Project释出开源码,该公司是否也会在未来将自己设计的芯片规格开放,还有待观察。
Amazonsites2017CompArchHenPat.png
Facebook在全球有15座大型数据中心,但其实比起Amazon截至2017年在全球的18个据点仍相形见绌;Amazon的据点各有数量不一的数据中心(黄圈中的数字)
(来源:“Computer Architecture: A Quantitative Approach,” Hennessy/Patterson)

另一个更大的问题是,Facebook与其竞争对手要以疯狂的速度将运算世界的未来带向何方,还有他们可能遭遇的瓶颈为何?

某些美国的立法者认为,Facebook因为在上一次总统大选让外来者利用其自动化系统影响了数以百万计的选民,已经触及了政治上的一道障碍;也有人说他们是在玩弄消费者,那些无辜使用者开心分享的每一项数据都被贩卖,但是到目前为止几乎不受政府监督。

在技术上,这家网络巨擘多年来推动速度更快的铜缆与光学网络,他们同时需要这两种技术来数据中心内连结数量更庞大的服务器以及数据中心本身。

多年来,网络工程师在催生Terabit/sec等级网络的行动上一直有所延迟,Terabit/sec网络的速度超越其他商用需求,在某些程度上甚至超越了摩尔定律或物理定律的极限。无论Facebook等公司不断扩大数据中心规模的趋势将会带来什么结果,显然我们会很快看到。

未来的场景就如同Parikh所言,会“很酷也很吓人”;网络巨擘们正在以前所未见的速度打造、扩充大型自动化系统,数以百亿计的消费者与成千上万的企业,则正在大量吞噬他们运作的各种服务。他表示:“让我振作的第一大动力,就是在稳定的基础建设上快速行动。”

编译:Judith Cheng

本文授权编译自EE Times,版权所有,谢绝转载

 

 

 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

阅读全文,请先
您可能感兴趣
CXL的目标主要是为了解决CPU和设备、设备和设备之间的内存鸿沟,解决内存分割造成的较大浪费、不便和性能下降。目前来看,高性能计算、存储加速、AI加速、大规模虚拟化,是最适于CXL应用的领域。
对于股价波动的原因,寒武纪表示,除了公司经营层面的因素外,还可能受到其他因素的影响。寒武纪还提醒投资者,应甄别信息来源,具体情况以公司公告为准。
Xockets认为,英伟达凭借侵犯该企业专利的DPU产品垄断了AI GPU服务器市场,而微软则垄断了支持GPU的AI平台领域。此外,Xockets还称这两家科技公司就授权费建立了垄断同盟。
OpenAI认为,在美国建设更多基础设施对于推进人工智能并使其优势广泛普及至关重要。
英伟达的CUDA生态系统和高性能AI GPU仍将作为核心竞争力,但要支撑其像以往那样的飞速的发展态势,必然要面临更大的挑战,或者已到增长的天花板。
CXL的内存缓存一致性不但允许CPU和加速器共享内存资源,还能实现部署新的内存层,帮助弥合主内存和固态硬盘存储之间的延迟差距。这些新内存层会增加带宽的容量,提供更高效率,并降低总拥有成本。这就是业界正在坚定地将CXL作为处理器、内存和加速器的高速缓存一致性互连技术的根本原因所在。
• 得益于西欧、关键亚洲市场和拉丁美洲市场的增长,以及中国品牌的持续领先,全球折叠屏手机出货量在2024年第二季度同比增长了48%。 • 荣耀凭借其在西欧特别强劲的表现,成为最大的贡献者,成为该地区排名第一的品牌。 • 摩托罗拉的Razr 40系列在北美和拉丁美洲表现良好,为其手机厂商的出货量贡献了三位数的同比增长。 • 我们预计,头部中国手机品牌厂商的不断增加将至少在短期内抑制三星Z6系列在第三季度的发布。
AI技术的发展极大地推动了对先进封装技术的需求,在高密度,高速度,高带宽这“三高”方面提出了严苛的要求。
奕斯伟计算2024首届开发者伙伴大会以“绿色、开放、融合”为主题,从技术创新、产品应用、生态建设等方面,向开发者、行业伙伴等相关方发出开放合作倡议,加速RISC-V在各行各业的深度融合和应用落地,共同推动RISC-V新一代数字基础设施生态创新和产业发展。
2024年 Canalys 中国云计算渠道领导力矩阵冠军厂商分别是:阿里云、华为云和亚马逊云科技(AWS)
在全球智能手机竞争日益激烈的情况下,谁能在高端市场站稳脚跟,谁就占据了主动权。一直以来全球智能手机市场格局都是,苹果专吃高端,其他各大厂商分食全球中低端市场。但现在市场正在其变化。根据Canalys最
文|沪上阿YI路特斯如今处在一个什么样的地位?吉利控股集团高级副总裁、路特斯集团首席执行官冯擎峰一直有着清晰的认知:“这个品牌的挑战依然非常大。首先,整个中国市场豪华汽车整体数据下滑了30%~40%,
‍‍Mobileye 将终止内部激光雷达开发Mobileye 宣布终止用于自动驾驶的激光雷达的开发,并裁员 100 人。Mobileye 认为,下一代 FMCW 激光雷达对可脱眼的自动驾驶来说必要性没
周二,捷普科技(Jabil)官员与印度泰米尔纳德邦代表团在泰米尔纳德邦首席部长MK Stalin的见证下,签署了一份备忘录。MK Stalin正在美国进行为期17天的访问,旨在吸引新的投资。MK St
据市场调查机构Allied Market Research的《单晶硅晶圆市场》报告指出,2022年单晶硅晶圆市场价值为109亿美元,预计到2032年将达到201亿美元,2023年~2032年的复合年均
在当今人工智能飞速发展的时代,AI Agent正以其独特的方式重塑着企业的生产运营方式。澜码科技作为AI Agent领域的先行者,其创始人兼CEO周健先生分享了对大模型与AI Agent发展现状的深刻
会议预告向世界展示中国最具创新力、领导力和品牌化的产品与技术!9月27号,“第6届国际移动机器人集成应用大会暨复合机器人峰会”将在上海举行,敬请关注!逐个击破现有痛难点。文|新战略半导体行业高标准、灵
[关注“行家说动力总成”,快速掌握产业最新动态]9月6日,据“内江新区”消息,晶益通(四川)半导体科技有限公司旗下IGBT模块材料和封测模组产业园项目已完成建设总进度的40%,预计在明年5月建成。据了
在苹果和华为的新品发布会前夕,Counterpoint公布了2024年第一季度的操作系统详细数据,数据显示, 鸿蒙操作系统在2024年第一季度继续保持强劲增长态势,全球市场份额成功突破4%。在中国市场