网络巨擘们正以疯狂速度扩充数据中心规模,他们正在为信息科学写历史,但还不清楚这样的趋势最后会带来什么…

举例来说,Facebook在过去十年就打造了一个包含15个大型数据中心以及数百边缘网络站点的全球性网络,负责运作服务数亿用户、数以千计的软件程序,而且每两个小时就有一次软件更新。该公司工程与基础建设主管Jay Parikh表示:“当你正在打造的分布式系统每天会影响数十亿人,真的很酷…也很吓人。”

Parikhy在该公司首度于美国加州总部举行的大型分布式软件系统研讨会上,对台下约200名软件工程师与来宾表示:“我们处理的所有事情都是分布式系统问题,这在过去的扩展式(scaled)环境中是从未做过的…包括自己布建海底电缆──都是这个产业以往不曾处理过的。”

他指出,计算机与网络硬件遭遇的挑战,还有在硬件中执行的数据库与其他软件“会相互影响,衍生出关于效率、文化、预算编列…等等问题,所有事情都会互相连结。”

这场活动还邀请到了来自亚马逊云端服务(Amazon Web Services)、Google、共乘服务业者Lyft,以及电商平台Shopify等公司的程序设计师,分享最新的技术,以及探讨利用包括管理全球性分布式数据库、系统除错,还有如何在系统中断时加速复原等议题。

Facebook讨论了两项开放源码分布式软件系统工作的进展,一是能快速将配置变化推送到数以百万计服务器的架构,另一项是处理操作系统用户空间中内存失序问题的程序。

它们是Facebook为了支持旗下四大被广泛使用之应用程序──News Feed、Instagram、Messenger与WhatsApp──以及用户族群规模较小的Oculus软件,所打造之广大云端运算软件平台的一部分。

FacebookFtWrthDC.jpg

一个Facebook数据中心的概念图,包含两个60MW数据中心(前面)和三个30MW建筑物。 (图片来源:Facebook)

开源软件以及开源硬件…芯片?

Facebook一直在慢慢将网络架构中的现成商用软硬件以自家开发的软件或硬件方案来取代,并将之转为开源;举例来说,在过去几年,该公司将现成的数据库(MySQL)、储存(Memcached)程序与网络服务语言(PHP),以自家开发的程序代码取代,并释出为开源码。

在总部举行的这场Systems@Scale活动,也是为了要让Facebook的软件工程师能与其他公司的同业相互交流,目标是加速为他们面临之分布式系统挑战寻找通用解决方案的脚步。

在硬件方面,Facebook现在一般都是使用以现成芯片、采用自家规格打造的服务器与交换机,而非来自供应商的商用系统。有业界消息指出,Facebook从今年春天起就一直在招募半导体工程师;该公司发言人婉拒对此发表评论,仅透露可能会在9月举办的一场活动中讨论到关于芯片开发的计划。

Facebook的系统硬件规格通常透过2011年成立的Open Compute Project释出开源码,该公司是否也会在未来将自己设计的芯片规格开放,还有待观察。
Amazonsites2017CompArchHenPat.png
Facebook在全球有15座大型数据中心,但其实比起Amazon截至2017年在全球的18个据点仍相形见绌;Amazon的据点各有数量不一的数据中心(黄圈中的数字)
(来源:“Computer Architecture: A Quantitative Approach,” Hennessy/Patterson)

另一个更大的问题是,Facebook与其竞争对手要以疯狂的速度将运算世界的未来带向何方,还有他们可能遭遇的瓶颈为何?

某些美国的立法者认为,Facebook因为在上一次总统大选让外来者利用其自动化系统影响了数以百万计的选民,已经触及了政治上的一道障碍;也有人说他们是在玩弄消费者,那些无辜使用者开心分享的每一项数据都被贩卖,但是到目前为止几乎不受政府监督。

在技术上,这家网络巨擘多年来推动速度更快的铜缆与光学网络,他们同时需要这两种技术来数据中心内连结数量更庞大的服务器以及数据中心本身。

多年来,网络工程师在催生Terabit/sec等级网络的行动上一直有所延迟,Terabit/sec网络的速度超越其他商用需求,在某些程度上甚至超越了摩尔定律或物理定律的极限。无论Facebook等公司不断扩大数据中心规模的趋势将会带来什么结果,显然我们会很快看到。

未来的场景就如同Parikh所言,会“很酷也很吓人”;网络巨擘们正在以前所未见的速度打造、扩充大型自动化系统,数以百亿计的消费者与成千上万的企业,则正在大量吞噬他们运作的各种服务。他表示:“让我振作的第一大动力,就是在稳定的基础建设上快速行动。”

编译:Judith Cheng

本文授权编译自EE Times,版权所有,谢绝转载

 

 

 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

阅读全文,请先
您可能感兴趣
近年来,AWS还积极投资于人工智能(AI)、机器学习(ML)、大数据分析和边缘计算等前沿技术,以保持其在这些领域的竞争优势。
谷歌认为,这种独家协议可能会限制市场竞争,导致其他公司无法自由地使用OpenAI的技术,从而增加了用户面临额外成本的风险,比如数据迁移和员工培训等。
据悉,此次交易是通过马斯克亲自与英伟达CEO黄仁勋进行沟通促成的。这批GB200 AI芯片将被用于强化其旗舰级超级计算集群——Colossus(巨人)。Colossus作为xAI的技术基石,将借此机会实现计算能力的飞跃。
短期全球芯片市场数据的上调反映了 2024 年第 2 季度和第 3 季度业绩的改善,尤其是在计算领域,受AI 芯片支持的需求推动。
常情况下,英特尔的CEO在65岁时退休,而现年63岁的基辛格突然被退休,让市场感到意外。为了确保平稳过渡,英特尔董事会立即着手寻找新的CEO人选……
自1984年,意法半导体首次进入中国,成为首批在中国开展业务的半导体公司。意法半导体CEO Jean-Marc Chery日前表示,中国市场是不可或缺的,是电动汽车规模最大、最具创新性的市场,与中国本地的制造工厂达成合作,具有至关重要的作用。他还表示,意法半导体正在采用在中国市场学到的最佳实践和技术,并将其应用于西方市场,“传教士的故事结束了”。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
点击蓝字 关注我们安森美(onsemi)在2024年先后推出两款超强功率半导体模块新贵,IGBT模块系列——SPM31 IPM,QDual 3。值得注意的是,背后都提到采用了最新的FS7技术,主要性能
来源:苏州工业园区12月17日,江苏路芯半导体技术有限公司掩膜版生产项目迎来重要进展——首批工艺设备机台成功搬入。路芯半导体自2023年成立以来,专注于半导体掩膜版的研发与生产,掌握130nm至28n
投资界传奇人物沃伦·巴菲特,一位94岁的亿万富翁,最近公开了他的遗嘱。其中透露了一个惊人的决定:他计划将自己99.5%的巨额财富捐赠给慈善机构,而只将0.5%留给自己的子女。这引起了大众对于巴菲特家庭
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
点击蓝字 关注我们电网和可再生能源系统向着更智能、更高效的方向发展助力优化能源分配构建更加绿色和可靠的能源未来12 月 24 日 上午 9:30 - 11:302024 德州仪器新能源基础设施技术直播
极越汽车闪崩,留下一地鸡毛,苦的是供应商和车主。很多人都在关心,下一个倒下的新能源汽车品牌,会是谁?我们都没有未卜先知的超能力,但可以借助数据管中窥豹。近日,有媒体统计了15家造车新势力的销量、盈亏情
亲爱的企业用户和开发者朋友们距离2024 RT-Thread开发者大会正式开幕仅剩最后3天!还没报名的小伙伴,抓紧报名噢,12月21日不见不散!大会时间与地点时间:2024年12月21日 9:30-1
上个月,亿万富翁埃隆·马斯克谈到了年轻一代的生育问题。他强调生育的紧迫性,认为无论面临何种困难,生育后代都是必要的,否则人类可能会在无声中走向消亡。他认为人们对于生育的担忧有些过头,担心经济压力等问题