曙光存储的“引力弹弓”,让AI向产业宇宙加速狂奔

原创 脑极体 2024-08-29 20:58


《流浪地球》中,科学家利用木星的“引力弹弓”效应,为地球加速,成功脱离危机,是整部电影最激动人心的高潮段落。


加速,不仅在科幻电影中揪人心弦,对AI行业也十分重要。比如说,千亿级大模型必须写容错点checkpoint,一旦数据存储发生灾难性故障,导致AI训练中断,对于一些着急上线的企业来说,时间就是生命线,可能造成难以弥补的损失。所以说,确保AI快速稳定地进行,是产业智能化的必要条件。


为AI加速,存储也可以起到“引力弹弓”效应。


试想一下,当你正在滑滑板,有一个速度很快的人从你旁边经过,拉了你一把,就如同弹弓弓弦一样,给了你一个加速前进的力。存力之于AI,就起到了类似的作用。存力和算力互相协同,通过存力来缩短数据读写时间,减少算力的空转等待时间,可以有效提升AI大模型的训练效率。


不过,想充分释放存力的“引力弹弓”效应,传统存储的性能、可靠性等,就有些力不从心了。锻造一张最适合AI的“引力弹弓”,曙光存储出手了。



此前,曙光推出的智存产品搭载五级加速方案,已经在政务、科研、金融、医疗等行业场景,相继落地。就在近期,又宣布与智元机器人合作,成为具身智能领域的存力伙伴。


在曙光存储的存力底座上,越来越多的AI模型/能力,正加速奔向产业宇宙。我们就跟随这张“引力弹弓”的发射方向,来一场奔赴星辰大海的AI之旅吧。



“引力弹弓”效应,利用了宇宙中天体的引力,当航天器进入引力影响范围时,被拉了一把,行程就会开始加速。


对AI来说,存储也自带加速“引力”吗?答案是肯定的。


至少从四个方面,存储可以“拉”AI一把:


首先是性能。计算越复杂,对存储性能和带宽的要求越高,存储必须足够快,才能匹配上GPU或AI芯片,否则就会导致算力空载、空转或等待。在模型训练中断时从checkpoint快速写回,也可以提高AI计算效率。



其次是质量。“garbage in,garbage out(垃圾进,垃圾出)”,存储承载的数据质量,直接影响到大模型训练的效果,随着大模型需要“咀嚼”的数据规模、类型越来越多,AI存储必须具备对海量规模、异构等数据的高效吞吐和处理能力。


第三是安全。存储系统的管理审计、权限管理等,从数据I/O通路上保证用户数据的安全可靠,不会有篡改、不可追溯等问题,也是AI用户十分看重的。


第四是优化。存储可以结合用户业务,进行一些个性化的微调与适配,比如了解到业务数据中的大文件多还是小文件多,随机访问多还是顺序访问多,在此基础上进行参数调整,可以针对性优化,提升业务体验。


因此,存储在AI基础设施中的优先级不断提高。


去年大模型爆火初期,AI行业用户一开始只关注存储产品的容量,后续则慢慢意识到存储的性能、开放兼容性、AI应用适配性等更多维度指标的重要性。


从能用到智用,存储之于AI的“引力”正越来越大,起到了越来越重要的加速作用。



AI存储对行业用户的吸引力,越来越大,但动辄万亿参数、万卡集群的AI大模型,对存储的要求也指数级上升。


市面上是否有超强AI存力的产品,像木星推动地球一样,发挥出强大天体才具备的“引力弹弓效应”呢?曙光决定来打造一个。



曙光ParaStor分布式全闪存储,作为最懂AI的存储产品,核心特点就是一个字:快。


可以将AI整体表现提升20倍以上,让数据无需等待,AI也就快人一步。具体是怎么做到的?曙光存储运营总监石静向我们解密。


这张最适合AI的“引力弹弓”,有两大核心:一是最强的数据底座,二是最佳的AI应用加速套件。


可以这样理解,数据底座就像是天体本身的引力足够大、足够强。


曙光存储的ParaStor分布式全闪存储,在整个硬件层面进行提升,可以发挥出极致性能。带宽倍数提升,单个节点可以做到最高150GB/s带宽,一秒钟提供150G的数据吞吐。IOPS十倍提升,一秒钟可以处理320万个I/O请求,实现高效吞吐。


而应用套件,就像是在原有引力基础上再造一个加速引擎,推动AI走得更快。


ParaStor分布式全闪存储采用了业内独家的“五级加速方案”,尽可能地缩短整个I/O流程,让数据更加靠近计算,分别实现了本地内存、Burst Buffer加速层、网络层(RDMA-Based)、存储节点高速层( NVMe SSD-Based )、应用层(存储直达GPU)的五层加速。


最强数据底座+五级加速的最佳AI应用加速套件,成为一张强有力的“引力弹弓”,让AI表现提升20倍,可以去往更广阔的产业天地。



利用“引力弹弓效应”,人造航空器“旅行者1号” 飞出了太阳系,进入了太阳系外更广阔的宇宙空间。曙光存储可以让AI走得更快,那么能推动AI走得更远吗?


目前来看,答案是确定的。


作为分布式存储市场领导者象限中排名第一的厂商,曙光也在AI赛道上起到了引领作用。曙光存储走向行业的足迹,连起来,就是AI迈向产业的“轨迹”。


为AI筑底座。曙光存储与中国移动合作,为其新型智算中心提供存储底座,助力万卡甚至超万卡集群的建设,算力网络AI注智赋能,有望为各行各业提供澎湃的智能算力。泉州智慧城市大脑,借助新一代曙光存储的异构融合能力,实现海量异构数据资源的融合,打造更坚实的“数字底座”。


为AI谋效率。在与某AI大模型厂商的合作中,曙光存储的ParaStor分布式全闪存储,单节点150GB/s带宽和320万IOPS,整体训练效率提升50%以上,有了高效率的支撑大模型厂商更快推出产品来满足市场需求。



为AI降成本。目前,曙光存储实现了国内外双栈技术生态全兼容(CPU/GPU/OS/DB/Cloud),可以应对AI算力多元异构的技术挑战,支持国内外不同厂商、不同架构、不同版本的算卡,以及多样的大模型,帮助行业客户在智能化过程中,实现成本均衡。更合理的成本,也可以加速AI的产业化进程。


为AI谋新篇。在具身智能等新兴领域,曙光存储深入了解行业痛点,针对具身智能机器人低时延、高性能、丝滑体验等刚需,凭借快训练、快归档和合理成本等优势,为智元机器人打造坚实存储底座,让智元机器人可以实时、高效、丝滑地运行,及时处理故障,保持在最佳状态,加速商用进程,开启具身智能的新纪元。


不难看到,一张强大存储的“引力弹弓”,正推动AI走得又快又稳又远,走向广袤的产业宇宙。



可能有人会问,为什么最适配AI的存储,会率先诞生在中国、在曙光?


首先,曙光与国内AI的距离最近。可以针对性地满足国內AI厂商的定制化开发需求,这是海外厂商很难具备的。


此外,曙光自主研发实力很强。有国产化要求、担心海外供应链风险、追求完全自研的厂商,曙光存储有极强的吸引力。


而AI新技术,也要求存储厂商需要更多地跟介质厂商、网络厂商交互,共同探索全新的方案。以及在存储系统中纳入AI的能力,在算法上面有更多的积淀。因此,对存储厂商的综合能力、生态合作等,也都提出了新的要求。


从这个角度讲,曙光存储在AI领域的“引力弹弓”效应,也将进一步推动国产存储厂商的跟进与升级。


当越来越多的国产先进存储,为AI提供加速引力,一定会将AI推向更广阔的产业地带。那时,我们将看到一个更加辽阔璀璨的智能中国。


·

·

脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  • 概述 Cyclone 10 GX器件的ALM结构与Cyclone V类似,所以在Cyclone 10 GX器件上实现TDC功能理论上是可以完全参考甚至移植自Cyclone V系列的成功案例。但是,现实却是更多的问题出现当在Cyclone 10 GX使用和Cyclone V同样策略实现TDC的时候。 本文主要记录在Cyclone 10 GX器件上实现TDC时的探索,并为后续TDC设计、测试等展开前期研究。Cyclone 10 GX ALM结构 如图1所示,Cyclone 10 GX器件的ALM结构
    coyoo 2024-12-14 17:15 83浏览
  • 霍尔传感器的原理        霍尔传感器是一种固体的传感器,其输出电压与磁场强度成比例。顾名思 义,这种器件是依赖于霍尔效应原理工作的。霍尔效应原理是在导体通电 和加有磁场的情况下,在导体的横向 上会产生电压。电子(在实践中多数载流子最常被使 用)在外部电场的驱动下会产生“漂移”,当暴露于磁场中时,这些运动 的带电粒子会受到一个垂直于电场和 磁场的力的作用。这个力会让导体的边缘充电,一边为正,一边为负。边
    锦正茂科技 2024-12-14 11:41 67浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-14 20:56 70浏览
  • 一、引言在数字化时代,芯片作为现代科技的核心,其制造过程却常被视作神秘的黑箱。菊地正典的《大话芯片制造》为我们揭开了这层神秘的面纱,以通俗易懂的方式,全面系统地介绍了芯片制造的各个环节。作为一名电子信息技术专业的教育工作者,我深感这本书不仅为学生提供了宝贵的知识资源,也让我对芯片制造及其在现代社会中的作用有了更深刻的理解。二、生活中的芯片印记芯片的影响渗透到我们日常生活的每一个角落。从智能手机的闹钟唤醒,到交通卡的便捷支付,再到智能家居的智能化功能,芯片以其强大的运算和处理能力,为我们的现代生活
    月光 2024-12-16 11:52 78浏览
  • 1. 磁性材料的磁化曲线磁性材料是由铁磁性物质或亚铁磁性物质组成的,在外加磁场H 作用下,必有相应的磁化强度M 或磁感应强度B,它们随磁场强度H 的变化曲线称为磁化曲线(M~H或B~H曲线)。磁化曲线一般来说是非线性的,具有2个特点:磁饱和现象及磁滞现象。即当磁场强度H足够大时,磁化强度M达到一个确定的饱和值Ms,继续增大H,Ms保持不变;以及当材料的M值达到饱和后,外磁场H降低为零时,M并不恢复为零,而是沿MsMr曲线变化。材料的工作状态相当于M~H曲线
    锦正茂科技 2024-12-17 10:40 54浏览
  • 全球领先的光学解决方案供应商艾迈斯欧司朗(瑞士证券交易所股票代码:AMS)于10月23日在深圳益田威斯汀酒店举办了艾迈斯欧司朗中国发展中心(以下简称,CDC)圆桌论坛。本次论坛以“智能化时代,以多元应用场景和技术 助力中国市场加速发展”为核心议题,探讨在人工智能驱动的市场趋势下,CDC如何助力中国伙伴把握时代机遇,推动大中华地区业务稳健增长,展示了艾迈斯欧司朗对中国市场的信心。立足中国 贴近本土客户需求在全球经济增速放缓和国际形势复杂多变的背景下,中国市场依然保持了稳定的增长势态,并释放出强大的
    艾迈斯欧司朗 2024-12-16 18:00 112浏览
  • 【富芮坤FR3068x-C】+开发环境疑问非常荣欣参加了这次《富芮坤FR3068x-C》评测活动,在搭建开发环境时,本人就遇到很大问题,主要有3个。第1个问题:本人按照《FR306x开发环境说明书》中的1章安装软件,keil5.36版本以上,并且打开sdk中uart工程,按照要求设置了Device配置如下: ARM Compiler选项链接文件配置但是编译结果如下:有23个warning,都是连接脚本中找不到,请问这样工程是否有问题?第2个问题:按照《FR306x开发环境说明书》中要求,需要电脑
    shenwen2007_656583087 2024-12-17 00:59 55浏览
  • 串口调试助手软件:XCOM 也是一款专为嵌入式开发和硬件调试设计的强大工具,如正点原子串口调试助手 XCOM V2.6。这款软件支持多种串口参数配置,满足不同开发需求,广泛应用于嵌入式系统开发、硬件调试以及电子爱好者的项目开发中。XCOM在嵌入式开发和硬件调试中的作用主要体现在以下几个方面: 1. 串口通信测试:XCOM作为一款强大的串口调试工具,允许用户通过计算机的串口进行数据的发送与接收,从而实现对串口通信的测试。这对于验证硬件设备的通信协议、确保数据传输的正确性至关重要。 2. 数据发
    丙丁先生 2024-12-15 11:56 82浏览
  • 擎天柱,这个名字听起来就像是从科幻电影里走出来的英雄。但今天,我们要聊的不是那个变形金刚,而是一款同样令人兴奋的实验板——Ai8051U-LQFP48 转 89C52-DIP40 核心功能实验板。这款实验板就像是电子世界的“擎天柱”,它拥有强大的力量和无限的潜力,等待着我们去发掘和探索。 想象一下,你手中握着的不是一块普通的电路板,而是一张通往未来科技世界的门票。Ai8051U芯片,这颗强大的心脏,内置了硬件浮点运算单元(TFPU@120MHz),让你的计算速度飞起来,就像给机器人装上了翅膀。
    丙丁先生 2024-12-16 13:02 99浏览
  • 在现代软件开发领域,效率和可靠性是企业在竞争中取胜的关键。本文将深入探讨 ANA Systems 如何通过引入业界领先的 CI/CD 平台——CircleCI,克服传统开发流程的瓶颈,实现开发运营效率的全面提升。同时,本文还将详细解析 CircleCI 的核心优势,包括其强大的自动化功能、广泛的工具整合能力,以及为企业量身定制的支持服务,揭示其如何助力 ANA Systems 在「新一代国内旅客项目」中脱颖而出。这一案例将为企业优化开发流程、提升竞争力提供重要的实践参考。ANA Systems
    艾体宝IT 2024-12-16 16:44 102浏览
  • 在现代生活中,我们经常会遇到需要检测电线是否带电的情况。这时,一款好用的数显测电笔就显得尤为重要了。今天,我想跟大家分享一下DELIXI数显测电笔的使用方法,通过一个故事来讲述它如何帮助我们解决生活中的小麻烦。 在一个阳光明媚的周末,小明决定对他家的电路进行一次全面的检查。他知道,虽然自己不是专业的电工,但有了DELIXI数显测电笔的帮助,他也能轻松应对。 小明拿出了DELIXI数显测电笔,这款测电笔设计得非常人性化,操作起来也很简单。他首先注意到了测电笔上的两个按键:DIRECT(A键)和
    丙丁先生 2024-12-16 12:58 71浏览
  • 近年来,云终端凭借便捷、高效、高性价比的优势正逐步在各行各业渗透。研究机构IDC的数据显示,2024上半年,中国云终端市场总体出货量达到166.3万台,同比增长22.4%,销售额29亿元人民币,同比增长24.9%,均超预期。紫光展锐积极携手各大合作伙伴,共同打造云端生态,大力推动云终端在政企、金融类等领域应用落地。 云终端增长势头良好 两大应用场景被看好云电脑将传统个人电脑的硬件资源和软件应用虚拟化,并通过网络提供给用户。这种模式的核心在于:用户不需要高性能的本地硬件,仅通过互联网连接
    紫光展锐 2024-12-16 18:11 66浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦