华为云,让AI算力入山河

原创 脑极体 2023-09-21 20:59


整个2023年,全球科技界都在为大模型沸腾。云计算产业作为AI大模型与产业场景间的最短路径,自然也在大模型浪潮中备受关注。目前阶段,云厂商已经纷纷入局大模型,从多个角度探索大模型带给云计算产业的可能性。


但我们往往会忽略这样一个关键节点:“百模千态”的大模型,第一项挑战是AI算力。而做好大模型服务,首当其冲也要做好算力服务。


在AI算力这个最为基础的能力中,隐藏着AI云服务如何能走向更远的真正答案。



9月21日,在华为全联接大会2023期间,华为常务董事、华为云CEO张平安围绕“共建智能世界云底座,让AI重塑千行万业”发表主题演讲,发布盘古大模型在矿山、政务、汽车、气象、医学、数字人、研发等领域的创新服务,并宣布华为云昇腾AI云服务正式上线,加快让千行万业实现大模型普惠。围绕盘古大模型落地,本次华为云分享的主题是“解难题,做难事”。让AI算力能用、够用、好用、有大用,就是华为云解开的第一道难题。


算力入山河,AI始落地。


为了做好这件重要的“难事”,昇腾AI云服务出发了。



大山大河,

需要AI大算力


信息革命以来,人类逐步发现科技创新的幅度与算力消耗成正比,这一点在大模型身上又一次得到了印证。


大模型的出现和成熟,给千行万业智能化带来了全新的机遇。可以说,每个行业的每个场景都值得融入大模型,甚至其中大部分可以被大模型所重塑。而无论是大模型本身模型规模大、数据参数多的特点,还是各个行业涌现的大模型需求,都指向同一个结果:社会生产体系所消耗的AI算力,将得到指数级提升。


大模型需要大算力,已经成为了行业共识。但如果我们具体打开这个问题,会发现围绕AI算力产生的产业挑战非常多样。我们可以将其概括为供需矛盾、能效挑战、运维需求、安全顾虑四种。


先来看AI算力最为核心的挑战,即供需之间客观上的不平衡。


截至2023年7月,中国累计已经有130个大模型问世。“百模大战”带来了AI算力的巨量增长。根据相关数据报告,过去10年全球AI算力需求增长了30万倍,而未来10年我们还面临着需求500倍的增长。根据《2022-2023中国人工智能计算力发展评估报告》显示,在2022年中国进行的AI计算总量已经超过了通用计算。在可见的未来,AI算力将会变成社会各界需求量最大、供需缺口最大、资源最为紧张的计算形态。


其次是大模型与大算力,带来了尖锐的能效问题。


由于大模型训练需要集群式AI计算,因此其训练任务大量依靠数据中心,而AI服务器的功率密度远超普通服务器,单机柜的功耗是过去的6到8倍。在双碳大背景下,数据中心的能效比必须持续下降,因此大模型带来的计算能效问题已刻不容缓。如何在AI算力提升与能效比下降之间达成平衡,成为了产业界必须面对的问题。



除此之外,我们还要看到AI算力在应用过程中发生了一系列运维难题。由于大模型的训练、部署目标各不相同,各自的训练与部署环境也差异巨大,期间也自然会产生网络时延、模型可靠性、运维管理门槛等运维问题。举个例子,一些大模型需要极大量级的算力集群来支撑,而大量服务器与计算单元之间的协同往往会出现问题,一旦计算单元出现问题,研发人员就需要重启训练。大模型训练中巨大的时间、人才、算力成本消耗,就发生在频繁的故障与重启训练任务当中。因此,大模型不仅需要AI算力充足,还需要算力服务精细,帮助用户降低整体运维难题。


最后,我们还要看到大模型带来新的安全顾虑。


由于大模型的部署场景大多事关国计民生,因此其安全隐患必须全部扫清。在数据访问、存储加密、传输安全等领域,大模型目前还存在着诸多的安全隐患。


整体而言,大模型并不是高度一致化的产品。其本身技术分类复杂、工程化路径多变,并且各个用户还需要根据自身需求进行大模型的精调与订制化工作。这些问题让大模型对AI算力服务有了多方面、多角度的差异化需求。


满足大模型的AI算力需求,已经成为了大模型时代的头一道考题。



把昇腾AI云服务

做实,做精,做成竞争力


对于华为云来说,要把算力这道题答好,需要兼顾两方面的建设:一个是如何让AI算力充足可用,另一个是如何跨越算力服务在运维、安全、能效等方面的挑战。AI算力既要做实,还要做精。


今年7月,华为云发布了最新的昇腾AI云服务,可以为千行万业的用户提供澎湃AI算力。在其背后,是华为云坚实的算力基础设施建设。



截至目前,华为云在贵安、乌兰察布、芜湖建设了3大AI算力中心。基于此,昇腾AI云服务在全国范围内实现了20ms的时延圈。用户可以实现就近接入,一根光纤即可联接澎湃的AI算力,服务即开即用。为确保大模型训练数据的全生命周期安全,昇腾AI云服务还采用了数据传输与存储加密、数据安全清除、数据访问控制、数据水印防泄露等多重技术。值得注意的是,无论对于企业还是社会整体,云服务都是能效比最优的双碳时代AI算力获取方式。



为了实现AI算力的极致性能,华为云还在基础设施之上进行了针对AI云服务的技术优化。比如ModelArts提供了数据、训练、推理三层加速,通过DataTurbo数据加速技术能够利用计算节点存储资源构建分布式缓存,将数据读取时延降低至亚毫秒级。TrainTurbo训练加速技术可以实现在训练数据超过100T时数据读取时间缩短50%,并使能整体训练效率提升20%以上。在模型的推理环节,InferTurbo推理加速技术通过图编译技术加速模型推理,通过全链路垂直协同优化,将大模型的推理性能提升30%。


在这样强大基建与核心技术加持下,用户可以获得极致的AI计算性能,而为了让算力不仅“够用”,还要“好用”,华为云进行了一系列把AI算力“做精”的探索。


比如说,AI开发有赖于工具与平台的全面。昇腾AI云服务背后,有着异构计算架构CANN、全场景AI框架昇思MindSpore、AI开发生产线ModelArts等一系列华为持续打造的AI底层开发工具与技术平台,从而为大模型提供分布式并行加速,算子和编译优化、集群级通信优化等关键能力,奠定AI算力服务的根技术加持。


如上文所说,在大模型训练、部署过程中还面临着一系列运维、能效等问题。在算力服务的优化方面,昇腾AI云服务可以提供更长稳的AI算力服务,千卡训练30天长稳率达到90%,还可以实现分钟级信息获取、2小时定界、24小时提供解决方案,断点恢复时长不超过10分钟,任务恢复时长小于半小时。


在模型迁移方面,华为云为用户提供了迁移工具链,并集成全栈的开发工具,能够实现典型模型迁移效率低至2周,主流场景自助迁移。此外,昇腾AI云服务还适配了业界主流的开源大模型,如LLAMA、Stable Diffusion等,从而真正让昇腾AI云服务满足“百模千态”的大模型需求。


对于运动员来说,基本功就是竞争力。在云+大模型的赛道上,华为云通过基建、技术、服务的集成,也把AI算力练成了竞争力。


澎湃易用的AI算力,是大模型产业化落地的基石,也是一切故事的开端。



算力,技术,场景:

构筑大模型正循环


在大模型这个突然到来的巨大智能化机遇面前,千行万业的用户有着差异化巨大的需求。有人缺少算力,有人需要模型,有人寻觅场景,也有人需要特定技术工具的帮助。任何一个条件的缺失,都会让大模型的飞轮无法旋转。


换个角度看,算力资源、技术工具、模型的场景化应用都能变成支点。这些要素可以通过全栈配合、彼此推动的方式,帮助企业用户和开发者走上大模型之路。


华为云提供的昇腾AI云服务,不仅AI算力能用、够用,好用,还能通过与华为云一系列布局进行联动,让大模型从此“有大用”,从而共同实现盘古大模型解难题,做难事。


比如说,我们能够看到众多技术创新与昇腾AI云服务相辅相成,共同解决着AI算力需求大、供给难的挑战。华为云最新发布的分布式QingTian架构就有着这样的效果。



以AIGC为代表的大模型应用,算力需求特点是高度依赖分布式计算能力,这也对算力架构产生了新的挑战。分布式QingTian架构作为新一代对等架构,能够将传统的数据中心算力集群,演变为基于高速总线的对等池化系统集群,从而打破单一部件的性能限制,实现软硬协同、管控面全卸载、资源与性能零损耗,最终为用户带来性能、可靠性、安全可信等方面的极致体验。


除此之外,华为云还围绕不断发展的AI需求,在AI云存储、GaussDB向量数据库、数智融合、Serverless+大模型工程套件等一系列领域进行了技术创新,从系统架构层、数据处理层、模型训练层、应用开发层实现系统性创新,从而扫清了用户使用AI云服务过程中的障碍,让AI算力真正对齐到千行万业的场景化需求。


在基础AI算力与系列技术创新之上,就是华为云提供的盘古系列大模型。在华为全联接大会2023上,我们也可以看到盘古大模型在行业中有了更为深入的场景化落地。



在汽车行业,盘古汽车大模型能够覆盖车企的设计、生产、营销、研发等环节,并在自动驾驶训练、专用场景落地等领域发挥独特价值。在自动驾驶领域,盘古汽车大模型可基于实际场景采集的照片和视频,构建该场景的数字孪生空间,加入可移动的物体、可编辑的天气、光照等,生成供自动驾驶学习的场景样本。在港口、矿区等作业场景,盘古汽车大模型的多场景、多车型控制算法,可让60吨的重卡横向误差小于0.2米、精准停靠误差小于0.1米。目前在新疆疆纳矿业和内蒙古伊敏露天煤矿,已有23辆无人重卡在矿山中24小时不间断作业。



在直播+数字人领域,盘古数字人大模型基于十万级高质量直播话术进行预训练,能够自动生成专业话术,从而准确、流利地介绍产品,并且还能自动捕捉弹幕和观众实时互动。在贵州丹寨,盘古数字人大模型已经让非遗产业蜡染走向全球。



总结一下不难发现,华为云已经形成AI算力作为底座,技术创新作为驱动,盘古大模型融入行业场景为导向的“大模型正循环”。澎湃AI算力可以带动大模型的使用;技术创新将不断降低大模型的门槛;行业场景将带动大模型规模化落地。算力推动场景和技术发展;技术进步实现算力得到充分释放,场景价值被深入挖掘;场景的进步将带动算力建设,引领技术进步。三者滚动向前,吸引千行万业在云上寻找大模型的答案。


以算力为基础,以算力为钥匙,让AI融入山河大地——这便是华为云的AI长歌。


脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 103浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 44浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 486浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 464浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 512浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 492浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 97浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 322浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 454浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 474浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 53浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 442浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 75浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 164浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 174浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦