Deepseek进入业务深水区,为什么需要昇腾大EP?

原创 脑极体 2025-03-16 21:41



DeepSeek让各行业引入AI大模型的意识和积极性明显提高,已推动AI在政务、能源、制造等领域广泛铺展开来。


很多政企用户接入DeepSeek之后,感受到了AI大模型给业务带来了“旦用难回”的体验,很快就从试用的第一阶段,进入第二阶段——大模型推理集群的扩容升级。


当“有没有Deepseek用”不再成为问题,那么“Deepseek好不好用”的挑战就迎面而来。


一来,人多了,大量访问请求带来的高并发,就像春运高峰期涌入巨大的人流量,会出现请求积压,模型推理思考时间变长,token吞吐速度下降,用户的等待时延达到50-100毫秒,服务器繁忙和排队让人恼火。


二来,机器多了,增加更多服务器会遇到物理天花板,机器扩容并不会线性提升在线推理服务的体验,就像即使增加了更多车厢,但铁轨承载能力有限,也无法运送更多旅客(AI任务)了。


当行业智能化进入深度应用DeepSeek的第二阶段,不得不面临高并发推理的技术挑战。在堆算力的同时,也要同步优化性能体验,相当于想要运送更多乘客,不仅要增加车厢数量,还要同步改造轨道、站台和管理机制,将老式火车升级为高铁,才能综合提高运输效率。



以DeepSeek为例,前不久公布了其利润率,高达545%,其中就涉及大量工程化能力,比如引入大EP推理集群,实现高并发推理吞吐量指数级增长。


对于更多行业和企业来说,没有DeepSeek那样的极客天才和顶尖技术团队,怎样用大EP来解决高并发推理挑战呢?当AI大模型开始进入千行万业的深水区,亟需一场大EP的“运力革命”。



很多政企客户在接入了Deepseek之后,使用量进一步增加,有了扩展推理集群规模的需求,推理资源需要从2台扩展到10台,从16卡扩展到千卡,但扩容升级并不是往机房一放、网络一连,就能高枕无忧了。


就像印度仍在使用的老式火车,仅靠增加车厢,还是无法提高运力,每个乘客能占用的火车空间极小,体验很差,火车不堪重负,延误晚点成了家常便饭。类似问题,在Deepseek和各种大模型与业务的结合中,高并发推理卡住了用户的体验瓶颈。



面对上述问题,大EP大规模专家并行的技术架构,成为趋势。


简单来说,大EP就是将MoE(混合专家)模型中数千个专家,分配到更多的卡(算力)上去。原本一张卡只能拉10个人,有了大EP,可以同时拉100个(高并发);原本只能跑一趟车,现在可以同时跑八趟车(提高专家计算路数batch size),那么乘客就不用长时间等待了。


所以,通过大EP可以提高高并发推理场景下的计算效率,实现更大的吞吐和更低的时延。用户体感上,比如一家银行的工作人员同时访问Deepseek,不会遇到排队、延迟、过长等待等情况。


大EP这么好,怎么才能部署到自己的一体机或推理资源池呢?不经过一番努力,确实很难吃到大EP的蛋糕。



一方面,推理场景的算力需求指数级扩展,而海外厂商的推理芯片如H20,虽然显存高,但算力不足,处理大EP场景时吞吐骤降。Deepseek公开的论文来看,仍然使用H800来进行推理。更强算力且供应链稳定的推理硬件,是大EP必不可少的。


另一方面,当请求总量猛增之后,会带来多种多样的负载,且极不均衡,相当于有的车厢坐的人多,有的车厢坐的人少,负载不均一样会导致体验不佳。


此外,大EP场景的All-to-All通信,导致卡间通信占比时间高,相当于每个车厢的专家都要通知到,这就会耽误进出站的效率。NVLink在大EP场景中,实际有效带宽利用率就不足。


由此可见,当行业使用Deepseek进入深水区,面对高并发推理场景,不能抱有“头疼医头脚疼医脚”的侥幸心理,而需要通盘思考和系统攻坚。



今天来看,各行各业拥抱Deepseek不是追逐一时风口,而是对智能化发展趋势的长期价值判断。普惠LLM进入千行万业,已经是大势所趋。


而大EP无法顺利被行业用起来,就意味着接入Deepseek始终存在时延高、体验差、成本难优化的问题,那么行业智能化也就无法顺利达成。


不过也不必过于担心,Deepseek、科大讯飞等模厂,与昇腾等算力厂商,以及政企行业用户,一直保持着紧密协作与沟通,自开年Deepseek热潮以来,从部署实践中沉淀了大量技术创新。


近期,昇腾推出了大EP解决方案,面向高并发推理场景,一站式升级为智能化“高铁”。



具体来说,昇腾大EP解决方案借助五大关键技术,与昇腾算力深度协同优化,成功突破了“专家负载均衡+通信优化”两大难题。


针对专家负载不均的难题:


昇腾大EP解决方案提出了MoE负载均衡技术,可以自动寻优,根据业务情况、集群规模,找到最优的专家,自动预测哪个专家更忙,自动配比,当一个专家负载过多时自动讲解,从而实现了备份节点和副本专家灵活可扩展、高可用和极致均衡,性能得到极大提升。


采用多种创新技术,做到自适应的autoPD分离部署。根据Prefill和Decode的动态负载,进行P、D实例的自动伸缩,无需人工介入,从而减少计算访存资源竞争。结合多级缓存内存资源池化,对冷热温数据进行区分,可以让系统的有效吞吐提升50%以上。


针对All-to-All通信优化的难题:


昇腾大EP解决方案提出了双流/多维混合并行,其中Prefill micro-batch双流并行,可以实现计算和通信的相互掩盖;MoE expert专家双流并行,实现两条数据流Stream的并行计算;Weight权重预取双流并行,可以把访存和通信并行起来,降低权重加载时间,提升效率。



MLA预处理阶段,昇腾大EP解决方案把大量的小算子,合成为大的融合算子,将计算耗时降低70%,让算力能力充分发挥出来。


如果你觉得上述技术创新多、不好记,那么只需要,借助昇腾大EP解决方案,行业应用Deepseek时,可以做到:


快。访问Deepseek无需等待。昇腾大EP可以将单卡并发提升3倍,Decode阶段响应速度稳定在50ms以内,支撑600+并发请求。


省。业务使用Deepseek上量之后,推理集群扩展的同时,性能也保持线性度,扩容综合成本更优。


正如高铁改变了中国人的出行,昇腾大EP为高并发推理铺设了一条“高速铁路”,改变了Deepseek上量扩容阶段的体验,为行业智能化提速增效。



仅用两个多月的时间,Deepseek就完成了从试用阶段到扩容阶段的进阶。高并发推理场景和大EP技术架构,成为应用Deepseek的新挑战。这也提醒我们,行业智能化是一个循序渐进的过程,不可能一蹴而就。


自主创新算力与国产模型如同高铁的双轨,成为支撑起智能中国的“新基建”。昇腾生态之所以与Deepseek等大模型更加适配,答案逐步清晰明确。


首先,昇腾有硬件,为行业智能化提供“永不沉降”的算力路基。昇腾硬件的FP16和INT8算力,可达到H20的2倍以上,且功耗更低,足以支撑各行业智能化的平稳前进。



此外,昇腾有软硬件的协同优化能力。随着行业智能化的不断深入,AI模型对算力需求不断扩张,但硬件的物理天花板和企业的投入产出比,都要求计算性能持续优化。昇腾的AI软硬件,提供从预训练到微调到强化学习,到推理集群、一体机,全流程全覆盖的方案,可以快速响应客户需求,高效支撑技术创新。目前,昇腾与DeepSeek最新技术已经实现了“day0”级别同步,确保企业智能化在昇腾软硬件基座上,始终行驶在技术最前沿。


更重要的是,昇腾有伙伴。行业智能化是一个体系化工程,不是单一硬件或软件厂商就能独自完成的。在自主创新算力生态中,昇腾一方面兼容主流生态与PyTorch等国内外框架,同时与ISV伙伴、各大模厂都保持着紧密共生与合作。这意味着,当行业用户基于昇腾底座开发AI应用,能得到生态的全方位助力,减少智能化升级的阻力,降低综合成本。


今天,智能化已经成为全球经济发展的主航道。在自主算力与国产模型所铸就的双轨上,行业智能化也将走深向远,向着智能时代飞驰。





·
·

·

脑极体 从技术协同到产业革命,从智能密钥到已知尽头
评论 (0)
  • 失效模式与影响分析(FMEA)失效模式与影响分析(FMEA)是一种系统方法,用于识别和分析系统或过程中的潜在失效,广泛应用于工程和制造领域,以提高产品可靠性和安全性。最新标准由 2019 年发布的 AIAG-VDA FMEA 手册(第一版) 定义,该手册结合了美国和欧洲汽车行业的最佳实践,并引入了 七步法,确保分析全面且结构化。图:优思学院六西格玛新版 FMEA 失效分析的七个步骤1. 规划与准备确定 FMEA 研究的 范围、边界和目标。组建跨职能团队(设
    优思学院 2025-03-17 14:43 93浏览
  • 近日,2025年GTI国际产业大会成功举办,活动上GTI Awards 2025获奖名单正式揭晓,紫光展锐连续三年斩获国际权威机构GTI颁发的大奖。此次,T8300凭借在5G技术创新和娱乐体验方面的卓越表现,荣获GTI“移动技术创新突破奖”(Innovative Breakthrough in Mobile Technology Award)。GTI是由中国移动、软银、沃达丰等运营商于2011年发起成立的国际产业合作平台。GTI Awards作为全球通信行业最具影响力的奖项之一,旨在表彰为行业
    紫光展锐 2025-03-14 17:35 72浏览
  • 晨穹电子一家专业从事研发、生产、销售各类传感器为一体的高新科技企业。1 人赞同了该文章在工业4.0、智能家居、新能源汽车等场景中,传感器作为数据采集的核心器件,其抗电磁干扰(EMC)能力直接影响系统可靠性。尤其在5G通信、高功率电机、无线充电等复杂电磁环境下,传感器的信号失真问题愈发突出。本文结合MEMS传感器、物联网(IoT)设备、边缘计算等热度技术,解析提升传感器抗干扰能力的6大策略。 一、电磁干扰对传感器的威胁; 1、电磁干扰(EMI)会导致传感器出现 。2、信号跳变(
    传感器晨穹 2025-03-18 09:28 43浏览
  • 随着汽车行业逐步迈向电气化和电池动力,位置传感器以及其他长期在车辆中被忽视但却至关重要的小型元器件正逐渐成为关注的焦点。某些电子元器件常常吸引大量关注,例如如今用于训练AI模型的强大GPU几乎每天都出现在新闻中。而其他元器件则默默地执行着重要但鲜为人知的功能。艾迈斯欧司朗一些历史悠久的产品线便隶属于后者,其中包括磁性和电感式位置传感器、电容式传感器和电池监控芯片。工业泵和风扇等产品的制造商利用位置传感器实现电动机高效平稳运行。在车辆的方向盘中安装电容传感器可以保障安全,它可以用于在辅助驾驶模式下
    艾迈斯欧司朗 2025-03-17 22:22 41浏览
  • 一、问题现象:语音播放异常的典型表现在使用WT588F(E)系列语音芯片的开发过程中,工程师常会遇到以下两类典型异常现象:播放不全:语音仅播放前段内容后突然中断,或特定段落无法触发播放断续:音频输出存在明显卡顿、爆音或波形畸变某智能门锁项目实测数据显示,在首批样机中有2%的设备出现语音提示突然中断的情况,经排查发现电源电压在播放瞬间跌落至2.0V(低于芯片工作阈值)。这类问题的根源往往隐藏于硬件设计与系统协同的细节之中。二、核心机理:电压稳定性对语音芯片的影响2.1 电源系统的动态响应特性WT5
    广州唯创电子 2025-03-17 09:18 118浏览
  • 新兴的个人健康监测技术为何在医疗场景和日常生活中越来越受到青睐?为了准确回答这个关键问题,我们首先需要理解三个全球性趋势:如今,几乎人手一部智能手机,这等于随身携带了一台高性能计算机、一个全天候运行的智能医疗传感器中心,还有一块显示屏。发达工业国家的人口正在迅速老龄化,而老年群体的疾病发病率较高。与此同时,年轻人也比过去更加关注如何延长健康寿命。这些人群以及服务他们的医务人员可以利用新技术来优化生活方式,合理调控运动、饮食、睡眠和压力等关键因素,帮助他们作出更健康的生活选择。如摩尔定律所预言,半
    艾迈斯欧司朗 2025-03-17 21:50 49浏览
  • 文/Leon编辑/cc孙聪颖‍蛇年春晚最有意思的节目,一定非机器人跳舞莫属。就算是遥控或预编程,机器人能够做出如此复杂的动作,在五年前都是不敢想象的事情,其制造商宇树科技也因此火爆全网。就在春节过后不到一个月,会骑自行车的人形机器人诞生了。这背后,是近年来“具身智能”概念的迅猛发展。“我们造了一个跟人一样灵动的机器人!”3月11日,智元机器人联合创始人兼首席技术官彭志辉在微博上说道。在视频中,灵犀X2会骑自行车、能跳《科目三》,还可以与人促膝长谈,甚至拿起葡萄“穿针引线”。在全球人形机器人领域,
    华尔街科技眼 2025-03-17 12:38 101浏览
  • 在求职路上,一直没能拿到理想的录用通知,真的要放低要求吗?对很多人来说,这个问题往往让人进退两难。期待中那个能够激发自我潜能又能带来丰厚回报的职位,似乎离自己遥不可及。可是眼看着账单越压越重,生活在缓缓拖累前行。在这种局面下,究竟该不该向现实妥协,先找一份工作再说?有些人会觉得,先就业意味着放弃理想,觉得一旦走上这条路,就难以回到最初的目标。但事实上,这种担忧常常让人陷入犹豫与停滞。路走不通时,不代表必须原地不动。有时选择一份尚可接受的工作,也能带来意想不到的机会。公司内部的人脉、行业的历练,乃
    优思学院 2025-03-14 17:12 75浏览
  • 一、引言:语音芯片的智能化浪潮在万物互联的智能化时代,语音交互技术已成为人机交互的重要纽带。从智能家电的提示音到儿童玩具的趣味互动,从工业设备的语音告警到公共服务设施的自动播报,语音播放芯片IC作为核心硬件支撑,正在重塑各行各业的用户体验。在众多解决方案中,WTN6、WT588、WT2003H、WTV四大系列产品,凭借差异化的技术特性构建了完整的语音芯片产品矩阵。本文将深度解析这四大主流芯片的技术特点与应用场景,为开发者提供选型参考。二、主流语音芯片技术特性全解析2.1 WTN6系列:高性价比的
    广州唯创电子 2025-03-17 09:04 136浏览
  • esp32s3使用platformio 点亮1.69寸TFT历程之LVGL移植 继上一篇我历经很久的时间点亮了1.69寸TFT之后。我开始进行LVGL的移植。开始LVGL的学习。用platformio 开发esp32s3真的好方便。按照上一节的环境。本次由于需要使用LVGL。打开platformio lib界面搜索LVGL。目前里面的版本是9.2.2。我使用的8.3.6。然后按照下图加载到自己的工程项目。待加载完毕后。我们会看到libdeps下面会出现LVGL库好了,这一步完成后。我们就开始移植
    zhusx123 2025-03-15 20:58 113浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦