2024云栖大会,和NVIDIA共同开启加速计算之旅

原创 英伟达NVIDIA中国 2024-09-19 11:30

今日,2024 云栖大会在杭州云栖小镇正式举行,NVIDIA 多位技术专家将在为期三天的主论坛、专场和并行话题演讲,分享加速计算技术和产业实践。

与此同时,2 号馆 NVIDIA 展区,将带来数据中心级的端到端技术栈、生态加速项目、LLM 技术演示、云上解决方案和用户实践,3 号馆 NVIDIA Inception Pavilion 展区邀请了 10 家亚太地区的 NVIDIA 初创加速计划会员企业展示前 AI 沿用。请跟随我们的脚步,先行了解 NVIDIA 如何亮相 2024 云栖大会!


NVIDIA 专场“大语言模型时代的加速计算”

9 月 20 日 14:00 - 17:45,A 馆 A1-1


在NVIDIA 专场,NVIDIA 和阿里云、埃森哲的技术专家将分享大语言模型落地的关键要素,并分享全栈加速计算的技术经验。

上下滑动查看演讲详情


NVIDIA 全球副总裁何涛将为专场观众致欢迎词,此后,NVIDIA 开发与技术部门亚太区资深总监李曦鹏将带来开场演讲 “大语言模型时代的加速计算”,鉴于加速计算是推动人工智能、视频处理和数据分析等领域发展的核心技术, NVIDIA 通过持续创新、CUDA、Tensor Core 和 NVLink 等不断引领加速计算的发展。不但提供了强大算力,也显著降低了能耗。本报告将分享大语言模型时代,加速计算的“变”与“不变”,并着重讲解我们对于大语言模型带来的新的技术调整和“解题思路”。

NVIDIA 解决方案架构师金国强阿里云智能集团弹性计算高级开发工程师刘霖将分享“让生成式 AI 触手可及:NVIDIA NIM 助力企业级大模型推理优化部署”,演讲将展示如何结合 NIM 和阿里云容器服务 ACK 提供一套开箱即用,可以快速构建高性能、可观测、灵活弹性的 LLM 推理服务最佳实践,为 LLM 服务部署简化流程,帮助企业客户加速部署生成式 AI 模型。

随着大语言模型的发展和生成式 AI 的逐步落地,算力需求也在爆发性的增长,加速计算的集群规模也越来越大。如何构建合适的集群,合理的使用集群是非常有挑战性的工作。NVIDIA 资深解决方案架构师刘功元将在题为“NVIDIA 加速计算助力生成式 AI”的演讲中,重点介绍 GPU 架构,GPU 集群 Scale-up 和 Scale-out 的演进,以及助力生成式 AI 的落地的最佳实践。

大语言模型的训练和推理是 AI 应用的核心,它对 AI 框架在 GPU 上运行的吞吐和时延提出了更高的要求。因此加速计算是保障 LLM 应用成本控制和用户体验的基础。

NVIDIA GPU 计算专家张顺康将分享“NVIDIA Megatron-Core MoE:架构、特性与性能优化”,Megatron-Core(简称 MCore)是 NVIDIA 开发的专注于 LLM 训练的 GPU 优化技术和系统级创新的分布式训练框架。用户不仅可以直接使用 MCore 进行 LLM 的大规模训练,也可以基于 MCore 构建客制化的训练框架,以满足各种特定需求。Megatron-Core MoE(简称 MCore MoE)作为 MCore 的核心组件,专门针对 MoE 训练场景提供灵活并行支持和性能优化策略。本次演讲将重点介绍 MCore MoE 的技术特性及性能优化,并以 Qwen2 MoE 模型为例,分享性能调优的最佳实践。

NVIDIA GPU 计算专家王猛讲分享“NVIDIA TensorRT-LLM:大模型推理优化最佳实践”,虽然 LLM 已经在许多应用领域证明了其强大的理解和生成能力,但要落地到具体应用,还需要克服推理成本高、延迟长的问题,并拥有易开发、易调试的工具。为了在 GPU 上取得更低的成本、更快的推理速度,NVIDIA 推出了 TensorRT-LLM (TRT-LLM) 来协助使用者能轻松、快速的用低成本进行 LLM 推理。本次演讲将重点介绍 TensorRT-LLM 的基础组件,FP8 量化,并以 Qwen 模型为例,分享推理性能的最佳实践。

生成式 AI 落地需要加速计算和云计算以及生态系统的合作创新。

因此,专场邀请阿里云智能集团算法专家李鹏,以“PAI-Megatron-Patch:围绕 Megatron-Core 打造大语言模型训练加速生态”为主题,分享阿里云 PAI 人工智能平台算法团队和 NVIDIA DevTech 团队深入合作,基于 MCore 框架解决的 Qwen2 以及 LLama3.1 开源 LLM 训练加速技术落地时遇到的加速开关鲁棒性,以及收敛精度等核心问题。演讲将以接入最新的开源 LLama3.1 场景为例,首先展示从 HuggingFace 模型继续预训练或者微调时权重转换过程中遇到的精度对齐问题,接着介绍 NVIDIA 前沿架构下最新的 FlashAttention-3,分布式通信优化以及 offloading 技术。

专场也邀请了阿里云智能集团高级技术专家张杰(王林)带来以“PAI-ChatLearn:借助 Megatron-LM 实现高效 Alignment 训练”的分享, PAI-ChatLearn 是阿里云 PAI 团队自研并开源的、灵活易用的、大规模 Alignment 高效训练的框架。支持 RLHF、DPO、OnlineDPO、GRPO 等 Alignment 训练。本次演讲主要介绍 PAI-ChatLearn 架构、如何协同 Megatron-LM 等 backend 来进行 Alignment 训练加速、性能和效果等。专场最后,NVIDIA 亚太区企业级软件负责人张旭埃森哲大中华区技术服务事业部资深解决方案架构师杨阳阿里云智能集团弹性计算开发工程师高涵将以 “NVIDIA AI Enterprise 助力传统企业 LLM 上云” 为主题,分享如何基于定制企业专有数据和微调模型,助力打造定制化的企业级解决方案。


NVIDIA 展区汇聚前沿加速计算技术和实践

2 号馆 2-12


基于 CUDA 的加速计算,是大语言模型时代下,AI 落地和产业焕新的技术底座;数据中心正在演变为由成千上万 GPU 构建的 AI 工厂,推动新一轮生成式 AI 的突破。

左右滑动,查看更多展位图片


在 NVIDIA 展区,NVIDIA 将展示在计算各个层级上的加速计算技术,包括 NVIDIA RAPIDS cuDFNeMoMegatron-CoreTensorRT-LLMTriton™ 推理服务器NIM 预构建容器工具、Spectrum-4 SN5600 网络交换机 BlueField®-3 网络平台、基于 NVIDIA Spectrum-4 的阿里云白盒以太网交换机 ,以及  Omniverse 等。


精彩技术演示


大会观众在 NVIDIA  LLM 互动技术演示区大排长龙。我们展示了由 Inworld AI 与 NVIDIA 合作创建的动态 NPC 交互技术演示,它集成 NVIDIA Riva 自动语音识别功能以实现准确的语音转文本,并使用 NVIDIA Audio2Face 提供逼真的面部动画。

另一个使用 Stable Diffusion ComfyUI 应用的图像生成技术演示,借助 NVIDIA RTX 实现了 10 倍更快的图像生成和一步式训练 ControlNets,ComfyUI 通过 TensorRT 加速,可将图像和视频生成速度提高 60%,体验者能够基于即时自拍照,来创建超级英雄形象并在几秒钟内完成。


学习资源分享


NVIDIA 初创加速计划致力于培养颠覆行业格局的优秀创业公司,其展示内容将在现场开放。此外,您还会看到 NVIDIA 企业开发者社区NVIDIA 深度学习培训中心(DLI),为创业者、开发者和学习者提供丰富的资源和支持。到访“NVIDIA 实战培训”互动体验区,您可以现场体验 NVIDIA 培训配备云端实验环境的在线自学课程,并从 50 门课程中自由选择领取多门免费课程。到访观众还有特别培训课程的免费兑换权益。此外,“NVIDIA AI 小课堂”也将如期而至,为参会者提供与讲师互动的机会,让您亲身感受 AI 技术带来的魅力与变革。


客户用例展示


此外,在 NVIDIA 展区您还可以看到云上解决方案和客户用例,包括:

  • 猿辅导集团:Motiff 妙多 AI 时代设计工具,基于 NVIDIA 加速计算,驱动 AI 直接生成产品界面。
  • 吉利集团:极氪浩瀚智驾 2.0 启动端到端大模型,基于 NVIDIA 芯片,打造智驾新体验,自研域控,行车,泊车与主动安全全场景覆盖,城市领航功能全国都能用。
  • 阿里云容器服务(ACK):在阿里云容器服务 ACK 集群上部署 NIM 预构建容器工具,使用其云原生 AI 套件,开源的 KServe 等组件和 Prometheus 监控服务,以及 NIM 提供的丰富监控指标,快速拉起高性能、可实时观测、极致弹性的模型推理服务。
  • 魔搭社区:魔搭社区上线 TensorRT-LLM,支持主流 LLM 推理优化和常用量化方法,并适配不同环境,其中使用 FP8 量化,可获得相比 HuggingFace 基准,最高 8.6 倍的整体推理性能提升。
  • 蚂蚁集团:图谱自动构建和可信问答,基于 LLM 的私域知识库自动图谱构建和可信问答。
  • 阿里云云工开物校园云:NVIDIA 与阿里云支持中国高校 AI 通识教育。
  • 阿里云函数计算(FC):阿里云与 NVIDIA 共同打造更高效的推理平台,推理速度提升 30%。
  • 月之暗面:Kimi 底层推理平台 Mooncake——基于 KVCache 的分离式推理架构。
  • 阿里云计算巢服务:NVIDIA AI Enterprise 结合计算巢实现 LLM 快速 SaaS 化和软件一站式上云。
  • vGPU:按 “虚” 而动,大势所趋,NVIDIA vGPU 解决方案助力阿里云弹性计算。


来 NVIDIA Inception Pavilion 展区

一览前沿 AI 应用

3 号馆 3-11K


NVIDIA 初创加速计划致力于培养颠覆行业格局的优秀创业公司。今年,10 家 NVIDIA 初创加速计划会员企业亮相大会,其中 4 家亚太区域会员企业更是首次亮相云栖大会。欢迎您探展 NVIDIA Inception Pavilion 展区,了解来自不同国家和地区的创业企业的最新技术突破。

参展企业:


  • 6Estates

  • FathomX Pte.Ltd.

  • MetaLearner

  • 8glabs Inc.

  • WeShop

  • 深圳幻影未来信息科技有限公司

  • 万生华态科技有限公司

  • 北京睿甄创新科技有限公司

  • 酷牛创新技术(深圳)有限公司

  • 埃罗科技(上海)有限公司


精彩进行时


在 2024 云栖大会的首日,NVIDIA 丰富多元的展示和演讲为大会增添了一道靓丽的 “加速计算”风景线。欢迎您持续关注 NVIDIA 在 2024 云栖大会的精彩呈现。



GTC 2025 内容征集现已开放点击“阅读原文”,或扫描下方海报二维码即可提交。2025 年 3 月,在圣何塞向全世界分享您的成就。

评论
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 74浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 47浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 70浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 81浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 49浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦