面包芯语

NVIDIAAIEnterprise加速LLM与推荐系统开发在线研讨会

英伟达NVIDIA中国 2023-07-10 20:17
【TI资料】专为高压系统设计的新型MCU 【应用手册】TI 全新MCU及C29内核的能源设施应用方案

生成式 AI 的大火，让 AI 不再是一个学术层面的概念竞赛，而是能够有效提升各行各业的生产力。但是在应用开发的层面上，AI 技术面临着不少挑战。尤其是在企业级 AI 应用中，如何将模型部署到生产环境，如何确保模型部署后的可用性和可靠性，以及如何监控和维护模型的性能等都是开发中需要解决的问题以及困难所在，这些问题也极大地制约了企业在开发 AI 应用上的生产力提升。


NVIDIA AI Enterprise 是一款面向企业级 AI 应用的一站式开发平台，也被视作 NVIDIA AI 加速平台的操作系统，为 NVIDIA 的加速基础架构提供稳定可靠的软件及开发环境，借助开发和部署优化的云原生和加速 SDK 软件套件和框架，实现 AI 工作流的快速开发和应用部署。


7 月 11 日下午 2 点，智东西公开课联合 NVIDIA 策划推出「 NVIDIA AI Enterprise 加速 LLM 与推荐系统开发在线研讨会」。研讨会邀请到 NVIDIA 开发者发展经理崔晓楠、NVIDIA 消费互联网事业部解决方案团队高级机器学习架构师张海辰和 NVIDIA 产品经理高文雯参与主讲。


其中，崔晓楠将以《NVIDIA AI Enterprise 助力并延展大模型 AI 工作流》为主题，分享 NVIDIA AI Enterprise 的最新更新内容及特性。之后，张海辰将围绕主题《基于 NVIDIA NeMo 框架的 LLM 部署实践》，着重介绍端到端云原生框架 NVIDIA NeMoTM，以及其是如何支持开发者构建、定制以及部署 AI 模型。


最后，来自 NVIDIA 总部的 Merlin 产品经理高文雯，将就主题《利用 NVIDIA Merlin 训练部署高性能推荐系统》，为大家介绍 NVIDIA MerlinTM 是如何助力数据科学家、机器学习工程师和研究院大规模的构建高性能推荐系统，从而获得更好的预测、更高的点击率和更快的系统部署。



NVIDIA AI Enterprise 加速 LLM

 与推荐系统开发在线研讨会


★

直播时间


2023 年 7 月 11 日 14:00-15:00



演讲嘉宾&主题


14:00 - 14:20


NVIDIA AI Enterprise 助力

并延展大模型 AI 工作流


针对大模型等场景，在最新的 NVIDIA AI Enterprise 软件堆栈中，包含了针对 NeMo Framework 的官方支持。同时，针对推荐系统，语音，视觉大模型，多模态等应用方向也会在 NVIDIA AI Enterprise 的堆栈中获得支持。


在应用的部署上，NVIDIA AI Enterprise 支持应用的加速再到任意位置的大规模部署，甚至延展到多云部署的架构。本次分享将会对 NVIDIA AI Enterprise 软件套件的最新更新进行深度讲解。


演讲嘉宾


崔晓楠

NVIDIA 开发者发展经理


14:20 - 14:40


基于 NVIDIA NeMo 框架

的 LLM 部署实践


NVIDIA NeMo 是 NVIDIA AI 平台的一部分，是一个端到端云原生企业框架，用于构建、客户化和部署具有数十亿参数的生成式 AI 模型。


NeMo 框架通过多 GPU 和多节点配置，通过 3D 并行技术加速训练工作流程，提供多种客户化技术选择，以及针对语言和图像应用的大规模模型的优化推理。NeMo 使企业的生成式 AI 模型开发变得简单、经济、快速。


本次分享会深度讲解 NVIDIA NeMo 框架，以及面向开发者的 LLM 模型构建、定制和部署。


演讲嘉宾


张海辰

NVIDIA 消费互联网事业部解决方案团队

高级机器学习架构师


14:40 - 15:00


利用 NVIDIA Merlin 

训练部署高性能推荐系统


NVIDIA Merlin 是 NVIDIA AI 平台的一部分，提供训练和部署推荐模型的解决方案。本次分享将围绕 Merlin 的上层 API 和底层加速包展开。


其中，上层 API 包括 Merlin models 和 Merlin systems 。Merlin models 可以帮助开发者轻松搭建 session-based 以及 transformer 模型，而 Merlin systems 则提供工具搭建端到端的多个 stage 的推荐系统。


底层加速包包括 Distributed-Embeddings (TFDE) 和 Hierarchical Parameter Server (HPS)。TFDE 可以通过 3 行 TF 的 API 轻松实现多机多卡的大模型同步训练，HPS 则可以通过 GPU cache 和多级存储加速大模型的部署。


演讲嘉宾


高文雯

NVIDIA 产品经理



扫描二维码即刻报名



相关资料



扫描上方二维码试用 

NVIDIA AI Enterprise



扫描上方二维码试用 NVIDIA Merlin



扫描上方二维码立即下载 

NVIDIA NeMo Framework



点击 “阅读原文”，或扫描下方海报二维码，观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放，主题演讲中文字幕版已上线，了解 AI、图形及其他领域的最新进展！


登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
英伟达NVIDIA中国
评论
  • 无人机锂电池行业发展现状及市场潜力分析报告
    根据环洋市场咨询（Global Info Research)项目团队最新调研，预计2030年全球无人机锂电池产值达到2457百万美元，2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池，大多数是锂聚合物电池，相较其他电池，锂聚合物电池具有较高的能量密度，较长寿命，同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等，前五大厂商占有全球
    GIRtina 2025-01-07 11:02 127浏览
  • 硅电容系列二：硅电容主要厂家– 村田
    村田是目前全球量产硅电容的领先企业，其在2016年收购了法国IPDiA头部硅电容器公司，并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理，村田高密度硅电容器采用半导体MOS工艺开发，并使用3D结构来大幅增加电极表面，因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础（单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属） 村田硅电容采用先进3D拓扑结构在100um内，使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 147浏览
  • 如何区分315MHz和433MHz遥控模块？
    每日可见的315MHz和433MHz遥控模块，你能分清楚吗？众所周知，一套遥控设备主要由发射部分和接收部分组成，发射器可以将控制者的控制按键经过编码，调制到射频信号上面，然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码，从而得到与控制按键相对应的信号，然后再去控制相应的设备工作。当前，常见的遥控设备主要分为红外遥控与无线电遥控两大类，其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz，通常应用在电视、投影仪等设备中；而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 172浏览
  • RK3562编译Android13 ROOT固件教程，触觉智能开发板演示
    本文介绍编译Android13 ROOT权限固件的方法，触觉智能RK3562开发板演示，搭载4核A53处理器，主频高达2.0GHz；内置独立1Tops算力NPU，可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件（"+"号为修改内容）device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 100浏览
  • 汽车免拆诊断 | 2017 款东风风神 AX7 车热机后怠速不稳
    故障现象一辆2017款东风风神AX7车，搭载DFMA14T发动机，累计行驶里程约为13.7万km。该车冷起动后怠速运转正常，热机后怠速运转不稳，组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断　用故障检测仪检测，发动机控制单元中无故障代码存储；读取发动机数据流，发现进气歧管绝对压力波动明显，有时能达到69 kPa，明显偏高，推断可能的原因有：进气系统漏气；进气歧管绝对压力传感器信号失真；发动机机械故障。首先从节气门处打烟雾，没有发现进气管周围有漏气的地方；接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 92浏览
  • 硅电容系列一：硅电容概述
    这篇内容主要讨论三个基本问题，硅电容是什么，为什么要使用硅电容，如何正确使用硅电容？1.  硅电容是什么首先我们需要了解电容是什么？物理学上电容的概念指的是给定电位差下自由电荷的储藏量，记为C，单位是F，指的是容纳电荷的能力，C=εS/d=ε0εrS/4πkd（真空）=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体，中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到，在各个变量中比较能够改变的就是εr，S和d，也就是介质的介电常数，金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 238浏览
  • 领导力：你这个将要拉你进上职场暂突的秘密
    「他明明跟我同梯进来，为什么就是升得比我快？」许多人都有这样的疑问：明明就战绩也不比隔壁同事差，升迁之路却比别人苦。其实，之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」，而是散发领导力特质的人，才更容易被晓明。许多领导力和特质，都可以通过努力和学习获得，因此就算不是天生的领导者，也能成为一个具备领导魅力的人，进而被老板看见，向你伸出升迁的橘子枝。领导力是什么？领导力是一种能力或特质，甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力，并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 82浏览
  • 探索光耦：光耦在风力发电中的应用——保障绿色能源的高效与安全
     在全球能源结构加速向清洁、可再生方向转型的今天，风力发电作为一种绿色能源，已成为各国新能源发展的重要组成部分。然而，风力发电系统在复杂的环境中长时间运行，对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦（光电耦合器）作为一种电气隔离与信号传输器件，凭借其优秀的隔离保护性能和信号传输能力，已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中，包括发电机、变流器、变压器和控制系统等多个部分，通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 80浏览
  • NXP iMX8MP 处理器基于 Linux 关闭 Debug Console 输出
    By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期，为了安全以及提高启动速度等考虑，希望将 ARM 处理器平台的 Debug Console 输出关闭，本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 113浏览
  • 谈大模型的赋能
    大模型的赋能是指利用大型机器学习模型（如深度学习模型）来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力，包括但不限于以下几个方面： 1. 企业服务：大模型可以用于构建智能客服系统、知识库问答系统等，提升企业的服务质量和运营效率。 2. 教育服务：在教育领域，大模型被应用于个性化学习、智能辅导、作业批改等，帮助教师减轻工作负担，提高教学质量。 3. 工业智能化：大模型有助于解决工业领域的复杂性和不确定性问题，尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 122浏览
  • Matter 标准：破生态枷锁，启家居智能新时代
    在智能家居领域中，Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段，它们常在实际应用中交叉运用，以满足智能家居生态系统多样化的功能需求。然而，这些协议之间并未遵循统一的互通标准，缺乏直接的互操作性，在进行组网时需要引入额外的网关作为“翻译桥梁”，极大地增加了系统的复杂性。 同时，Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 211浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦