GTC21 | 奔向企业 AI 的快车道:全新 NVIDIA 工作流程,让任何用户轻松选择、适配和部署模型

英伟达NVIDIA中国 2021-04-15 00:00
学会运用如 NVIDIA TAO 和 Fleet Command 这类预训练模型与工具,AI 驱动型企业的发展之路不再曲折漫长。



AI 是我们这个时代最强大的新技术,但迄今为止,许多企业一直难以驾驭这种力量。

许多公司缺乏专业技能、无法访问大型数据集或缺乏深度学习所需的加速计算。还有一些公司则认识到 AI 的优势,并想要将其快速推广到更多产品和服务中。


应对这两者的挑战,企业 AI 有了新的路径。新的路径利用成熟的技术,并借助 NVIDIA TAO 和 NVIDIA Fleet Command 简化 AI 工作流,达到缩短时间、降低成本的效果。


即抓即用的 AI 模型


这一过程的起点是预训练模型开始。2021 年,你已经不必从头开始设计和训练神经网络,而是可以在我们 的 NGC 目录中众多的模型中进行选择。

我们策划了众多的模型以交付业务技能进而可以推进你的业务,这些模型包括计算机视觉、对话式 AI 、乃至自然语言理解等等多个领域的 AI 任务。


模型都有它的 AI 简历页面


因此,用户可以了解他们获得的模型,且目录中的许多模型都提供凭证 —— 就像潜在新员工的简历一样。

模型凭证显示了模型训练的领域、训练模型的数据集、模型的部署频次及其预计的运行性能。这些信息确保了透明性和可信性,使你可以为应用案例选择正确的模型。


利用大量投资


NVIDIA 五年来投入了数亿个 GPU 计算小时来完善和调试这些模型——我们替你完成了这项工作,所以你无需费力。

这里有三个 R&D 的案例可以助你一臂之力:

在计算机视觉方面,我们投入了 3,700人年在 4500 万帧中标记了 5 亿个物体。我们使用录音在 GPU 上对语音模型进行了超过 100 万小时的训练。我们用包含 61 亿个单词的生物医学论文数据库来训练了我们的自然语言处理模型。


迁移学习,你的 AI 私人定制


选择模型后,你可以使用 NVIDIA TAO 对其进行精调,以满足你的特定需求。NVIDIA TAO 是我们加速企业 AI 工作流程的又一个里程碑。

TAO 支持迁移学习,这个过程从现有的神经网络中获取特征,并使用 NVIDIA 的 Transfer Learning Toolkit(TAO 的组成部分)将其移植到新的网络中。它利用用户手头的小型数据集,为模型提供自定义适配,而无需从头开始构建和训练神经网络所需的成本、时间和大量数据集。

有时,公司有机会通过合作伙伴在数据中心外维护的更大、更多样化的数据集中训练模型,以进一步增强模型。


借助 TAO,合作伙伴可以安全的相互协作


联邦学习(Federating Learning)是 TAO 的另一部分内容,它允许不同站点安全地协作,以优化模型从而达到最高的精度。借助此技术,用户可以共享模型部分模块(例如部分权重)。数据集得以保留在每家公司的数据中心内,因此数据隐私得到了保护。

最近的一个示例中,20 个研究点合作提高了所谓的“EXAM”模型的准确性,该模型可以预测患者是否患有 COVID-19。应用联合学习后,该模型还可以预测感染的严重程度以及患者是否需要补氧。患者数据安全地隐藏在每个合作伙伴手中。


将企业 AI 应用到生产中


模型经过微调后,需要针对部署进行优化。这是一个模型修剪过程,使模型更加精简且鲁棒,因此,无论是在服务器中的 GPU 阵列上,还是在工厂车间中由 Jetson 控制的机器人上,模型在目标平台上都能高效运行。

NVIDIA TensorRT 是 TAO 的另一部分,它根据模型运行的目标系统,对模型进行数学的调整从而使其达到最小规模与最高精度的最优化平衡。这是一个关键步骤,对于语音识别或欺诈检测等不允许系统延迟的实时服务而言尤为重要。

此外,利用  Triton 推理服务器(Triton Inference Server),不论模型架构如何、模型是什么框架、抑或运行于哪个目标 CPU 或 GPU,用户都可以选择最佳配置来进行部署。

一旦模型得到优化并准备部署,用户就可以轻松地将其集成到适合其使用案例或行业的任何应用框架中。例如,对话式 AI 可以采用  Jarvis 、医疗应用可以采用  Clara 、 Metropolis 用于视频分析,或者  ISAAC 用于机器人领域等,以上只是几个 NVIDIA 产品示例。

借助所选应用程序框架,用户可以启动 NVIDIA Fleet Command,以在各种 GPU 支持的设备中部署和管理 AI 应用程序。这是整个过程的最后一个关键步骤。



数分钟内实现从零到 AI


Fleet Command 连接部署在网络边缘至云端  NVIDIA 认证服务器(NVIDIA Certified Servers)的服务器。有了它,用户可以从浏览器中安全地配对、编排和管理数百万台服务器,将 AI 应用部署到任何远程位置,并根据需要更新软件。

管理员可以集中监控运行状况,并一键远程更新系统,以简化大规模 AI 运维。

Fleet Command 使用端到端安全协议来确保应用程序数据和知识产权的安全。

数据在边缘和云之间发送,经过完全加密,可确保其受到保护。在部署应用程序之前,会先对应用程序进行恶意软件和漏洞扫描。


工作上的 AI 工作流程


Fleet Command 和 TAO 的要素已经在仓库、零售、医院和工厂车间使用。用户包括埃森哲、宝马和西门子数字工业等公司。

下方来自  GTC 主题演讲的视频展示了 NGC 模型、TAO 和 Fleet Command 的组合,是如何将多个 AI 模型快速定制和部署成为应用程序的。



即刻起,可注册 Fleet Command


TAO 的核心部分,如迁移学习工具包(Transfer Learning Toolkit)和联邦学习(federated learning)已经公开可用。立即申请 Early Access,解锁完全集成到 TAO 中的所有技术。



扫描下方海报二维码,在 GTC21 聆听 NVIDIA 创始人兼首席执行官黄仁勋主题演讲,探索未来计算愿景,共同开启元宇宙之旅。


评论
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 68浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  •         霍尔传感器是根据霍尔效应制作的一种磁场传感器。霍尔效应是磁电效应的一种,这一现象是霍尔(A.H.Hall,1855—1938)于1879年在研究金属的导电机构时发现的。后来发现半导体、导电流体等也有这种效应,而半导体的霍尔效应比金属强得多,利用这现象制成的各种霍尔元件,广泛地应用于工业自动化技术、检测技术及信息处理等方面。霍尔效应是研究半导体材料性能的基本方法。通过霍尔效应实验测定的霍尔系数,能够判断半导体材料的导电类型、载流子浓度及载流子
    锦正茂科技 2024-12-10 11:07 64浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 本文介绍Linux系统(Ubuntu/Debian通用)挂载exfat格式U盘的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。修改对应的内核配置文件# 进入sdk目录cdrk3562_linux# 编辑内核配置文件vi./kernel-5.10/arch/arm64/configs/rockchip_linux_defconfig注:不清楚内核使用哪个defc
    Industio_触觉智能 2024-12-10 09:44 90浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 73浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 66浏览
  • 肖特基具有很多的应用场景, 可以做同步整流,防止电流倒灌和电源反接等,但是随着电源电流的增大,肖特基导通正向压降0.3~0.7v的劣势也越发明显,产生了很多的热,对于工程师的散热设计是个考验,增加了工程师的设计难度和产品成本,目前一种新的理想二极管及其控制器,目前正在得到越来越广泛的应用- BMS,无人机,PLC,安防,家电,电动工具,汽车等都在快速普及理想二极管有三种架构,内置电荷泵的类似无锡明芯微MX5050T这种,驱动能力会弱点,静态功耗200uA,外置电荷泵MX74700T的这种驱动能力
    王萌 2024-12-10 08:51 85浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
  •         在有电流流过的导线周围会感生出磁场,再用霍尔器件检测由电流感生的磁场,即可测出产生这个磁场的电流的量值。由此就可以构成霍尔电流、电压传感器。因为霍尔器件的输出电压与加在它上面的磁感应强度以及流过其中的工作电流的乘积成比例,是一个具有乘法器功能的器件,并且可与各种逻辑电路直接接口,还可以直接驱动各种性质的负载。因为霍尔器件的应用原理简单,信号处理方便,器件本身又具有一系列的du特优点,所以在变频器中也发挥了非常重要的作用。  &nb
    锦正茂科技 2024-12-10 12:57 76浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦