NVIDIA培训|学习5门NVIDIANIM课程，掌握部署高性能AI模型的技巧

原创英伟达NVIDIA中国 2024-12-06 18:04

【应用手册】TI 全新MCU及C29内核的能源设施应用方案 如何增强能源基础设施的实时控制？

NVIDIA NIM™ 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的预构建容器工具，目的是帮助企业客户在云，数据中心和工作站上安全，可靠地部署高性能的 AI 模型推理。它支持各种 AI 模型，包括开源社区模型和 NVIDIA AI 模型，可确保利用行业标准 API 在本地或云端进行无缝、可扩展的 AI 推理。

NVIDIA 深度学习培训中心（DLI）发布 5 门 NIM 在线自主培训课程，帮助开发者快速掌握 NIM 的基础知识和高级技巧，提升在大规模部署 LLM 和 RAG 工作流、优化系统性能以及开发 AI 应用方面的专业技能，更高效地利用 NIM 技术，助力企业级客户加速 AI 模型的部署和开发，提高业务效率和安全性，满足多样化的业务需求。

5 门 NVIDIA NIM 在线自主培训课程发布

1. 《NVIDIA NIM 入门》

（免费课程）

课程时长和语言：2 学时 | 英文

课程概要：
NVIDIA NIM™ 是一套易于使用的微服务，它能帮助我们在云端、数据中心和工作站上，安全可靠地部署高性能 AI 模型推理。旨在加速企业的 AI 部署，并支持各种优化的公开 AI 模型。本课程介绍 NIM 的重要概念，帮助开发人员理解 NIM 如何实现 AI 应用的构建、部署和扩展。
学习目标：

描述 NIM 的主要功能。
执行 NIM 的自托管部署。
使用 NIM 构建检索增强生成（RAG）AI 聊天机器人。
发现并探索用 NIM 构建的创新 AI 应用。

2. 《规模化部署 LLM 推理系统》

（免费课程）

课程时长和语言：4 学时 | 英文
课程概要：
在不断发展的人工智能领域，优化和高效部署模型对于大语言模型（LLM）至关重要。本课程将全面介绍如何使用 NIM 来提高模型性能。通过动手实验，学员将探索流式处理、预填充和解码技术，在吞吐量和延迟之间进行权衡，并了解张量并行和实时批处理（in-flight batching）。学员还将学习如何对模型进行基准测试，选择适当的推理超参数，以确保在实际场景中能够高效扩展。本课程适合那些希望加深对模型部署和优化的理解，实现规模化部署和资源策略的人工智能从业人员。
学习目标：

了解使用 NVIDIA NIM 优化和部署模型的技术。
亲身体验流、预填充和解码等领域基础知识。
权衡 LLM 推理过程中的吞吐量和延迟。
检查输入/输出长度、张量并行性和批量大小对性能的影响。
建立 TensorRT-LLM 中实时批处理、KV 缓存和分块预填充的直觉。
了解如何在多 GPU/多节点环境中有效扩展模型并评估效率。
学习评估和推断现有基准，获得部署见解。
掌握使用 GenAI-Perf 对模型进行可靠基准测试的技能。
根据特定用例选择最合适的推理超参数。
对交付 LLM 资源的内部部署与外部云解决方案进行成本/效益分析。

3. 《使用 NVIDIA NIM 大规模部署 RAG 工作流》

课程时长和语言：4 学时 | 中文

课程概要：
检索增强生成（RAG）工作流正在改变现代企业运营的方方面面。网上无数教程都演示了如何构建一个简单的 RAG 应用，但它们通常都无法应对巨大的流量和大规模文档。

本课程将为您补上这个重要的环节，探讨生产级部署的最佳实践。从基础设施搭建，到基于 Helm 端到端部署 NVIDIA NIM，再到各个组件的定制。我们将一步一步带领您掌握如何将早期概念验证项目转化为企业级部署。
学习目标：

使用 Helm 和 NVIDIA RAG Operator 将 RAG 应用部署到 Kubernetes 集群上。
利用 NVIDIA NIM 实现可扩展的容器化 LLM 和嵌入模型。
连接、更新、添加和自动扩展应用组件。
使用 Prometheus 和 Grafana 监控应用性能。

4. 《提高 RAG 系统性能的关键技术》

课程时长和语言：3 学时 | 中文
课程概要：
检索增强生成（RAG）系统在商业应用中展现出巨大潜力，但简单地将向量数据库检索器与通用大语言模型（LLM）配对的朴素方法很少能产生高质量的结果。我们将涵盖混合检索器（用多个较小的微调专家模型而非单一大型通用模型）以及一个能决策为 RAG 添加哪些组件的认知框架。还会介绍如何在每次迭代设计变更时评估 RAG 的性能，用 human-as-a-judge 和 LLM-as-a-judge 来衡量这些技术相对于朴素 RAG 的影响。

使用本课程学到的经验，您将能够构建出满足严肃场景需求的基于 LLM 的 RAG 应用。
学习目标：

构建一个真实的、生产级别的搜索和总结 RAG 应用。
创建并部署几个协作的微服务，管理 RAG 应用的各类需求。
采用多种分块技术，以最佳方式为 RAG 应用准备数据。
使用 human-as-a-judge 和 LLM-as-a-judge 评估您的 RAG 工作流性能。

学习以上课程 1-4

访问 NIM 系列课程合集

请扫描如下二维码或点击文末“阅读原文”
课程内容丰富，电脑端学习体验更佳

5. 《使用 NVIDIA NIM 开发 AI 背景生成器》

（免费课程）

课程时长和语言：2 学时 | 英文

课程概要：
学习创建基于 Omniverse Kit 的人工智能应用程序的过程。通过使用 Omniverse 扩展、NIM 和 Python 代码，创建从文本输入生成背景的扩展。

通过学习，您将能够开发自己的生成式 AI 扩展程序，完成各种任务，并在 Omniverse 应用程序中添加或开发 NIM 或 API。
学习目标：