GTC21 | 像魔法一样：NVIDIA Merlin 在训练和推理方面获得采用

英伟达NVIDIA中国 2021-04-16 00:00

示波器品牌知多少？ 示波器的最低带宽多少？

互联网变得越来越个性化，在 NVIDIA 的 GPU AI 平台上运行 —— 推动了 Snap、Postmates 和腾讯的发展。

推荐程序可以使互联网个性化。它们推荐视频、美食、运动鞋和广告，这些东西在了解您的品味和兴趣方面似乎具有神奇的洞察力。

它是一种 AI，使在线体验更加愉快和高效，快速导航至您希望了解的内容。在为您提供喜欢的内容的同时，它还投放牛仔裤的诱人广告，或者推荐适合您的午夜舒适菜肴。

但并非所有的推荐系统都能处理数据需求，做出更明智的建议。这导致训练速度变慢，互联网用户体验不够直观。

NVIDIA Merlin 可提升推荐程序，促进训练和判断。媒体、娱乐和按需交付领域的领导者使用开源推荐框架在 GPU 上运行加速深度学习。改进推荐可以提高点击率、购买率和满意度。

Merlin 加速推荐程序

NVIDIA Merlin 使各种类型的企业都能够构建由 NVIDIA GPU 加速的推荐程序。

它的收藏库包括用于构建基于深度学习的系统的工具，该系统提供比传统方法更好的预测并增加点击量。管道的每个阶段都经过优化，支持数百 TB 的数据，所有数据都可以通过易于使用的 API 访问。

Merlin 正在与全球数百家公司进行测试。社交媒体和视频服务正在对它就下一次观看和广告提供建议的能力进行评估。主要按需应用程序和零售商也将焦点放在它在购买新物品方面提供建议的能力。

带有 Snap 的视频

借助 Merlin，Snap 通过将内容和广告排名提高 60%，同时降低基础设施成本，改善了客户体验，缩短了加载时间。使用 GPU 和 Merlin 可为 Snap 提供额外的计算能力，以探索更复杂、更准确的排名模型。这些改进使 Snap 能够以更低的成本提供更吸引人的体验。

腾讯：点击广告

中国领先的在线视频媒体平台使用 Merlin HugeCTR 通过相关和吸引人的广告，帮助连接超过 5 亿的每月活跃用户。在如此庞大的数据集下，训练速度至关重要，并决定了推荐程序模型的性能。腾讯利用 Merlin 部署了其实时训练，并且在相同的 GPU 平台上，将原始 TensorFlow 解决方案的速度加快了 7 倍以上。腾讯在其 GTC 发布会上更深入地探讨了这一点。

Postmates Food Picks

Merlin 旨在简化和支持推荐程序工作流程。Postmates 使用推荐程序帮助人们决定晚餐吃什么。Postmates 利用 Merlin NVTabular 优化训练时间，将 CPU 上的训练时间从 1 小时缩短至 GPU 上的 5 分钟。

该公司使用 NVTabular 进行功能工程，将训练成本降低了 95%，并正在探索更先进的深度学习模型。Postm ates 在其 GTC 发布会上更深入地探讨了这一点。

Merlin 大规模简化推荐程序工作流程

由于 Merlin 具有可互操作性，因此可灵活加速推荐程序工作流程管道。

Merlin 推荐引擎的开放测试版在数据加载和深度学习系统的培训方面实现了飞跃。

NVTabular 通过加速 GPU 功能转换和预处理来减少数据准备时间。NVTabular 使将海量数据湖加载到训练管道变得更加容易，它获得了多 GPU 支持，并提高了与 TensorFlow 和 PyTorch 的互操作性。

Merlin 的训练魔法

Merlin HugeCTR 是主要的训练组件。它专为训练深度学习推荐系统而设计，并配有自己的优化数据加载器，大大优于一般的深度学习框架。HugeCTR 提供一个标准数据阅读器，用于理解 NVTabular 预处理数据。 HugeCTR 是一个深度神经网络训练框架，专门为推荐程序工作流程设计，能够跨多个 GPU 和节点进行分布式训练，以实现最高性能。

NVIDIA Triton 推理服务器加速 GPU 上的产品推理，用于功能转换和神经网络执行。