NVIDIA NIM 微服务可为来自 NVIDIA 及其合作伙伴生态系统的数十种热门 AI 模型优化推理。
NVIDIA NIM 微服务提供基于 NVIDIA 推理软件的预构建容器，包括 Triton 推理服务器和 TensorRT-LLM，使开发者能够将部署时间从几周缩短至几分钟。它们为语言、语音和药物发现等领域提供行业标准 API，使开发者能够使用安全托管在自己的基础设施中的专有数据，来快速构建 AI 应用。这些应用可按需扩展，从而为在 NVIDIA 加速计算平台上运行生产级生成式 AI 提供灵活性并确保性能。
NVIDIA NIM 微服务为部署来自 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及来自谷歌、Hugging Face、Meta、微软、Mistral AI 和 Stability AI 的开放模型提供了快速且性能出色的生产级 AI 容器。