解码NVIDIARTXAIPC和工作站如何协同云计算来强效助力生成式AI

英伟达NVIDIA中国 2024-06-27 18:20


生成式 AI 为 Windows 应用和游戏带来了各种新功能。它为无脚本、动态的 NPC 提供动力,助力创作者生成新颖的艺术作品,并帮助游戏玩家将帧率提升高达 4 倍。但这些不过是冰山一角。


随着生成式 AI 的功能和使用场景不断增加,相关计算需求也水涨船高。


混合式 AI 将 NVIDIA RTX 的端侧 AI 加速与云端的可扩展 GPU 相结合,可有效且高效地满足 AI 工作负载的需求。


混合式 AI,鱼与熊掌兼得


随着 AI 的普及,应用开发者正在寻找各种可行的部署方式:在 RTX GPU 上本地运行的 AI 兼具高性能和低延迟,即使在离线情况下也可随时使用。另一方面,在云端运行的 AI 能够运行规模更大的模型并且可以跨多个 GPU 进行扩展,还可以同时为多个用户提供服务。在许多情况下,一个应用程序会同时使用这两种方式部署的服务。


混合式 AI 组合与协调本地 PC 和工作站的算力与云的扩展能力。它可以根据特定使用场景、成本和性能要求灵活优化 AI 工作负载,帮助开发者确保 AI 任务在其特定应用场景下最合适的设备上运行。


无论 AI 是在本地还是在云端运行,它都可以通过 NVIDIA GPU 和 NVIDIA 的 AI 技术栈(包括 TensorRT 和 TensorRT-LLM)进行加速。这意味着我们可以减少无谓的等待时间,并可为用户提供更多的先进 AI 功能。


这一系列 NVIDIA 工具和技术可为创作者、游戏玩家和开发者的混合式 AI 工作流提供支持。


理想的云端应用由 RTX 实现


生成式 AI 已经证明它能够为艺术家的创作提供灵感,加速设计,启发构思。此类解决方案包括 iStock 推出的云端生成式 AI,这是一项由 NVIDIA Edify 驱动的生成式摄影图片服务,专为艺术家打造。另一方面,艺术家也为该生成式 AI 的模型训练贡献了各种授权内容,而做出贡献的艺术家也会因此获得报酬。


iStock 的生成式 AI 不仅可以用于图像生成,还可以为艺术家提供丰富的工具,以便他们探索各种风格和变化,修改图像的某个部分或扩展画布。借助这些工具,艺术家可以快速完成多次概念设计,并将创意转变为现实方案。


创意概念准备完成后,艺术家就可以将其转移到本地设备上。RTX 助力的 PC 和工作站可在超过 125 款热门创意应用中为艺术家提供 AI 加速,帮助他们最大化实现自己的创意愿景:无论是使用本地 AI 工具在 Photoshop 中创建令人惊叹的艺术作品,在 DaVinci Resolve 中使用视差效果为图像制作动画,还是使用光线追踪加速在 Blender 中借助参考图像构建 3D 场景,亦或是使用 Optix 进行 AI 降噪。


云端 ACE 让 NPC 栩栩如生


混合式 AI 还通过 NVIDIA ACE 实现了交互式 PC 游戏的新高度,让游戏开发者和数字创作者能够将先进的生成式 AI 模型集成到 RTX AI PC 上的数字虚拟形象中。


NVIDIA ACE NIM 由 AI 神经网络提供支持,让开发人员和设计师创建能够理解并响应人类玩家文本和语音的非玩家角色(NPC)。NVIDIA ACE NIM 可利用 AI 模型(包括语音转文本模型)来处理人类语音输入,以便 NPC 实时生成回应。



在这些新技术的加持下,NPC 的回应将不再受限于预定义的脚本。ACE NIM 既可以在 RTX GPU 设备上本地运行,也可以部署在云端,基于各种计算选项实现动态、逼真的交互。


可灵活部署的混合式开发者工具


混合式 AI 还可以帮助开发者构建和调整新的 AI 模型。NVIDIA AI Workbench 可帮助开发者在 RTX GPU 上快速创建、测试和定制预训练生成式 AI 模型和 LLM。数据科学家和开发者可通过 NVIDIA AI Workbench 简化对 Hugging Face、GitHub 和 NVIDIA NGC 等热门仓库的访问,并且能够通过简化的用户界面轻松地复现、协作和迁移项目。



当有额外的性能需求时,项目还可轻松扩展至数据中心(无论是公有云还是 NVIDIA DGX Cloud),之后部署到 PC 或工作站上的本地 RTX 系统进行推理和轻量定制。数据科学家和开发者可以利用预先构建的 Workbench 项目,使用检索增强生成(RAG)与文档交互,使用微调功能自定义 LLM,通过流畅的 CPU 到 GPU 转换加速数据科学工作负载等等。


混合式 RAG Workbench 项目提供可自定义的 RAG 应用,以便开发者自主运行和调整。他们可以在本地对文档进行向量化,并在本地 RTX 系统或托管在 NVIDIA API Catalog 上的接入点运行推理,或使用 NVIDIA NIM 微服务。开发者可以调整混合式 RAG Workbench 项目,以便使用各种模型、接入点和容器。他们还可以通过该项目量化要在所选 GPU 上运行的模型。


NVIDIA GPU 可在 NVIDIA GeForce RTX PC 和 RTX 工作站本地以及云端为各种出色的 AI 解决方案提供支持。借助不断发展的混合式 AI 工作流,创作者、游戏玩家和开发者可以充分发挥本地和云端的强大能力。



点击 “阅读原文”,或扫描下方海报二维码即可观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2024 开幕前带来的现场主题演讲中文字幕版,一同揭开新工业革命序幕!


评论
  • 《高速PCB设计经验规则应用实践》+PCB绘制学习与验证读书首先看目录,我感兴趣的是这一节;作者在书中列举了一条经典规则,然后进行详细分析,通过公式推导图表列举说明了传统的这一规则是受到电容加工特点影响的,在使用了MLCC陶瓷电容后这一条规则已经不再实用了。图书还列举了高速PCB设计需要的专业工具和仿真软件,当然由于篇幅所限,只是介绍了一点点设计步骤;我最感兴趣的部分还是元件布局的经验规则,在这里列举如下:在这里,演示一下,我根据书本知识进行电机驱动的布局:这也算知行合一吧。对于布局书中有一句:
    wuyu2009 2024-11-30 20:30 122浏览
  • 戴上XR眼镜去“追龙”是种什么体验?2024年11月30日,由上海自然博物馆(上海科技馆分馆)与三湘印象联合出品、三湘印象旗下观印象艺术发展有限公司(下简称“观印象”)承制的《又见恐龙》XR嘉年华在上海自然博物馆重磅开幕。该体验项目将于12月1日正式对公众开放,持续至2025年3月30日。双向奔赴,恐龙IP撞上元宇宙不久前,上海市经济和信息化委员会等部门联合印发了《上海市超高清视听产业发展行动方案》,特别提到“支持博物馆、主题乐园等场所推动超高清视听技术应用,丰富线下文旅消费体验”。作为上海自然
    电子与消费 2024-11-30 22:03 98浏览
  • 遇到部分串口工具不支持1500000波特率,这时候就需要进行修改,本文以触觉智能RK3562开发板修改系统波特率为115200为例,介绍瑞芯微方案主板Linux修改系统串口波特率教程。温馨提示:瑞芯微方案主板/开发板串口波特率只支持115200或1500000。修改Loader打印波特率查看对应芯片的MINIALL.ini确定要修改的bin文件#查看对应芯片的MINIALL.ini cat rkbin/RKBOOT/RK3562MINIALL.ini修改uart baudrate参数修改以下目
    Industio_触觉智能 2024-12-03 11:28 84浏览
  • TOF多区传感器: ND06   ND06是一款微型多区高集成度ToF测距传感器,其支持24个区域(6 x 4)同步测距,测距范围远达5m,具有测距范围广、精度高、测距稳定等特点。适用于投影仪的无感自动对焦和梯形校正、AIoT、手势识别、智能面板和智能灯具等多种场景。                 如果用ND06进行手势识别,只需要经过三个步骤: 第一步&
    esad0 2024-12-04 11:20 50浏览
  • RDDI-DAP错误通常与调试接口相关,特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法: 1. 硬件连接问题:     检查调试器(如ST-Link)与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接,没有松动或短路。 2. 电源问题:     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题: &n
    丙丁先生 2024-12-01 17:37 100浏览
  • 学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&
    youyeye 2024-11-30 14:30 78浏览
  • 艾迈斯欧司朗全新“样片申请”小程序,逾160种LED、传感器、多芯片组合等产品样片一触即达。轻松3步完成申请,境内免费包邮到家!本期热荐性能显著提升的OSLON® Optimal,GF CSSRML.24ams OSRAM 基于最新芯片技术推出全新LED产品OSLON® Optimal系列,实现了显著的性能升级。该系列提供五种不同颜色的光源选项,包括Hyper Red(660 nm,PDN)、Red(640 nm)、Deep Blue(450 nm,PDN)、Far Red(730 nm)及Ho
    艾迈斯欧司朗 2024-11-29 16:55 174浏览
  • 最近几年,新能源汽车愈发受到消费者的青睐,其销量也是一路走高。据中汽协公布的数据显示,2024年10月,新能源汽车产销分别完成146.3万辆和143万辆,同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看,比亚迪再度夺得了销冠宝座,其10月新能源汽车销量达到了502657辆,同比增长66.53%。众所周知,比亚迪是新能源汽车领域的重要参与者,其一举一动向来为外界所关注。日前,比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8,该款车型一上市就迅速吸引了消费者的目光,成为SUV
    刘旷 2024-12-02 09:32 119浏览
  • 概述 说明(三)探讨的是比较器一般带有滞回(Hysteresis)功能,为了解决输入信号转换速率不够的问题。前文还提到,即便使能滞回(Hysteresis)功能,还是无法解决SiPM读出测试系统需要解决的问题。本文在说明(三)的基础上,继续探讨为SiPM读出测试系统寻求合适的模拟脉冲检出方案。前四代SiPM使用的高速比较器指标缺陷 由于前端模拟信号属于典型的指数脉冲,所以下降沿转换速率(Slew Rate)过慢,导致比较器检出出现不必要的问题。尽管比较器可以使能滞回(Hysteresis)模块功
    coyoo 2024-12-03 12:20 108浏览
  • 作为优秀工程师的你,已身经百战、阅板无数!请先醒醒,新的项目来了,这是一个既要、又要、还要的产品需求,ARM核心板中一个处理器怎么能实现这么丰富的外围接口?踌躇之际,你偶阅此文。于是,“潘多拉”的魔盒打开了!没错,USB资源就是你打开新世界得钥匙,它能做哪些扩展呢?1.1  USB扩网口通用ARM处理器大多带两路网口,如果项目中有多路网路接口的需求,一般会选择在主板外部加交换机/路由器。当然,出于成本考虑,也可以将Switch芯片集成到ARM核心板或底板上,如KSZ9897、
    万象奥科 2024-12-03 10:24 68浏览
  • 11-29学习笔记11-29学习笔记习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-02 23:58 71浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 120浏览
  •         温度传感器的精度受哪些因素影响,要先看所用的温度传感器输出哪种信号,不同信号输出的温度传感器影响精度的因素也不同。        现在常用的温度传感器输出信号有以下几种:电阻信号、电流信号、电压信号、数字信号等。以输出电阻信号的温度传感器为例,还细分为正温度系数温度传感器和负温度系数温度传感器,常用的铂电阻PT100/1000温度传感器就是正温度系数,就是说随着温度的升高,输出的电阻值会增大。对于输出
    锦正茂科技 2024-12-03 11:50 106浏览
  • 当前,智能汽车产业迎来重大变局,随着人工智能、5G、大数据等新一代信息技术的迅猛发展,智能网联汽车正呈现强劲发展势头。11月26日,在2024紫光展锐全球合作伙伴大会汽车电子生态论坛上,紫光展锐与上汽海外出行联合发布搭载紫光展锐A7870的上汽海外MG量产车型,并发布A7710系列UWB数字钥匙解决方案平台,可应用于数字钥匙、活体检测、脚踢雷达、自动泊车等多种智能汽车场景。 联合发布量产车型,推动汽车智能化出海紫光展锐与上汽海外出行达成战略合作,联合发布搭载紫光展锐A7870的量产车型
    紫光展锐 2024-12-03 11:38 101浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦