解码NVIDIARTXAIPC和工作站如何协同云计算来强效助力生成式AI

英伟达NVIDIA中国 2024-06-27 18:20


生成式 AI 为 Windows 应用和游戏带来了各种新功能。它为无脚本、动态的 NPC 提供动力,助力创作者生成新颖的艺术作品,并帮助游戏玩家将帧率提升高达 4 倍。但这些不过是冰山一角。


随着生成式 AI 的功能和使用场景不断增加,相关计算需求也水涨船高。


混合式 AI 将 NVIDIA RTX 的端侧 AI 加速与云端的可扩展 GPU 相结合,可有效且高效地满足 AI 工作负载的需求。


混合式 AI,鱼与熊掌兼得


随着 AI 的普及,应用开发者正在寻找各种可行的部署方式:在 RTX GPU 上本地运行的 AI 兼具高性能和低延迟,即使在离线情况下也可随时使用。另一方面,在云端运行的 AI 能够运行规模更大的模型并且可以跨多个 GPU 进行扩展,还可以同时为多个用户提供服务。在许多情况下,一个应用程序会同时使用这两种方式部署的服务。


混合式 AI 组合与协调本地 PC 和工作站的算力与云的扩展能力。它可以根据特定使用场景、成本和性能要求灵活优化 AI 工作负载,帮助开发者确保 AI 任务在其特定应用场景下最合适的设备上运行。


无论 AI 是在本地还是在云端运行,它都可以通过 NVIDIA GPU 和 NVIDIA 的 AI 技术栈(包括 TensorRT 和 TensorRT-LLM)进行加速。这意味着我们可以减少无谓的等待时间,并可为用户提供更多的先进 AI 功能。


这一系列 NVIDIA 工具和技术可为创作者、游戏玩家和开发者的混合式 AI 工作流提供支持。


理想的云端应用由 RTX 实现


生成式 AI 已经证明它能够为艺术家的创作提供灵感,加速设计,启发构思。此类解决方案包括 iStock 推出的云端生成式 AI,这是一项由 NVIDIA Edify 驱动的生成式摄影图片服务,专为艺术家打造。另一方面,艺术家也为该生成式 AI 的模型训练贡献了各种授权内容,而做出贡献的艺术家也会因此获得报酬。


iStock 的生成式 AI 不仅可以用于图像生成,还可以为艺术家提供丰富的工具,以便他们探索各种风格和变化,修改图像的某个部分或扩展画布。借助这些工具,艺术家可以快速完成多次概念设计,并将创意转变为现实方案。


创意概念准备完成后,艺术家就可以将其转移到本地设备上。RTX 助力的 PC 和工作站可在超过 125 款热门创意应用中为艺术家提供 AI 加速,帮助他们最大化实现自己的创意愿景:无论是使用本地 AI 工具在 Photoshop 中创建令人惊叹的艺术作品,在 DaVinci Resolve 中使用视差效果为图像制作动画,还是使用光线追踪加速在 Blender 中借助参考图像构建 3D 场景,亦或是使用 Optix 进行 AI 降噪。


云端 ACE 让 NPC 栩栩如生


混合式 AI 还通过 NVIDIA ACE 实现了交互式 PC 游戏的新高度,让游戏开发者和数字创作者能够将先进的生成式 AI 模型集成到 RTX AI PC 上的数字虚拟形象中。


NVIDIA ACE NIM 由 AI 神经网络提供支持,让开发人员和设计师创建能够理解并响应人类玩家文本和语音的非玩家角色(NPC)。NVIDIA ACE NIM 可利用 AI 模型(包括语音转文本模型)来处理人类语音输入,以便 NPC 实时生成回应。



在这些新技术的加持下,NPC 的回应将不再受限于预定义的脚本。ACE NIM 既可以在 RTX GPU 设备上本地运行,也可以部署在云端,基于各种计算选项实现动态、逼真的交互。


可灵活部署的混合式开发者工具


混合式 AI 还可以帮助开发者构建和调整新的 AI 模型。NVIDIA AI Workbench 可帮助开发者在 RTX GPU 上快速创建、测试和定制预训练生成式 AI 模型和 LLM。数据科学家和开发者可通过 NVIDIA AI Workbench 简化对 Hugging Face、GitHub 和 NVIDIA NGC 等热门仓库的访问,并且能够通过简化的用户界面轻松地复现、协作和迁移项目。



当有额外的性能需求时,项目还可轻松扩展至数据中心(无论是公有云还是 NVIDIA DGX Cloud),之后部署到 PC 或工作站上的本地 RTX 系统进行推理和轻量定制。数据科学家和开发者可以利用预先构建的 Workbench 项目,使用检索增强生成(RAG)与文档交互,使用微调功能自定义 LLM,通过流畅的 CPU 到 GPU 转换加速数据科学工作负载等等。


混合式 RAG Workbench 项目提供可自定义的 RAG 应用,以便开发者自主运行和调整。他们可以在本地对文档进行向量化,并在本地 RTX 系统或托管在 NVIDIA API Catalog 上的接入点运行推理,或使用 NVIDIA NIM 微服务。开发者可以调整混合式 RAG Workbench 项目,以便使用各种模型、接入点和容器。他们还可以通过该项目量化要在所选 GPU 上运行的模型。


NVIDIA GPU 可在 NVIDIA GeForce RTX PC 和 RTX 工作站本地以及云端为各种出色的 AI 解决方案提供支持。借助不断发展的混合式 AI 工作流,创作者、游戏玩家和开发者可以充分发挥本地和云端的强大能力。



点击 “阅读原文”,或扫描下方海报二维码即可观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2024 开幕前带来的现场主题演讲中文字幕版,一同揭开新工业革命序幕!


评论
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球中空长航时无人机产值达到9009百万美元,2024-2030年期间年复合增长率CAGR为8.0%。 环洋市场咨询机构出版了的【全球中空长航时无人机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球中空长航时无人机总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析中空长航时无人机市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从中空长航时
    GIRtina 2025-01-09 10:35 25浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 100浏览
  • 在过去十年中,自动驾驶和高级驾驶辅助系统(AD/ADAS)软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而,目前仍缺乏能够高质量集成多传感器数据采集的解决方案。康谋ADTF正是应运而生,它提供了一个广受认可和广泛引用的软件框架,包含模块化的标准化应用程序和工具,旨在为ADAS功能的开发提供一站式体验。一、ADTF的关键之处!无论是奥迪、大众、宝马还是梅赛德斯-奔驰:他们都依赖我们不断发展的ADTF来开发智能驾驶辅助解决方案,直至实现自动驾驶的目标。从新功能的最初构思到批量生
    康谋 2025-01-09 10:04 26浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2025-01-09 09:58 28浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 92浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 80浏览
  • 1月7日-10日,2025年国际消费电子产品展览会(CES 2025)盛大举行,广和通发布Fibocom AI Stack,赋智千行百业端侧应用。Fibocom AI Stack提供集高性能模组、AI工具链、高性能推理引擎、海量模型、支持与服务一体化的端侧AI解决方案,帮助智能设备快速实现AI能力商用。为适应不同端侧场景的应用,AI Stack具备海量端侧AI模型及行业端侧模型,基于不同等级算力的芯片平台或模组,Fibocom AI Stack可将TensorFlow、PyTorch、ONNX、
    物吾悟小通 2025-01-08 18:17 33浏览
  • 在智能网联汽车中,各种通信技术如2G/3G/4G/5G、GNSS(全球导航卫星系统)、V2X(车联网通信)等在行业内被广泛使用。这些技术让汽车能够实现紧急呼叫、在线娱乐、导航等多种功能。EMC测试就是为了确保在复杂电磁环境下,汽车的通信系统仍然可以正常工作,保护驾乘者的安全。参考《QCT-基于LTE-V2X直连通信的车载信息交互系统技术要求及试验方法-1》标准10.5电磁兼容试验方法,下面将会从整车功能层面为大家解读V2X整车电磁兼容试验的过程。测试过程揭秘1. 设备准备为了进行电磁兼容试验,技
    北汇信息 2025-01-09 11:24 26浏览
  • 一个真正的质量工程师(QE)必须将一件产品设计的“意图”与系统的可制造性、可服务性以及资源在现实中实现设计和产品的能力结合起来。所以,可以说,这确实是一种工程学科。我们常开玩笑说,质量工程师是工程领域里的「侦探」、「警察」或「律师」,守护神是"墨菲”,信奉的哲学就是「墨菲定律」。(注:墨菲定律是一种启发性原则,常被表述为:任何可能出错的事情最终都会出错。)做质量工程师的,有时会不受欢迎,也会被忽视,甚至可能遭遇主动或被动的阻碍,而一旦出了问题,责任往往就落在质量工程师的头上。虽然质量工程师并不负
    优思学院 2025-01-09 11:48 31浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 150浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 82浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦