SIGGRAPH2024|揭秘NVIDIA最新RTX助力的工具和应用如何帮助开发人员加速AI在个人电脑和工作站上的发展

原创 英伟达NVIDIA中国 2024-08-05 21:02

在 SIGGRAPH 大会上发布的更新包括 ChatRTX 更新和 Llama 3 支持,用以增强 AI 内容创作、生产力和开发。



NVIDIA 在 SIGGRAPH 大会上重点展示了最新 NVIDIA RTX 赋能的工具和应用程序,该大会是图形与 AI 交叉领域的年度大展。


这些 AI 科技提供了先进的光线追踪和渲染技术,可在游戏、虚拟现实、动画和影视级特效中实现超写实的图形和身临其境的体验。RTX AI 个人电脑和工作站正在助力推动未来的交互式数字媒体、内容创作、生产力以及开发工作。


ACE 的 AI 魔法


在 SIGGRAPH 炉边谈话中,NVIDIA 创始人兼首席执行官黄仁勋介绍了 “James” —— 一款基于 NVIDIA NIM 微服务构建的交互式数字人,该角色展现了 AI 驱动用户交互的潜力。


James 是一个使用 NVIDIA ACE 技术开发的客户服务工作流虚拟助手,可以通过表情、幽默和上下文准确的响应与人类沟通。很快用户将可以通过访问 ai.nvidia.com,与 James 进行实时互动。



NVIDIA 还介绍了用于远程呈现的 NVIDIA Maxine AI 平台的最新进展,以及正在使用 NVIDIA ACE 技术的公司。NVIDIA ACE 是一套通过生成式 AI 让数字人栩栩如生的技术。这些技术通过 AI 模型实现数字人类的开发,涵盖语音和翻译、视觉、智能、逼真的动画和行为,以及栩栩如生的外观。


Maxine 拥有两项可增强远程呈现场景下数字人体验的 AI 技术:Maxine 3D 和 Audio2Face-2D。


开发者可以利用 Maxine 和 ACE 技术,为用户打造更具吸引力、更自然的数字界面交互体验,适用于客户服务、游戏和其他互动场景。这些先进技术将大大提升用户体验,让数字互动更加生动有趣,仿佛与真人对话一般。


借助先进的 AI 技术,NVIDIA ACE 技术允许开发者设计能够实时响应用户的虚拟形象,具备逼真的动画、语音和情感表现。这些虚拟形象将为用户带来更加真实和互动的体验。RTX GPU 可提供必要的计算能力和图形保真度,以令人惊艳的细节和流畅性渲染 ACE 虚拟形象。


随着技术的不断进步和日益广泛的采用,ACE 正在为构建虚拟世界树立新的标杆并激发了各行各业的创新。开发人员利用基于 RTX GPU 的 ACE 技术,可以构建更加身临其境的应用程序和先进的、基于 AI 的交互式数字媒体体验。


RTX 更新为创作者带来 AI 艺术


NVIDIA GeForce RTX 个人电脑和 NVIDIA RTX 工作站正通过 GPU 加速获得升级,为用户提供增强的 AI 内容创作体验。

对于视频编辑人员来说,RTX Video HDR 现在可通过万兴科技旗下视频创意软件万兴喵影和 DaVinci Resolve 使用。有了这项技术,用户可以将任何内容转化为高动态范围视频,在明暗场景中都能呈现更丰富的色彩和更多的细节,因此是游戏、旅行或活动视频制作的理想选择。将 RTX Video HDR 与 RTX 视频超分辨率相结合,通过消除编码伪影和增强细节,可进一步提高视觉质量。


RTX Video HDR 需要将 RTX GPU 连接到兼容 HDR 10 的显示器或电视上。使用搭载 RTX GPU 的个人电脑用户,可以将文件导入到万兴喵影桌面端应用程序,继续通过本地 RTX 加速进行编辑,并在 GeForce RTX 4070 Ti 或更强 GPU 上借助双编码器使导出速度提高一倍。流行媒体播放器 VLC 在 6 月新增了对 RTX 视频超级分辨率和 RTX Video HDR 的支持,增加了 AI 增强视频播放功能。


如需了解更多信息,可通过以下链接参阅本博客中关于 RTX 赋能的视频编辑部分以及 RTX 视频常见问题解答。

https://nvidia.custhelp.com/app/answers/detail/a_id/5448/~/rtx-video-super-resolution-faq


进一步了解万兴喵影经 AI 赋能后的功能:

https://filmora.wondershare.net/ai-features.html?gad_source=1&gclid=CjwKCAjwnK60BhA9EiwAmpHZw62RpoOFbNoF1rHGVNbssHFgXqQygDzHwp_isBqCFRmYHx-0xE5gwxoCsUQQAvD_BwE


此外,3D 艺术家获得了更多简化和增强工作流的 AI 应用和工具,包括 Replikant、Adobe、Topaz 和 Getty Images 等。


Replikant 作为人工智能辅助 3D 动画平台,目前正在集成一项 ACE 技术 NVIDIA Audio2Face,以改进唇部同步和面部动画。通过利用 NVIDIA 加速生成模型,用户可以享受到由 RTX 和 NVIDIA DLSS 技术增强的实时视觉效果。Replikant 现已登陆 Steam 平台。


Adobe Substance 3D Modeler 增添了基于形状检索资产库的功能,这一由 AI 赋能的功能旨在根据即有 3D 形状来简化复杂形状的替换和增强。这项新功能大大加快了原型设计的速度,并增强了设计工作流。


Adobe Substance 3D 中的新 AI 功能集成了先进的生成式 AI 功能,增强了其纹理和材质创建工具。Adobe 首次将 Firefly 生成式 AI 功能集成到 Substance 3D Sampler 和 Stager 中,使工业设计师、游戏开发人员和视觉效果专业人员的三维工作流更加无缝和高效。


通过文本生成纹理和提示词描述等功能,Substance 3D 用户可以生成逼真或风格化的纹理。这些纹理之后便可直接应用于 3D 模型。新的文本生成纹理和生成式背景功能显著加快了传统上耗时且复杂的 3D 纹理绘制和合成的速度。


在 NVIDIA RTX Tensor Core 的支持下,Substance 3D 能够大大加快计算速度,并可实现更直观、更具创造性的设计流程。这项开发以 Adobe 的创新为基础,在 Substance 3D 工作流中借助 Firefly 进行了 Creative Cloud 升级。


Topaz AI 引入了 NVIDIA TensorRT 加速多 GPU 工作流程,使得多 GPU 并行处理成为可能,大幅提升渲染速度——使用两块 GPU 比单块 GPU 系统快达 2 倍,并且随着 GPU 数量的增加,速度还会进一步提升。


Getty Images 更新了其 Generative AI by iStock 服务,增加了新功能以改进图像生成和质量。在 NVIDIA Edify 模型的加持下,其最新的增强功能可使生成四张图像的时间达到六秒左右,比前代模型的性能提高了一倍,速度处于行业领先水平。改进后的文本生成图像(Text-2-Image)和图像生成图像(Image-2-Image)功能提供了更高质量的结果,并且更好地符合用户的提示词要求。


Generative AI by iStock 用户现在还可以指定摄像头设置,如焦距(窄、标准或宽)和景深(近或远)等。通过改进的生成式 AI 超分辨率技术,图像质量得到了显著提升。该技术使用 AI 创建新的像素,大幅提高分辨率,同时避免过度锐化图像。


令人惊叹的 LLM AI


ChatRTX 是一种将 ChatGLM 这类大语言模型(LLM)连接到用户数据的技术演示,用于快速查询笔记、文档或图片。其目前正在进行 UI 改进,以提供更简洁、更完美的体验。


ChatRTX 还是一个开源参考项目,向开发人员展示如何通过 RTX 加速构建功能强大的本地检索增强(RAG)应用。



发布的最新版 ChatRTX 采用了 Electron+Material UI 框架,使开发人员可以更轻松地添加他们自己的 UI 元素或扩展新功能。这次更新还包括一个新的架构,该架构不仅简化了不同 UI 的集成,还简化了在 ChatRTX 后端应用程序编程接口基础上构建新聊天和 RAG 应用的过程。


最终用户可从 ChatRTX 网页下载最新版的 ChatRTX。开发人员可在 ChatRTX GitHub 代码库中找到新版本的源代码。


Meta Llama 3.1-8B 模型现已针对 NVIDIA GeForce RTX PC 和 NVIDIA RTX 工作站的推理进行了优化。这些模型由 NVIDIA TensorRT-LLM(一款可加速 LLM 推理性能的开源软件)提供原生支持。


戴尔的 AI 聊天机器人:

利用 RTX Rocket Fuel


戴尔展示了企业如何利用 NVIDIA AI Workbench 和基于 Llama 3 的 NVIDIA NIM 微服务,通过优化的 RAG 聊天机器人来推动 AI 开发。借助 NVIDIA AI Workbench Hybrid RAG 项目,戴尔展示了如何利用聊天机器人与企业数据的本地向量数据库的进行对话,并以下列三种方式之一进行推理:


  • 在本地 Hugging Face TGI 服务器上

  • 在云端使用 NVIDIA 推理端点

  • 在自托管的 NVIDIA NIM 微服务上


请通过以下链接了解更多关于 AI Workbench Hybrid RAG 项目的信息。

https://developer.nvidia.cn/zh-cn/blog/optimize-ai-model-performance-and-maintain-data-privacy-with-hybrid-rag/


HP AI Studio:

利用 CUDA-X 和 Galileo 加速创新


惠普在 SIGGRAPH 大会上展示了集中式数据科学平台 Z by HP AI Studio。AI Studio 于 2023 年 10 月发布,目前借助最新的 NVIDIA CUDA-X 资源库以及惠普最近与生成式 AI 信任层公司 Galileo 的合作得到了增强。主要优势包括:


  • 更快地部署项目:快速配置、连接和共享本地及远程项目。

  • 轻松协作:轻松访问和共享数据、模板和实验。

  • 自由工作:选择在何处处理数据,在在线和离线模式之间轻松切换。


AI Studio 旨在提高生产力和简化 AI 开发,让数据科学团队专注于创新。


可通过以下链接申请提前访问 AI Studio。

https://reinvent.hp.com/LP=10935


Stable Diffusion 的 RTX 速度大增


Stable Diffusion 3.0 是 Stability AI 的最新模型,经 TensorRT 优化后速度提高了 60%。



一项针对 Stable Diffusion 3 进行性能优化的 NIM 微服务目前可通过访问 ai.nvidia.com 进行预览。



点击“阅读原文”,或扫描下方海报二维码,观看 NVIDIA 创始人兼 CEO 黄仁勋和 Meta 创始人兼 CEO 马克·扎克伯格在 SIGGRAPH 2024 上就 AI 领域新突破进行的炉边谈话。

评论
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 238浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 210浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 122浏览
  • 临近春节,各方社交及应酬也变得多起来了,甚至一月份就排满了各式约见。有的是关系好的专业朋友的周末“恳谈会”,基本是关于2025年经济预判的话题,以及如何稳定工作等话题;但更多的预约是来自几个客户老板及副总裁们的见面,他们为今年的经济预判与企业发展焦虑而来。在聊天过程中,我发现今年的聊天有个很有意思的“点”,挺多人尤其关心我到底是怎么成长成现在的多领域风格的,还能掌握一些经济趋势的分析能力,到底学过哪些专业、在企业管过哪些具体事情?单单就这个一个月内,我就重复了数次“为什么”,再辅以我上次写的:《
    牛言喵语 2025-01-22 17:10 175浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 320浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 194浏览
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 319浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 658浏览
  • 故障现象 一辆2007款日产天籁车,搭载VQ23发动机(气缸编号如图1所示,点火顺序为1-2-3-4-5-6),累计行驶里程约为21万km。车主反映,该车起步加速时偶尔抖动,且行驶中加速无力。 图1 VQ23发动机的气缸编号 故障诊断接车后试车,发动机怠速运转平稳,但只要换挡起步,稍微踩下一点加速踏板,就能感觉到车身明显抖动。用故障检测仪检测,发动机控制模块(ECM)无故障代码存储,且无失火数据流。用虹科Pico汽车示波器测量气缸1点火信号(COP点火信号)和曲轴位置传感器信
    虹科Pico汽车示波器 2025-01-23 10:46 70浏览
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 134浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 158浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 145浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 203浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 586浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦