NVIDIAEdify解密:帮助开发者创建自定义模型的技术,这些模型可基于其数据进行训练

英伟达NVIDIA中国 2024-09-04 17:31


内容生成器 — 无论是生成语言、2D 图像、3D 模型还是视频 — 为创意社区提供了各种工具,可更快将想象变为现实。


为帮助开发者构建这些新型生成式 AI 工具,NVIDIA 建立了 NVIDIA AI Foundry。它有助于公司使用 NVIDIA Edify 基于自己的已授权数据训练生成式 AI 模型。Edify 是一种多模态 AI 结构,可使用简单的文本提示生成图像、视频、3D 素材、360 度高动态范围成像和基于物理性质的渲染(PBR)材质。使用 AI Foundry,公司可以训练定制 AI 模型来生成上述任何素材。



Edify 的关键优势包括能够生成多种类型的内容、其卓越的训练效率(这便于它在基于更少的图像进行训练时生成高质量内容),及其调优模型以进行风格匹配或学习字符或对象的能力。



基于 NVIDIA AI Foundry 和 Edify 构建的服务范例之一为 Generative AI by Getty Images,一种可商用的生成式摄影服务。组合使用 AI Foundry 与 Edify,用户可以控制他们的训练数据集,从而创建符合其需求的模型。


为避免版权问题,Getty Images 使用 Edify 基于自己的已授权内容对该服务进行了训练,以确保数据集中不存在知名人物或产品。该公司还与贡献者分享部分利润,为对该模型做出贡献的创作者创造了新的收入来源。


使用 Edify 生成资产


可以对 Edify 进行训练,以生成各种图像类型,包括图像、3D 素材和 360 度 HDRi 环境光贴图。


Edify Image 可在约六秒内生成四张高质量 1K 图像,性能比之前的模型提高一倍。还可以通过生成式放大器添加其他细节,将图像转换为 4K 格式。


Getty Images 4K 图像生成使用安全商用创意库在 NVIDIA Edify 上进行训练。


得益于高级提示依从性,图像实现了高度可控,摄像头控制可指定焦距或场景深度,同时 ControlNets 将指导生成。ControlNets 包括 Sketch 和 Depth,前者允许用户提供要依从的草图或复制图像的构图,后者用于复制图像的构图。


也可以使用 Edify Image 来编辑图像。InPaint 允许用户在图像中添加或修改内容。Replace — 一个严格 InPaint — 可以更改衣服等细节。并且 OutPaint 可以扩大图像以匹配不同的宽高比。所有这些操作都可通过 Segment 进行简化,这是一项只需要一条文本提示即可遮罩对象的功能。


Edify 还可以创建艺术家级别的 3D 网格。这些网格采用基于四边形的清晰拓扑、高达 4K 的 PBR 材质和自动 UV 展开,便于更轻松地进行纹理编辑。快速预览模式可在短短 10 秒内提供结果,然后将其转换为完整的 3D 网格。


这类网格非常适合原型设计场景、为布景生成背景对象,或作为 3D 雕刻的开端。


Edify 360 HDRi 将生成自然景观环境图,可将其用于场景照明、反射甚至作为背景。该模型可根据文本或图像提示生成高达 16K 的 HDRi 图像。获得所需背板后,用户就可以创建自定义 HDRi 来进行匹配,而不必花费数小时寻找。


根据文本提示生成高动态范围 360 度全景图。


多模态功能为 Edify 所独有,能够实现组合不同素材类型的高级工作流。例如,与智能体结合使用时,Edify 允许用户在几分钟内使用简单的文本提示进行完整场景原型设计 — 就像在 NVIDIA 研究团队 SIGGRAPH 演示中那样,该演示展示了由 NVIDIA Edify 提供支持的模型和 NVIDIA Omniverse 平台的辅助性 3D 世界构建功能。



另一个用例是将 Edify 3D 和 360 HDRi 与 Image 结合起来使用,以便用户完全控制图像生成过程。通过以 3D 格式生成场景,艺术家可以四处移动物体并设定他们想要的镜头,然后使用 Edify Image 将原型转化为逼真的图像。



Generative AI by Getty Images


Getty Images 是创意视觉效果、编辑摄影、视频和音乐领域的大型内容服务提供商和供应商之一,也是人们最初搜寻、购买和分享来自世界上的优秀摄影师和录像师的精彩视觉内容的地方之一。


Getty Images 使用 NVIDIA AI Foundry 来训练 NVIDIA Edify Image 模型,以支持其生成式 AI 服务。该服务通过面向企业的 Generative AI by Getty Images 以及面向小型企业和业余创作者的 Generative AI by iStock 提供,允许用户使用由 NVIDIA Edify 提供支持的模型来生成和修改图像。


Generative AI by Getty Images(或 iStock)提供了一系列已授权内容。


Getty Images 和 iStock 最近已更新到最新版本的 Edify Image,以便更快生成内容,实现更高的提示依从性并公布摄像头控制。


已更新 Generative AI by Getty Images 中的摄像头控制。


用户现在还可以在预拍创意内容时使用生成式 AI 工具,这便于他们编辑和修改 iStock 的视觉效果库,以快速迭代和美化内容。这些相同的功能将于不久后在 Gettyimages.com 上发布。



GTC 2025 内容征集现已开放点击“阅读原文”,或扫描下方海报二维码即可提交。2025 年 3 月,在圣何塞向全世界分享您的成就。

评论
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 322浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 20浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 478浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 439浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 17浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 173浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 492浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 459浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 471浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 504浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 103浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 449浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦