来源:图灵人工智能
北京时间今天凌晨,AI学者、斯坦福大学教授李飞飞公布了她的第一个创业项目。这是一个能用单张图片、一句话生成3D世界的神奇项目。生成式 AI,从此进入了3D化、完全沉浸式的新时代。
只用一张图生成的 3D 世界会有多精细?World Labs 表示,效果是这样的:
这里是更多效果展示:
此前,我们已经见证了一系列会制作 2D 内容的生成式 AI 工具,它们可以输出图像或视频。相比之下,生成 3D 内容的方法并不多见。直接生成 3D 内容可以提高对内容的控制力和一致性,这将改变我们制作电影、游戏、模拟器和其他物理世界数字表现的方式。
英伟达高级研究科学家、李飞飞高徒Jim Fan总结道,「GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照;Sora是2D+时间维度的快照;而World Labs是3D、完全沉浸式的快照」。
的确,当我们把 AI 生成的内容提升到 3D 物体层面上之后,「想象力」与可操作性终于得到了统一,这就为以后的无数应用打开了大门。
在 World Labs 的博客中,团队展示了他们如何探索 3D 生成式世界,并在浏览器中实时呈现,包括相机效果、3D 效果和经典绘画。
下面展示了由奇幻图片和日常照片生成的 3D 世界一些官方示例。
一旦场景生成完,之后会使用虚拟相机在浏览器中实时渲染。精确控制该相机可实现艺术摄影效果。
可以模拟景深,只有距离相机一定距离的物体才能聚焦:
还可以模拟滑动变焦,同时调整摄像机的位置和视野:
大多数生成模型预测像素,但预测 3D 场景有很多优势:
可视化 3D 场景的最简单方法是绘制深度图,其中每个像素都按其与摄像头的距离着色:
我们可以利用 3D 场景结构来构建交互效果:
还可以构建特效,让场景活跃起来:
走进世界名画
World generation 还有一个应用方式:体验标志性艺术作品。这里是根据梵高、霍珀、修拉和康定斯基的最爱作品生成的,模型没有生成原画之外的任何东西。
一间充满活力的卡通风格的青少年卧室,里面有一张铺着彩色毯子的床,一张杂乱的桌子,上面有一台电脑,墙上贴着海报,还有散落的运动装备。一把吉他靠在墙上,中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。