捕捉3D内容的新方法Gaussiansplatting正在席卷增强现实/虚拟现实行业

Image: Cath Virginia / The Verge, Getty Images

高斯散点（Gaussian splatting），一种捕捉3D内容的新方法，正在席卷增强现实（AR）/虚拟现实（VR）行业——并且有朝一日可能让任何人都能创建逼真的3D世界。

Gaussian splatting，这是一种不到两年前发明的新型3D捕捉方法，并且已经在科技行业掀起了风暴。Niantic和谷歌都在利用它来构建各自的地图产品；Snap已经在其Lens Studio开发者平台上增加了对散点（这是对用高斯散点法捕捉到的物体的通俗叫法）的支持，而Meta想要利用高斯散点法创建一个看起来就像现实世界的元宇宙。

科技公司热衷于高斯散点技术，因为它能够逼真地捕捉并数字重现三维物体。它可能很快就会让任何人都能够扫描整个房间，并改变好莱坞及其他地方的创意人员录制3D视频的方式。当与生成式人工智能相结合时，它不仅有潜力保存现有空间，还有可能将我们传送到全新的3D世界。

“这是一个巨大的变革者，”增强现实（AR）/虚拟现实（VR）专家兼投资者Tipatat Chennavasin说道。作为Venture Reality Fund的联合创始人兼普通合伙人，Chennavasin在这项技术的成功中有经济利益。作为一个极客和曾经的3D艺术家，他已经爱上了这项技术，将其比作《星际迷航》（Star Trek）中的全息甲板（holodeck），全息甲板能让船员进入真实和虚构空间的全息3D模拟场景。

一次一个散点，构建世界的3D地图

即使是在手机上进行3D物体捕捉也不是什么新鲜事了。然而，之前的大多数尝试都依赖多边形，如果你使用过移动增强现实（AR）应用程序，就会看到那种三角形、看起来很有赛博朋克风格的网格。

基于多边形网格的3D捕捉和重建对于表面平整的基本物体来说已经足够了，但在处理细节纹理和复杂光照时就会比较吃力。用这种方式捕捉到的物体往往看起来像塑料，不真实，而且3D捕捉到的人物看起来总是像抹了太多发胶，而不是一根根的头发。“当时这种技术很有前景，但一直存在巨大的局限性，”Chennavasin说。

这一切在2023年夏天发生了改变，当时一群欧洲科学家发表了一篇关于他们称之为“3D高斯散点（3D Gaussian splatting）”的论文。他们解决问题的方法是摒弃网格，而是将3D物体捕捉为一系列模糊、半透明的斑点（也被称为高斯体）的集合。

这些斑点中的每一个都被精确地捕捉到其颜色、位置、大小、旋转角度和透明度等信息——当你把数百万个这样的斑点组合起来时，由于所有这些额外的数据，你就能得到一个3D物体更详细的图像，而且还能呈现出从任何给定角度看到的样子。通过使用机器学习，他们能够以更高的保真度捕捉到有更多细节的物体，并且不需要大型图形渲染设备就能实时渲染它们。

该领域的专家们立刻被这个成果震撼了。“我们终于有机会拥有真正逼真的3D效果了，”Chennavasin说，“这是空间计算领域的JPEG（图像格式变革）时刻。”

Niantic公司名工程高级副总裁Brian McClendon认为，高斯散点是3D图形领域30多年来最深刻的进步。“我们将其视为一种根本性的变革，”他说。