NVIDIA利用2D图像生成3D模型，可直接导入3D引擎

爵士乐的精髓在于即兴演奏， NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天，图形创作者可以使用快速创建出的 3D 物体，来一场即兴表演。

这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎，并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。

?

NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周，关于 3D MoMa 的论文将在 CVPR 上发表。

?

基于 2D 图像创建 3D 物体

?

逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。NVIDIA 图形学研究副总裁 David Luebke 表示：“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”

?

他表示：“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件，然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体，且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”

?

为了使艺术家或工程师能够充分利用 3D 物体，其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式，就是此类 3D 工具使用的通用语言。

三角网格是用于定义 3D 图形和建模形状的基本框架。

游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体，这需要耗费大量的时间和精力。近期的神经辐射场（Neural Radiance Fields）研究可以快速生成物体或场景的 3D 模型，但并不是使用易于编辑的三角网格形式。

?

当在单个 NVIDIA Tensor Core GPU 上运行时， NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。

?

流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它，开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理，就像人的皮肤一样。NVIDIA 3D MoMa 通过对场景光线进行估算，使创作者能够在日后修改物体上的照明。

?

为虚拟爵士乐队调校乐器

?

为了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）的约 100 张图片。

?

NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示，并以网格形式呈现。然后， NVIDIA 团队将这些乐器从原始场景中取出，并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

在任何传统图形引擎中，创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质，就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法，将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后，创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。

?

这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。