英伟达这篇CVPR 2022 Oral火了！2D图像秒变逼真3D物体！虚拟爵士乐队来了！

图1. "活灵活现"的虚拟乐器还是在 NVIDIA 服务器房间里面"尽情"般表演

上述演示的 Demo 技术是被称为 "NVIDIA 3D MoMa"，此技术可以让游戏开发者、建筑师、设计师等快速将目标物导入图形引擎，并对其进行处理：修改大小、改变材料或不同的照明效果。这项研究大大节省了内容创作者产出成果所需的时间和精力。

主页：

https://nvlabs.github.io/nvdiffrec/

论文（已支持下载）：

https://nvlabs.github.io/nvdiffrec/assets/paper.pdf

代码（已开源）：

https://github.com/NVlabs/nvdiffrec

本文提出了一种 2D 多视图图像到 3D 重建的新工作，即一种从多视图图像观察中联合优化拓扑、材料和照明的高效可逆渲染（inverse rendering）方法，其能够从多视图图像中提取具有空间变化材料和环境照明的未知拓扑的三角形网格（triangle meshes），并可以在任何传统和现代图形引擎中部署。

方法框架