基于NeRF的三维内容生成

来源：深蓝学院《基于NeRF的三维内容生成》张凯

三维内容

从图片中生成 三维内容【人工耗费时间、精力】 => 通过计算机辅助手段来自动生成

图片：非常容易获得 => 反渲染 生成三维内容

计算机图形学：如何去生成高质量的渲染图像
计算机视觉：给定图片 => 反渲染生成计算机图形学中所需要的三维内容【可以改变光照，插入物体等等】

反渲染的三个要素

1.形状表征

Triangle Mesh、Point Cloud、Occupancy field、Signed distance filed
不同形状表征可能会决定解决问题的难度【不同的优化方法】

2.外观

左边将材料和光照分开表征【理想情况，可以换光照，编辑材质，但非常难解（涉及到图形学中的渲染过程）】，右边将材料和光照打包到一起【无法很好编辑，把物体放到新的环境里观察它的外观，】

---

反渲染相对于三维重建，关键的是differentiable，2D->3D->2D
三维重建是反渲染的一个特例，三维重建原本不focus渲染质量。

---

3.渲染过程 【优化】

Ray tracing rendering: 追踪光线的传播过程，对图像中穿过每一个pixel的光线方向颜色分布进行加权求和的过程=>得到像素的颜色

NeRF

右图：深度图质量非常高

Soft Shape: 像雾一样，在空间中每一部分都出现一点，不像固体物体一样只占空间的一小部分。

成功因素：
1.形状表征 【软形状表征（雾状）】
2.外观 【材料和光照】
3.渲染过程 【函数都是可微的】


右边的几何细节可能不够好 【NeRF缺点】

之前用神经网络的工作不够好 =>选择了硬表征方式（eg. Triangle Mesh）

选择软形状成功的原因：

缺点：光线上每一个点都predict颜色=>Expensive

=》证明软形状的有效性，没有神经网络仍然可以实现比较好的渲染
没有神经网络（evaluation很慢），对于每个像素的光线都要去querry

初期引入神经网络来进行场景表示：
另一个问题：神经网络有special bias，倾向于拟合smooth shape=> 引入了一种map $Y$

五种场景：

1. 360 没有背景，只有前景
2. 只在很小范围内移动相机
3. 全景拍摄模式
4. 在房间里拿着手机随便拍【相机分布更加不规则】
5. 360in和outforward的场景，既想重建前景又想重建背景

局部or总体 有一个trade off (a) 把点都选在前景上 (b) 把点分别分在前景后景中
有resolution问题

NeRF++

画球形式处理前景后景

这种wrapping的性质可以很好的解决分辨率问题：空间受到挤压




NeRF本身有很好的composition的性质

NeRF目前还无法在实时在线设备上运行，还无法很好地支持编辑。

NeRF采样频率对应pixel大小
NeRF核心假设: 物体是静态的

锯齿问题出现在降采样时，和图像采样频率有关。

奈奎斯特频率问题