当前位置:网站首页>基于NeRF的三维内容生成
基于NeRF的三维内容生成
2022-07-07 10:33:00 【Nismilesucc】
来源:深蓝学院《基于NeRF的三维内容生成》张凯
三维内容
从图片中生成 三维内容【人工耗费时间、精力】 => 通过计算机辅助手段来自动生成
图片:非常容易获得 => 反渲染 生成三维内容
计算机图形学:如何去生成高质量的渲染图像
计算机视觉:给定图片 => 反渲染生成计算机图形学中所需要的三维内容【可以改变光照,插入物体等等】
反渲染的三个要素
1.形状表征
Triangle Mesh、Point Cloud、Occupancy field、Signed distance filed
不同形状表征可能会决定解决问题的难度【不同的优化方法】
2.外观
左边将材料和光照分开表征【理想情况,可以换光照,编辑材质,但非常难解(涉及到图形学中的渲染过程)】,右边将材料和光照打包到一起【无法很好编辑,把物体放到新的环境里观察它的外观,】
反渲染相对于三维重建,关键的是differentiable,2D->3D->2D
三维重建是反渲染的一个特例,三维重建原本不focus渲染质量。
3.渲染过程 【优化】
Ray tracing rendering: 追踪光线的传播过程,对图像中穿过每一个pixel的光线方向颜色分布进行加权求和的过程=>得到像素的颜色
NeRF
右图:深度图质量非常高
Soft Shape: 像雾一样,在空间中每一部分都出现一点,不像固体物体一样只占空间的一小部分。
成功因素:
1.形状表征 【软形状表征(雾状)】
2.外观 【材料和光照】
3.渲染过程 【函数都是可微的】
右边的几何细节可能不够好 【NeRF缺点】
之前用神经网络的工作不够好 =>选择了硬表征方式(eg. Triangle Mesh)
选择软形状成功的原因:
缺点:光线上每一个点都predict颜色=>Expensive
=》证明软形状的有效性,没有神经网络仍然可以实现比较好的渲染
没有神经网络(evaluation很慢),对于每个像素的光线都要去querry
初期引入神经网络来进行场景表示:
另一个问题:神经网络有special bias,倾向于拟合smooth shape=> 引入了一种map Y Y Y
五种场景:
- 360 没有背景,只有前景
- 只在很小范围内移动相机
- 全景拍摄模式
- 在房间里拿着手机随便拍【相机分布更加不规则】
- 360in和outforward的场景,既想重建前景又想重建背景
局部or总体 有一个trade off (a) 把点都选在前景上 (b) 把点分别分在前景后景中
有resolution问题
NeRF++
画球形式处理前景后景
这种wrapping的性质可以很好的解决分辨率问题:空间受到挤压
NeRF本身有很好的composition的性质
NeRF目前还无法在实时在线设备上运行,还无法很好地支持编辑。
NeRF采样频率对应pixel大小
NeRF核心假设: 物体是静态的
锯齿问题出现在降采样时,和图像采样频率有关。
奈奎斯特频率问题
边栏推荐
- Common knowledge of one-dimensional array and two-dimensional array
- [爬虫]使用selenium时,躲避脚本检测
- Tutorial on the principle and application of database system (011) -- relational database
- How much does it cost to develop a small program mall?
- [pytorch practice] write poetry with RNN
- Configure an encrypted web server
- EPP+DIS学习之路(2)——Blink!闪烁!
- leetcode刷题:二叉树19(合并二叉树)
- ps链接图层的使用方法和快捷键,ps图层链接怎么做的
- NPM instal reports agent or network problems
猜你喜欢
Financial data acquisition (III) when a crawler encounters a web page that needs to scroll with the mouse wheel to refresh the data (nanny level tutorial)
ps链接图层的使用方法和快捷键,ps图层链接怎么做的
AirServer自动接收多画面投屏或者跨设备投屏
[爬虫]使用selenium时,躲避脚本检测
【统计学习方法】学习笔记——提升方法
SQL lab 26~31 summary (subsequent continuous update) (including parameter pollution explanation)
EPP+DIS学习之路(1)——Hello world!
爱可可AI前沿推介(7.7)
[pytorch practice] write poetry with RNN
Airserver automatically receives multi screen projection or cross device projection
随机推荐
Object. Simple implementation of assign()
AirServer自动接收多画面投屏或者跨设备投屏
[pytorch practice] write poetry with RNN
IPv6 experiment
广州市召开安全生产工作会议
Aike AI frontier promotion (7.7)
Tutorial on principles and applications of database system (007) -- related concepts of database
[pytorch practice] image description -- let neural network read pictures and tell stories
【PyTorch实战】用PyTorch实现基于神经网络的图像风格迁移
How much does it cost to develop a small program mall?
How to use PS link layer and shortcut keys, and how to do PS layer link
免备案服务器会影响网站排名和权重吗?
EPP+DIS学习之路(1)——Hello world!
[statistical learning method] learning notes - support vector machine (I)
解决 Server returns invalid timezone. Go to ‘Advanced’ tab and set ‘serverTimezone’ property manually
On valuation model (II): PE index II - PE band
Niuke website
Simple network configuration for equipment management
H3C HCl MPLS layer 2 dedicated line experiment
Configure an encrypted web server