论文精度 —— 2017 CVPR《High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis》

总述

和上一篇blog一样，这篇论文很大程度上也借鉴了开山之作《Context Encoders: Feature Learning by Inpainting》的思想，使用encoder-decoder结构进行图片的生成，但是之前的这篇论文有很大的缺陷，其中较为明显的不足就是补全的结果较为模糊（纹理上技术较差），而且输入图像的规模固定，为128*128，且不能处理高分辨率的图像（请注意，对于上下文编码器，高分辨率结果是通过从低分辨率输出直接上采样获得的。）。鉴于此，这篇paper创新地提出了多尺度的神经补丁，既进行内容的学习，也进行纹理的学习，最后形成一个内容和纹理都较为出色的模型。
注：这个思想和同年发表在ACM顶会上的《Globally and Locally Consistent Image Completion》有异曲同工之妙，它这篇paper的核心创新是利用CE的生成器，创新地提出两个鉴别器，全局的和局部的，其实就是全局上考虑内容填充的正确性，局部上（空白区域和周围的一小部分）考虑纹理，可以理解为细节的契合度。

一、方法详述

1. 网络结构

网络分类两部分：（1）内容生成网络（将图像的中心缺失的方形掩码用平均像素颜色进行填充后输入进网络）；（2）纹理生成网络，内容生成网络采用开山之作的CE生成器方法，纹理生成网络采用使用ImageNet预训练好的VGG-19.
在纹理生成网络中使用relu3_1和relu4_1层来计算纹理。