当前位置：网站首页>目标检测系列——Faster R-CNN原理详解

目标检测系列——Faster R-CNN原理详解

2022-07-05 07:10:00 【秃头小苏】

作者简介：秃头小苏，致力于用最通俗的语言描述问题
往期回顾：目标检测系列——开山之作RCNN原理详解目标检测系列——Fast R-CNN原理详解
近期目标：拥有10000粉丝
支持小苏：点赞、收藏、留言

文章目录

目标检测系列——Faster R-CNN原理详解

目标检测系列——Faster R-CNN原理详解

写在前面

前文我已经介绍过R-CNN、Fast R-CNN的原理，具体内容可以点击下面链接阅读。【注：阅读此篇之前建议对R-CNN和Fast R-CNN有一定的了解】

Faster R-CNN算是这个目标检测系列的最后一篇了，在速度和准确率上也相对达到了比较好的效果，所以还是非常重要的。后面可能会更新语义分割Mask RCNN，当然这都是后话啦。现在就和我一起来学学Faster R-CNN吧。

Faster R-CNN整体流程

不知大家是否还记得Fast R-CNN的流程？这里帮大家回忆一下，其步骤如下：

候选区域生成
完整图像输入网络，候选框投影到特征图得到特征矩阵
特征矩阵经ROI pooling层缩放至统一大小，后将特征图展平得到预测结果

那么Faster R-CNN相较于Fast R-CNN有什么要的改进呢？其实最主要的就是在Fast R-CNN中我们依旧是和R-CNN一样采用SS算法来生成候选框，而在Faster R-CNN中我们采用的是一种称为RPN（Region Proposal Network）的网络结构来生成候选框。其它部分基本和Fast R-CNN一致，所以我们可以将Faster R-CNN的网络看成两部分，一部分是RPN获取候选框网络结构，另一部分是Fast R-CNN网络结构，如下图所示：

倘若你是第一次看Faster R-CNN，看了这个图，我觉得你还是处于一个比较懵逼的状态。但是没有关系，这个图是论文中所给的，我贴在这里的主要目的是想让你大致知道Faster R-CNN的结构就好，那么灵魂一问——大致结构你知道了嘛？

其实呀，Faster R-CNN的结构和Fast R-CNN还是很像的，都会产生一些候选框，然后基于特征提取网络对这些候选框进行分类和回归操作，不同的是Fast R-CNN采用的是传统的SS算法提取候选框，而Faster R-CNN采用RPN网络来进行提取。

好了，Faster R-CNN整体流程部分就介绍这么多，你肯定还是存在着诸多疑惑，不用急，下面我们一步步的讲解。

想想这里还是再加点内容，见下图，其是Faster R-CNN较为详细的流程图，后文我也会按照这个结构为大家讲述，这样应该会更清晰点。

特征提取网络

特征提取网络结构如下图所示：

可以看到，对于一个P*Q大小的图片，我们先将其resize到特定的M*N大小，之后再送入特征提取网络。【注：这里图片尺寸没有加通道数，大家理解就好】

此外，可以看到图中的特征提取网络有13个卷积层，4个池化层，其实这个特征提取网络用到就是大名鼎鼎的VGG。【注：在VGG网络中有13个卷积层，5个池化层，这里丢弃了最后一个池化层】

对于VGG网络不熟悉的可以点击***了解详情。值得一提的是在VGG网络中，卷积采用的都是3*3的卷积核，卷积后特征图尺寸不变；而池化采用的是2*2的池化核，池化后特征图尺寸减半。也就是说，在上图的特征提取网络中，含有四个池化层，因此我们最终得到的特征图的尺寸是原来的 $\frac{1}{ {16}}$ ，即为 $\frac{M}{ {16}}*\frac{N}{ {16}}$ 。

还有一点也值得注意，即本次讲解的特征提取网络是VGG，我们一般称之为backbone（骨干网络）。这个backbone是可以根据需求更换的，像换成ResNet、MobileNet等等都是可以的。

RPN网络结构

RPN的网络结构如下：

图4.1 RPN网络结构

我们上一步已经得到了 $\frac{M}{ {16}}*\frac{N}{ {16}}$ 大小的特征图（Feature Map)【注：为方便后文叙述，现令 $W=\frac{M}{ {16}},H=\frac{N}{ {16}}$ 】，可以看到我们会对特征图分别进行路径①和路径②上的操作，其中路径①上的操作即为RPN网络结构。下面我们就来重点谈谈这个RPN网络结构。

首先我们先来明确RPN是用来干什么的？enmmm…，要是这个网络的作用现在还不知道的话那我前面真是白说了，有点失败。但是这一点再强调也不为过——RPN就是来提取候选框的！！！

那么RPN到底是怎么做的呢？首先，我们会用一个3*3的滑动窗口遍历刚刚得到的特征图，之后计算出滑动窗口中心点对应原始图像上的中心点，最后在原始图像每个中心点绘制9种anchor boxes 。【注：怎么由特征图的中心点坐标得到原图的中心点呢？——我们采用的是VGG骨干网络，原图和特征图尺寸相差16倍，因此只需要将特征图中心点坐标乘16即可；或者我们可以计算出中心点在特征图中的相对位置，进一步得到原图中心点位置】

我们需要在原图中绘制9中anchor，论文中给出三种尺度（128*128 、256*256 、512*512）和三种比例（1:1、1:2、2:1）一共9种anchor，说是由经验设计，其实我们在实现过程中是可以根据任务调整的，比如我们要检测的目标较小，那么就可以适当减小anchor的尺寸。特征图中心点到原图的大致映射关系图如下：

上文谈到使用3*3的滑动窗口遍历特征图，其实这就对应了图4.1路径①中的第一个3*3的卷积，卷积过程padding=1,stride=1。其中该卷积和原图生成anchor的对应关系如下图所示：可见经过这一步我们会在原图上生成许多许多的anchor，很明显这些anchor很多都是我们不需要的，后面就会对这些anchor进行取舍。

接下来我们看看经过3*3卷积后特征图的变化，因为采用的是卷积核k=3*3，p=1，s=1的卷积，所以卷积后特征图尺寸没有发生变化，这里说一下这个channel=512是由于VGG网络最后一层的输出通道数为512。

再来对照图4.1看看3*3的卷积后进行了什么操作？3*3卷积后由分别走路径③和路径④进行相关操作。其实路径③就是对刚刚得到的anchor进行分类（前景和背景），而路径④则是对anchor进行回归微调。

那么就分别来讲讲③和④，首先先来谈谈路径③。首先进行一个1*1的卷积，卷积核个数为18。如下图所示：

其实上图采用18个卷积核是很有讲究的。首先我们要知道的是路径③我们要做的是区分每个anchor是前景还是背景，即分成两个类别，而对于每个小方格都会在原图上生成9个anchor。这样2*9=18，得到的结果中每个小方块就代表原始图像中某个位置每个anchor是否为前景或背景的概率。为方便大家理解，抠出某个方格对18通道的数据进行解释，如下图所示：

1*1的卷积后，就进行了softmax层进行分类。【注：在softmax层前后都有一个reshape的操作，这是因为在编写代码时会对输入的格式有要求，这里大家可以先不关心，后面讲解代码时在叙述】 softmax层分类后我们会得到所有的正类的anchor（positive anchors）和负类的anchor（negative anchors）。

这里补充一下正负样本的选取规则：正样本有两个条件，第一：选取与真实框IOU最大的anchor；第二：选取与真实框IOU大于0.7的anchor。【注：其实大部分情况第二个条件都可以满足，但是防止存在一些极端情况设置了条件一】负样本的选取条件为与所有真实框IOU都小于0.3的anchor。

接着就来谈谈路径④，同样的，先是一个1*1的卷积，卷积核个数为36。如下图所示：

这里的36同样是有讲究的呀，因为在进行回归微调anchor的时候每个anchor需要四个参数，4*9=36，得到的结果中每个小方块就代表原始图像中某个位置每个anchor四个需要调整的参数。同样也画个图片帮助大家理解，如下：

接下来路径③和路径④在Proposal这步结合，这步是干什么的呢？其实呀，这一步就是综合了路径③和路径④中的信息，即分类结果和anchor框的回归参数，目的是得到更加精确的候选框（Region Proposal）。细心的同学可能还发现了proposal这步还有一个输入，即im_info，这个参数保存了一些图片尺寸变换的信息，像开始的resize，后面的池化等等。