20220524 backbone深度学习网络骨架

1、通常利用卷机网络处理输入图像生成深层的特征图，然后利用各种算法完成区域生成与损失计算，卷积网络就理解为backbone
2、vggnet

走向深度

alexnet 5*5

使用3*3卷积核，减少参数和计算量，并且重要的是使用两个3*3卷积核比起一个5*5增加了非线性能力，提高学习能力。

vgg简单高效，拓展性强，迁移到其他数据集泛化能力很好，现在很多检测和分割算法仍然采用vgg。

inception

纵横交错

使用1*1、3*3、5*5卷机核卷机池化获取不同特征图区域，拼接到一起。

后来用1*1卷积核降维，轻量化网络。

resnet

里程碑

普通网络拟合输出H(x),残差网络需要拟合变为F（x）=H(x) -x,相比于拟合H（x）,拟合F(x)更为容易。

densenet

继往开来

优势：

1>密集特殊网络，每一层都会接受其后所有层的梯度，而不是普通卷机链式的反传，一定程度解决了梯度消失问题
2>通过concatnate操作大量特征被复用，每层独有的特征图的通道较少，相比resnet，densenet参数更少，计算高效。

不足：

进行多次concatnate,数据多次复制，显存增加很快。比较特殊，resnet更为广泛。

FPN

特征金字塔

将深层的语义信息传到底层，补充浅层的语义信息，获得高分辨率、强语义特征，对小物体检测、实力分割有不俗表现。

自下而上：卷机池化下采样 C1-C5
自上而下：上采样，P5-P2,为了得到C5-C2相同特征，融合。

横向连接：上采样高语义信息和浅层定位细节特征融合。p4-p2

卷机融合：对上一步再进行融合，消除上采样重叠，生成最终特征图。

不足：

由于下采样较大，物体边缘难以预测，增加回归边界难度。

浅层语义信息弱，融合深层特征上采样操作增加物体检测难度。

Detnet

为检测而生

vgg、resnet 为分类而生。

分类任务侧重于全图的特征提取，深层的分辨率很低。

而物体检测需要定位物体位置，特征图分辨率不能过小。

所以引用空洞卷机，有较大感受野和较高分辨率，有利于物体定位。
3、各种层

卷积层：普通、

空洞卷机：

在不做pooling损失分辨率情况下，增大感受野。而且参数不变。

https://www.csdn.net/tags/MtTaAg4sMDMzMDY0LWJsb2cO0O0O.html
激活函数层：sigmoid、softmax

sigmoid、relu、leaky relu、softmax

池化层：最大值、平均值

dropout:防止过拟合

每个神经元以概率p保留
 

BN层：

去掉均值方差，固定每一层的输入分布要具有相同的均值和方差。

作用：
1>缓解梯度消失，加速收敛。可以让激活函数的输入数据落在非饱和区。而且每一层数据的均值和方差在一定的范围内
2>简化参数
3>防止过拟合 将每一个batch的均值和方差引入网络，两个值都不一样，增加噪音，防止过拟合。


模型稳定，防止过拟合
全连接层：分类
4、空洞卷积

增大感受野的同时，保持特征图不变，避免特征图缩小再放大上采样造成精度损失。
在不增加参数量前提下，增大感受野