研究生新生培训第三周：ResNet+ResNeXt

PART 1：视频学习

一、ResNet

        1.ResNet网络创新点

        2.ResNet结局的问题

        3.ResNet-34网络结构

        4.ResNet网络结构

        5.Residual结构

        分别在层数较低的ResNet和深层ResNet使用的网络结构

        Residual计算原理：

        

         6.网络训练结果

        在普通神经网络，越深层的网络反而表现出的效果越差

        ResNet:

        

二、Batch Nomalization        

        BN的作用为够加速网络的收敛并提升准确率，目的是使每一个batch的feature map满足均值为0，方差为1的分布规律   

三、迁移学习

        1.迁移学习的优势

     

        2.常见的迁移学习方式

四、ResNeXt

        1.进行分组卷积

        最主要的不同就是在ResNet的基础上加入了分组卷积，进一步减少了参数量

                2.网络结构

        卷积block结构:

                

PART 2：代码实验

一、实验过程

        1.引入模块

        2.超参数设定

        3.数据预处理

         4.载入数据

        5.实例化模型

        6.训练，测试

        训练：

         测试：

        学习率调整：

        训练：

        输出csv文件：

二、实验问题

        在做神经网络训练的时候主要使用在本机搭建的pytorch平台，由于电脑显卡功能不理想，batch_size和epoch等参数都不能设置过大，大数据集和大参数模型训练常常爆显存。

实验效果不理想，由于网络问题一直没使用colab，在下一周着重解决一下实验平台问题，重新训练ResNet网络，获得比较好的实验结果。

PART 3：问题回答

        1.Residual learning

                解决了深层网络中梯度爆炸/梯度消失和精度下降（训练集中）的问题，加深了神经网络深度。

        2.Batch Normalization

                BN的作用为够加速网络的收敛并提升准确率，目的是使每一个batch的feature map满足均值为0，方差为1的分布规律 .

        3.为什么分组卷积可以提升准确率？即然分组卷积可以提升准确率，同时还能降低计算量，分数数量尽量多不行吗？

                (1)减少参数量，计算量，可以训练更深层的网络

                (2)尽可能多分组为DW卷积，容易割裂各个特征图中的特征关系，导致效果不好

                (3)应根据模型和计算量选择合适的卷积方式和参数设定