深度学习分类网络--Network in Network

深度学习分类网络总结

1. AlexNet
2. VGGNet
3. Network in Network

---

前言

Network in Network中提出了两个重要的思想，分别为：

• 1×1卷积实现跨通道信息交互，增加非线性表达
• 结合增强的局部建模，可以用全局平均池化替代全连接层，更具解释性，减轻过拟合

这两点被后来的Inception系列网络、ResNet和CAM可视化技术所借鉴。

1. 网络结构

网络结构比较简洁，由三个mlpconv层和一个全局平均池化层组成。所谓的mlpconv在实现的时候就是3×3卷积+两个1×1卷积。

2. 要点

2.1 mlpconv

ZFNet中使用可视化技术揭示了特征图中的激活值对应一些潜在概念（类别信息），激活值越大，对应输入patch中包含潜在概念的概率越大。当潜在概念线性可分时，传统的线性卷积+非线性激活的模式能够鉴别，但是潜在概念的置信度通常是输入的高度非线性函数。因此，论文中提出使用micro network来代替线性卷积+非线性激活，以增强局部潜在概念建模。作者使用多层感知机（MLP）作为micro network的实例化，因为MLP是一个通用的函数逼近器和一个可通过反向传播训练的神经网络，基于MLP建立的micro network被命名为mlpconv。

这里引用一下这篇博客中的一张图，一目了然，我觉得能够清晰地解释Mlpconv层。

2.2 全局平均池化

在NIN中没有采用传统的全连接层进行分类，而是通过全局平均池化层直接输出最后一个mlpconv层的特征映射的平均值作为类别的置信度，然后将得到的向量输入softmax层。这样做有两个好处：

• 可解释性更强：类别信息是直接由特征图全局平均池化所得，加强了特征映射和类别之间的对应关系；(CAM可视化技术中借鉴了该思想)
• 避免过拟合：全局平均池化本身是一个结构正则化器，可以防止对整体结构的过拟合。

参考资料

[1] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.
[2] 【论文精读】Network In Network（1*1 卷积层代替FC层 global average pooling）