深度学习(自监督:MoCo v2)——Improved Baselines with Momentum Contrastive Learning

前言

这篇文章是何凯明老师团队的文章，作者发现SimCLR一文中提到的trick在MoCo上依然有效。

关于MoCo，可以浏览我的上一篇文章：链接

具体而言

• encoder的输出会经过一个线性fc层处理，将该fc层替换为SimCLR中的两层MLP（隐藏层为2048维，使用ReLU激活函数）具体性能如下图所示
  
  $T$为InfoNCE中的温度超参数，一个简单的替换操作就可以将性能提升最多6%，确实很让人惊讶。
• 使用SimCLR中的模糊数据增强，SimCLR中的color distortion数据增强会损害MoCo的性能。

对比学习完毕后，MoCo V2在图像分类、目标检测上的性能如下图

看来对于对比学习而言，一些trick操作可以很大程度提升模型性能。