【论文阅读】Mean teachers are better role models

下载

1. 摘要

最近提出的Temporal Ensembling在几个半监督学习基准中取得了最先进的结果。它维护每个训练示例的标签预测的EMA，并惩罚与此目标不一致的预测。然而，由于目标每个 epoch 只改变一次，因此在学习大型数据集时，Temporal Ensembling变得笨拙。为了克服这个问题，我们提出了 Mean Teacher，这是一种平均模型权重而不是标签预测的方法。作为一个额外的好处，Mean Teacher 提高了测试的准确性，并且可以使用比 Temporal Ensembling 更少的标签进行训练。

2. 前置知识

在阅读完论文摘要的同时，同时也伴随着懵逼，原因无非是缺少了这个领域的前置知识。这个小节主要就是介绍我在理解论文过程中补充了解的前置知识。

2.1. Temporal Ensembling

我们可以先翻译成时间集成，摘要中的第一句是在致敬前辈的发现，所以这个是state of art提出的。想要具体了解这篇论文中的知识点，可以看完之前的博客。

2.2. EMA

EMA(exponential moving average)，也叫指数移动平均，是时间序列分析中常用到的一种类型平均值。简单来说，EMA就是一个加权平均值。其中，它的一个重要的特点是随着时间的流逝，旧的观察值会呈现指数衰减。等式1，表示的是EMA的递推公式，详情可以参见博客。

$$S_t=\{\begin{array}{ll}{S}_0,& t=1\\ (1-\alpha )S_{t-1}+\alpha X_t,& t\ge 2\end{array}\text{\hspace{1em}(1)}$$

3. 算法描述

本文提出算法创新是基于前一篇论文的，主要的改动是对一致性代价，这个可以理解为无监督损失。本文的算法本质上是维护两个模型，Teacher and Student，将相同输入通过两个模型的输出做二范数运算的结果作为无监督损失。$\Pi$ model中本质上只维护了一个模型，只是会有Dropout。$TemporalEnsembling$也只维护了一个模型，只是将模型在每个epoch的输出做EMA。本文比较直接，直接维护两个模型，将两个模型的参数做EMA,宏观上可以看作是一个模型将自身经验传授给了另外一个模型，论文中描述为Mean Teacher 。