自监督论文阅读笔记 S3Net：Self-supervised Self-ensembling Network for Semi-supervised RGB-D Salient Object Det

       通过利用未标记数据和探索一种自监督学习机制，提出了一种 用于半监督RGB-D显著目标检测的 自监督自集成网络（S3Net）。 

       具体而言，本文首先通过开发 一系列 三层跨模型特征融合（TCF）模块 来利用 深度和RGB模式之间的互补信息，并制定一个辅助任务来预测自监督的图像旋转角度，从而构建一个 自导卷积神经网络（SG-CNN）作为基线模型。然后，为了进一步探索来自未标记数据的知识，我们 将SGCNN分配给 学生网络和教师网络，并鼓励这两个网络的显著性预测和自监督旋转预测在未标记数据上保持一致。 

（self-ensembling，自集成，自己集成自己，仅从字面意思上看，需要融合多个结果，而对于神经网络，一个样本如果多次送入网络，能够产生多个模型预测结果，这些结果可以进行融合；同时在不同的batch训练之后，模型的参数也会发生变化，参数可以进行融合， 因此，self-ensembling的套路在于 集成模型预测结果或者模型参数。         另外一点，ensembling能够降低variance，但是不同epoch下的模型性能是不一致的，因此需要引入权重，模型应该降低最早时刻的权重，加大最近时刻的权重，这个可以通过滑动平均操作来处理；）

       Introduction：

               显著目标检测（SOD）旨在从单个输入图像中识别出视觉上最独特的目标。 虽然现有的方法取得了显著的效果，但它们通常 依赖于单个RGB /彩色图像或视频序列，但完全忽略了深度信息，而深度信息现在使用Kinect、RealSense和现代智能手机很容易获得。

               因此，从 RGB-D 输入（D表示深度图像）推断显著性信息引起了SOD领域的许多研究关注。 

               •  传统的RGB-D检测器 主要检测手工制作的先验，这会降低检测性能，因为这些启发式先验的假设并不总是正确的。 大多数只能在高质量和约束良好的图像上工作。 

               •  基于卷积神经网络（CNN）的RGB-D SOD检测器 是通过 学习RGB和深度模式的特征 并探索它们之间的互补信息而开发出来的。 根据用于多模型融合的网络流的数量，这些方法可以进一步分为两大类：单流检测器和双流检测器。

               基于CNN的方法主要依靠标记的训练数据从一对RGB-D输入中检测显著对象，因此在某些复杂情况下往往产生较差的结果。 因为标记数据是在有限的应用中收集的，仅针对这些标记数据进行训练的CNN 处理看不见照片的能力有限。

               与标记数据集相比，我们可以轻松地从各种场景中收集大量未标记的RGB-D图像。因此，非常需要利用额外的未标记数据和有限的标记数据来提高RGB-D显著性检测的性能。 

               本文首先设计了一种自导卷积神经网络（SGCNN），将自监督学习机制集成到多任务学习框架中，用于从RGB-D数据中检测显著对象。在SG-CNN中，开发了一组 三层跨模型特征融合（TCF）模块，用于 融合深度和RGB模式的CNN特征，并预测显著性图和图像旋转角度。

               然后，将开发的SG-CNN作为学生网络和教师网络，提出了标记数据的自监督两任务监督损失，计算为显著性预测和图像旋转角度预测损失的总和。 此外，我们强制 学生网络和教师网络的两个任务的结果 在所有未标记数据上分别保持一致。通过添加 SG-CNN的监督损失 和两个任务的一致性损失来训练模型，本文的网络可以比最先进的方法更准确地检测显著对象。 

       Contributions：

               • 同时探索未标记数据和自监督机制，开发了一个用于RGB-D显著性检测的自监督自集成网络（S3Net）。作为一种自集成模型，本文的框架有可能用于开发其他视觉任务的半监督框架，包括阴影检测、边界检测和语义分割 ；

               • 设计了一个具有一系列三层跨模式融合（TCF）模块 的自引导卷积神经网络（SG-CNN），用于 多模型融合，以及显著性图和附加图像旋转角度的联合预测。本文的SG-CNN在这两项任务中取得了比仅使用标记数据预测显著性图更好的结果。

               • 在七个广泛使用的基准数据集上，开发的S3Net优于最先进的RGB-D显著性检测方法。 

       基于深度学习的RGB-D 显著性检测方法利用互补信息。

               •  单流CNN ：将输入的RGB和深度图像组合为四通道输入，并将四通道输入馈入CNN进行显著性检测。 

               •   双流CNN ：从RGB和深度输入中 独立学习特征 ，并将两种模式的 特征 融合在一起 进行显著性推理。虽然与传统方法相比，获得了更高的精度，但现有基于CNN的RGB-D显著性检测器 训练其网络 需要大量具有像素级注释的数据。

                本文利用未标记数据并将自监督学习嵌入到自集成框架中。

        Self-ensembling：

                作为一种半监督方法，自集成技术通常在未标记数据上设计一个 一致性损失，从而保证对未标记数据的扰动的不变预测。

                本文提出了第一种半监督的RGB-D显著性检测方法，该方法 以自集成为基础网络，将未标记数据纳入训练集。更重要的是，无缝地 将自监督学习策略集成到一个双任务自集成框架中，其通过 预测辅助图像旋转角度 来增强RGBD显著性检测，但不需要任何其他监督。

        Semi-supervised saliency detectors：

                这些半监督学习方法解决了从 单个输入图像 中检测和分割显著目标的任务。然而，本文的半监督学习网络是通过 整合 成对的 标记的RGB-D数据 和 未标记RGB-D数据 来检测显著性目标的。

         Self-supervised Learning：

                自监督学习旨在通过 自动创建 自监督前置任务来学习对解决真实世界下游任务有用的表征。

                本文首次 将自监督机制 集成到半监督学习框架中，以提高RGB-D的显著性检测。此外，为了减少网络训练的时间，本文  同时最小化 前置任务 和 底层显著性检测 的损失函数来训练网络进行RGB-D显著性检测。

        Methdology：

                本文 首先开发了一种用于RGB-D显著性检测的 自引导卷积神经网络(SG-CNN)，以RGB-D图像为输入，预测显著性映射以及输入的旋转角度。 自监督体现在： 旋转角度的监督可以直接从输入图像中获得，不需要任何人工标记。

                然后，将这个SG-CNN分配为 整体自集成学习框架 的学生和教师网络。在训练过程中，将标记好的数据输入到学生网络中，通过 融合 显著性检测损失 和 自监督(旋转角度)损失 进行训练。

                然后，对于未标记的数据，我们将其 分别输入 到学生网络和教师网络。对显著性预测和旋转角度预测 都计算了自监督一致性损失。

                在测试阶段，我们只采用学生网络对输入的RGB-D图像进行显著性检测映射图的预测。

         图2概述了所开发的 自引导卷积神经网络(SG-CNN) 的原理图，该网络从RGB图像和深度图像中挖掘知识，采用多任务学习策略对网络进行训练，即联合预测显著图和旋转角度。

        对于RGB- D图像，SG-CNN 首先利用卷积神经网络(CNN) 从RGB图像中 提取5个不同空间分辨率的特征映射(即r1到r5)，然后利用另一个CNN从深度图像中 学习5个CNN层的特征(即d1到d5) 。

        为了结合来自深度图的互补信息，我们在每个CNN层建立了一个 三层跨模型特征融合(TCF)模块，通过 融合两个相邻CNN层的特征 来利用RGB视图和深度视图，从而得到5个综合特征(即f1到f5)。

        如图3所示，TCF在第i个CNN层 以三对相邻的RGB和深度特征作为输入，输出一个聚合的特征映射图fi。 我们将每一对RGB和深度特征相乘，将结果与原始的RGB和深度特征 连接起来，并在连接的特征映射上应用3×3卷积层。在这之后，我们获得三个新的特征hi-1，hi，hi+1。

        获取到特征h后，我们将hi 上采样到 hi−1相同的空间分辨率，然后将其添加到hi−1中，对加法结果应用3×3卷积层，然后将获得的特征下采样到hi的空间分辨率中以产生新的特征gi−1: 

        然后，我们向下采样hi−1和上采样hi+1到hi相同的分辨率，用hi添加这两个调整大小的特征图，并在加法结果上应用3×3卷积层来产生一个新的特征gi:

 

         第三步：我们向下采样hi到hi+1的分辨率，元素级地将它与hi+1相加，在添加结果上应用3×3卷积层，然后上采样得到的特征到hi的空间分辨率，产生新的特征gi+1:

        在图二的第一个分支中，我们用 f5作为输入来预测RGB-D图像的旋转角度。具体来说，我们首先对f5进行平均池化操作，得到一个新的特征映射图，然后将其传递到两个全连接层和一个softmax层，得到一个包含四个元素的向量，即Ω={0°,90°,180°，和270°}，代表旋转角度。

        图二的第二个分支 融合这些集成特性(即f1到f5) 来预测输出的显著性映射。为此，本文设计了一个特征增强(feature enhancement, FE)模块，将相邻两个卷积层的特征进行组合，并从深度卷积层到浅层卷积层迭代地进行特征组合。

        如图2所示，我们将 f5 和 f4 传递给一个FE模块，得到一个新的feature map(记为)，然后用第二个FE模块将其与f3融合，得到一个feature map ^f3。然后用第三个FE模块将^f3和f2组合得到^f2，再将^f2和f1传递给第四个FE模块。从第四个FE模块的输出特征^f1，我们应用3×3 convolutional layer, 1×1 convolutional layer，和sigmoid激活函数，预测出一个显著性映射，并将这个显著性映射作为SG-CNN的最终输出。

        对于标注的数据，本文将标注的显著性掩码作为真值 Gs，用于RGB-D显著性检测。并将选定的旋转角度作为旋转角度分类任务的真值(Ga)。用这两个真值Gs和Ga，计算标注图像(x)的监督损失(Ls)为显著性检测损失和旋转角预测损失之和，即：

        其中 Ps 和 Pa 分别为预测的 显著性映射 和 旋转角度。ΦBCE和ΦCE分别是 二元交叉熵损失和 交叉熵损失函数。在网络训练过程中，根据经验设置了权重α=0.1。

         对于未标注的数据，本文将其传递到 学生网络 和 教师网络 中，得到两组预测结果，每组预测结果由显著性预测图和旋转角度组成。然后，我们 强制学生网络和教师网络的预测保持一致，得到未标记数据的无监督损失(Lu)，未标记图像(记为y)的Lu定义为：

         式中，Ss和Ts分别表示学生网络和教师网络的显著性预测；Sa和Ta是由学生网络和教师网络预测的旋转角度。ΦMSE 和 ΦKL分别为MSE损失和KL散度损失。根据经验设置了其中的φ =1。

        网络总的损失函数为：

         其中N1和N2是训练集中 有标记的图像 和 没有标记的图像的数量。

        EMA： 

                教师网络的参数 是 学生网络参数的 指数移动平均(EMA)，来对不同训练步骤的信息进行集成。

        MTMT 与本文工作有三个方面的不同：

               • 这两项工作都利用了 无标记数据 的多任务学习和半监督学习，但本文是用于从RGB-D配对数据中检测显著性，而MTMT 是用于 从单个图像中 检测阴影。

                • 多任务学习：MTMT 联合检测阴影区域、阴影边缘和阴影区域数量，但本文同时识别 显著区域 和 预测图像旋转角度。

                • MTMT中的 辅助任务 具有监督学习机制，而本文的附加图像旋转角度预测 则采用自监督学习方式进行学习。

        Result：

                与其他方法相比，本网络能够更准确地从RGB-D数据中检测出显著目标。在本文的网络中探索 无标记数据 和自监督多任务学习 比以监督学习方式训练的RGB-D显著性检测器能够抑制非显著性目标，并检测出更多的显著性像素。

        消融实验：

                TCF模块可以生成 比简单将元素相加 更精确的特征图；角度旋转的自监督预测 有助于本文的方法从RGB-D图像产生更准确的识别显著图；未标记数据的额外一致性损失能够提高仅用标记数据的RGB-D显著性检测性能；在探索未标记数据的一致性损失时，显著性检测比图像旋转角度预测对本文方法的成功有更大的贡献；本文方法更能准确地检测出显著区域，这表明旋转角度预测有利于MT模型用于RGB-D显著性检测。

        Discussion：

                与未标记数据上的监督损失相比，旋转预测的一致性损失使我们能够更好地识别显著对象。

               本文工作以旋转预测作为辅助任务，能够更好地理解目标显著物体的角度信息，从而使RGB-D显著物检测更加准确。

                以自监督旋转角度预测为辅助任务 的RGB-D配对数据比拼图和图像修复能更好地识别显著性目标。

        Failure cases：

                对于(i) 具有 复杂的 显著性物体边界 的显著性物体；(ii) 只有部分人体物体的显著区域；(iii)在非显著背景下 具有紧密强度分布的显著目标。

        Conclusion：

                本文提出了一种 自监督自集成网络，通过学习 标记数据 和 未标记数据 来进行RGB-D显著性检测。本文首先开发了一个 自引导多任务卷积神经网络，在没有任何额外监督信号的情况下，同时预测显著图和分类图像的旋转角度。然后，我们利用 自集成框架 利用 额外的未标记数据来进一步提高RGB-D显著性检测的性能。在7个基准数据集上的实验结果表明，本文的网络在数量和视觉上始终优于最先进的方法。在本文的网络中考虑到前置任务的多样性 以及 更多的未标记数据是作者未来工作的方向之一。