清华＆商汤＆上海AI＆CUHK提出Siamese Image Modeling，兼具linear probing和密集预测性能！

本文分享论文『Siamese Image Modeling for Self-Supervised Vision Representation Learning』，由清华（黄高组）&商汤（代季峰组）&上海AI Lab&CUHK提出Siamese Image Modeling，兼具linear probing和密集预测性能！

论文链接：

http://arxiv.org/abs/2206.01204

摘要

自监督学习（SSL）在各种下游视觉任务上都提供了优异的性能。目前提出了两种主流SSL框架，即实例鉴别（ID）和掩蔽图像建模（MIM）。ID将来自同一图像的不同视图的表示拉到在一起。它在 linear probing方面表现良好，但在检测性能方面较差。另一方面，MIM在给定mask图像的情况下重建原始内容。它擅长密集预测，但在linear probing上表现不佳。它们的区别是由于忽视了语义对齐或空间敏感性的表示要求。

具体而言，作者观察到：（1）语义对齐要求将语义相似的视图投影到附近的表示中，这可以通过对比不同的视图和强数据增强来实现；（2） 空间敏感性要求对图像中的局部结构进行建模。因此，使用掩蔽图像预测密集表示是有益的，因为它模拟了图像内容的条件分布。

在这些分析的推动下，作者提出了 Siamese Image Modeling （SIM），该模型基于来自同一图像但具有不同增强的另一个mask视图，预测增强视图的密集表示。本文的方法使用带有两个分支的Siamese网络。在线分支对第一个视图进行编码，并根据这两个视图之间的相对位置预测第二个视图的表示。目标分支通过对第二个视图进行编码来生成目标。通过这种方式，可以分别使用ID和MIM实现可比较的linear probing和密集预测性能。