无需人工先验！港大＆同济＆LunarAI＆旷视提出基于语义分组的自监督视觉表征学习，显著提升目标检测、实例分割和语义分割任务！

本文分享论文『Self-Supervised Visual Representation Learning with Semantic Grouping』，无需人工先验！港大&同济&LunarAI&旷视（张祥雨团队）提出基于语义分组的自监督视觉表征学习，显著提升目标检测、实例分割和语义分割任务！

论文链接：

https://arxiv.org/abs/2205.15288

摘要

在本文中，作者解决了从未标记的以场景为中心的数据中学习视觉表示的问题。现有工作已经证明了在以场景为中心的数据中利用底层复杂结构的潜力；尽管如此，他们通常依靠手工制作的对象性先验或专门的借口任务来构建学习框架，这可能会损害普遍性。

相反，作者提出从数据驱动的语义槽进行对比学习，即SlotCon，用于联合语义分组和表示学习。语义分组是通过将像素分配给一组可学习的原型来执行的，这些原型可以通过集中特征来适应每个样本，并形成新的槽（slot）。基于学习到的数据相关的槽，采用对比目标进行表示学习，增强了特征的可分辨性，反过来也有利于语义相关像素的分组。

与之前的工作相比，通过同时优化语义分组和对比学习这两个耦合目标，本文的方法绕过了手工先验的缺点，能够从以场景为中心的图像中学习对象/组级别的表示。实验表明，该方法能有效地将复杂场景分解为语义组进行特征学习，并对下游任务（包括目标检测、实例分割和语义分割）有显著的帮助。