CVPR 2022 | 应对噪声标签，西安大略大学、字节跳动等提出对比正则化方法

噪声标签（Noisy labels）随着深度学习研究的深入得到广泛的关注，因为在众多实际落地的场景模型的训练都离不开真实可靠的标签信息。由于人工标注误差(专业性不足等问题)、数据原始噪声，带噪声的数据不可避免，清洗数据的工作也是更加困难。 

 

在有监督的图像分类问题中，经典的 cross-entropy (CE) 损失函数是最为广泛应用的函数之一。当数据集不存在任何的噪声标签的时候，它往往能带来非常不错的效果。然而，当数据集中存在噪声标签的时候，它会导致模型对噪声标签过拟合，使模型的泛化性变差。本文从对比学习的角度研究了如何通过约束图像的特征来防止模型对噪声标签的过拟合。

 

现有的解决噪声标签的问题有基于 robust regularization, label correction, loss reweighting, 和 robust loss functions 等。本文的研究动机源于 robust loss functions。为了防止模型对噪声标签过拟合，现有的对噪声鲁棒的损失函数（mean absolute error (MAE)[1,2]，reverse cross-entropy loss (RCE) [3] 等）在一定程度上解决了噪声标签过拟合的同时，也存在对数据欠拟合的问题[4,5]。在实际应用中，这些对噪声鲁棒的损失函数是结合 CE 一起使用的，而 CE 容易造成对噪声数据的过拟合问题。因此我们思考，能否仅仅通过约束图像的特征，使整个模型仍然可以用 CE 训练且不受噪声标签的影响。

 

近期，来自西安大略大学，纽约大学以及字节跳动的学者们研究了如何从带有噪声标签的数据集中学到可靠的模型，这一基础且重要的问题。本工作主要由西安大略大学统计及精算系的易立完成，通讯作者为西安大略大学计算机系的助理教授王博予。

 

论文地址：https://arxiv.org/abs/2203.01785

本文主要回答了两个问题：(1)基于对比学习得到的图像特征能给在标签噪声中学习带来什么好处; (2)如何从噪声数据中学到基于对比学习的图像特征。在之后的实验部分，我们也展示了此方法可以和现有的带噪学习的方法相结合，能进一步提升模型的表现。这项研究已被 CVPR2022 接收。