ACM Multimedia 2022 | 视觉语言预训练模型中社会偏见的反事实衡量和消除

论文标题：

Counterfactually Measuring and Eliminating Social Bias in Vision-Language Pre-training Models

论文链接：

https://arxiv.org/submit/4382207

代码和数据集：

https://github.com/VL-Bias/VL-Bias

在本工作中，我们针对VLP模型的多模态特性，基于反事实样本生成衡量了各个模态的社会偏见以及多模态融合的社会偏见。衡量预训练模型中的社会偏见本质上是衡量偏见概念（比如，性别等社会属性）和目标概念之间的相关性。

我们提出了基于反事实的偏见衡量方法CounterBias，对每个样本都生成偏见属性上的反事实样本，之后使用反事实前后模型对目标属性的建模变化来衡量偏见概念和目标概念的联系。

由于目前还没有现成的数据集专门用于分析VLP模型中的社会偏见，我们提出了VL-Bias数据集，用于本工作以及社区对VLP模型中的社会偏见的理解。VL-Bias包含24K图文对，其中目标属性包含52个动作和13个职业。在VL-Bias数据集上，使用CounterBias，我们测试了两种典型的VLP结构，单流VLP和双流VLP。关键的观测结果包括：（1）测试的VLP模型中存在社会偏见，视觉模态和文本模态中都存在；（2）包含在VLP模型中的社会偏见与人类刻板影响基本一致；（3）测试的单流架构VLP和双流架构VLP在两个模态中的偏见表现出不同的一致性；（4）测试的VLP模型表现出比BERT更强的性别偏见。

继承了CounterBias中的反事实思路，我们提出了一个简单但有效的方法FiarVLP消除VLP模型中的社会偏见。具体来说，我们首先在视觉和语言模态中分别生成偏见概念的反事实样本。再将MLM任务对事实和反事实的预测的概率差异最小化，从而防止模型学习偏差和目标概念之间的关联。实验结果证明了FairVLP的有效性。