ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

论文名称：

Adversarial Self-Attention For Language Understanding

论文来源：

ICLR 2022

论文链接：

https://arxiv.org/pdf/2206.12608.pdf

 

本文提出了 Adversarial Self-Attention 机制（ASA），利用对抗训练重构 Transformer 的注意力，使模型在被污染的模型结构中得到训练。

尝试解决的问题：

1. 大量的证据表明，自注意力可以从 allowing bias 中获益，allowing bias 可以将一定程度的先验（如 masking，分布的平滑）加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识，使得模型很难扩展到丰富的任务上。

2. adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。

为了解决上述问题，作者提出了 ASA， 具有以下的优势：

1. 最大化 empirical training risk，在自动化构建先验知识的过程学习得到biased（or adversarial）的结构。
2. adversial 结构是由输入数据学到，使得 ASA 区别于传统的对抗训练或自注意力的变体。
3. 使用梯度反转层来将 model 和 adversary 结合为整体。

4. ASA 天然具有可解释性。