NAACL-22 | 在基于Prompt的文本生成任务上引入迁移学习的设置

预训练语言模型通过微调的方式在文本生成任务中取得了显著的进展，但是在数据稀疏的场景下，通常无法直接进行微调。因此，本文提出基于prompt的迁移学习的设定。作者先为源领域上的不同任务分别学习一个prompt，从而构造prompt池，然后在目标任务进行迁移。为了同时考虑任务层面和实例层面的信息，作者设计了一个自适应的注意力机制，对于目标任务中的每个实例样本，模型都会为其选择与其最相关的源任务的prompt。作者在多种生成任务和数据集上进行了实验，结果表明作者提出的迁移方法可以很好地提高目标任务上的生成效果。

论文标题：

Learning to Transfer Prompts for Text Generation    

论文链接: 

https://arxiv.org/abs/2205.01543