有监督预训练！文本生成又一探索！

下载地址：

https://arxiv.org/abs/2206.12131

本文的代码，模型，中间结果均已开源

GitHub主页，一站式微调、评测代码，中间结果

https://github.com/RUCAIBox/MVP

MVP模型

https://huggingface.co/RUCAIBox/mvp

MVP变体

https://huggingface.co/models?filter=mvp

说明文档

https://huggingface.co/docs/transformers/main/en/model_doc/mvp

本文提出了针对文本生成的多任务有监督的预训练模型MVP。不同于先前无（自）监督预训练的模型，本文收集了有标签的生成数据集来预训练模型MVP，同时为不同的任务进一步训练了连续提示来激发模型在特定任务的能力。实验证明我们模型的有效性和通用性，超越了生成任务基线模型BART，在12个数据集上取得了SOTA效果。