Prompt 范式简述

Traditional Framework:

• pre-train
• fine-tune

传统的训练框架为，先在一个大规模的数据集上对模型进行预训练，然后在目标任务的数据集上进行微调。

Prompt Framework

• pre-train
• prompt
• predict

Prompt框架则是分成三个部分，预训练，Prompt生成，以及预测

Goal: Let the pertained model itself can be used to predict the desired output without any task-specific training.

Prompt 本质上是对任务数据进行变换，将原本的目标、标签，做一个转换，融入到数据之中。

For example, the emotion label of the sentence “I won the game.” is good.

We can also get a longer sentence “I won the game, so I felt good.”

上述这个例子就是，将标签 good 转换成额外的语句，加到输入后面。

这样的变换使得，我们通过自然的自监督学习，就可以实现任务所需的目标

Prompt Basics

一般来说，Prompt 包含三个步骤：

1. Prompt Addition
2. Answer Search
3. Answer Mapping

Prompt Addition

这一步其实是将输入进行修改

比如 [X] Overall, it was a [Z] movie 这样的形式

我们将输入填到 [X] 的位置，返回一整个语句，留出 [Z] 的位置，等待答案的填充。

Answer Search

$$\hat{z}={\text{search}}_{z\in \mathcal{Z}}P(f_{\text{fill}}(x^{\prime },z);\theta )$$

如上述公式所示，在这一步，我们的目的是，填充最可能的答案。

Answer Mapping

将搜索到的答案和输出值进行匹配

也就是将填充完的答案，映射到最终的输出上，可能是标签，也可能直接就是对应的句子。