Prompt 范式简述

Traditional Framework:

传统的训练框架为，先在一个大规模的数据集上对模型进行预训练，然后在目标任务的数据集上进行微调。

Prompt Framework

Prompt框架则是分成三个部分，预训练，Prompt生成，以及预测

Goal: Let the pertained model itself can be used to predict the desired output without any task-specific training.

Prompt 本质上是对任务数据进行变换，将原本的目标、标签，做一个转换，融入到数据之中。

For example, the emotion label of the sentence “I won the game.” is good.

We can also get a longer sentence “I won the game, so I felt good.”

上述这个例子就是，将标签 good 转换成额外的语句，加到输入后面。

这样的变换使得，我们通过自然的自监督学习，就可以实现任务所需的目标

一般来说，Prompt 包含三个步骤：

这一步其实是将输入进行修改

比如 [X] Overall, it was a [Z] movie 这样的形式

我们将输入填到 [X] 的位置，返回一整个语句，留出 [Z] 的位置，等待答案的填充。

$\hat z = \text{search}_{z\in \mathcal{Z} }P(f_{\text{fill}}(x',z);\theta)$

如上述公式所示，在这一步，我们的目的是，填充最可能的答案。

将搜索到的答案和输出值进行匹配

也就是将填充完的答案，映射到最终的输出上，可能是标签，也可能直接就是对应的句子。

最后编辑于：2021.08.23 15:53:58

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。