Webson A, Pavlick E. Do Prompt-Based Models Really Understand the Meaning of their Prompts?[J]. arXiv preprint arXiv:2109.01247, 2021.
摘要翻译：
最近，大量的论文在各种基于提示的模型的小样本学习方面取得了非凡的进展。这样的成功会给人留下一种印象，即提示会帮助模型学习得更快，就像当提供用自然语言表达的任务指令时，人类学习得更快。在本研究中，作者实验了30多个人工编写的自然语言推理(NLI)提示。并且发现，模型在许多“intentionally irrelevant or even pathologically misleading”的提示下学习的速度，就像它们使用指导性“好”的提示一样快。此外，作者发现模型的性能更依赖于LM目标词的选择(也被称为：将LM词汇表预测转换为类标签的“verbalizer”)，而不是提示符本身的文本。总之，很少有证据表明现有的基于提示的模型真正理解它们给定提示的意义。
Such results naturally give rise to the hypothesis that the extra prompt text included within each input example serves as semantically meaningful task instructions which help models to learn faster, in the way task instructions help humans to learn faster.
该文章的核心假设是：基于模板提示的方法，LMs的预测很大程度上依赖于训练前看到的记忆模式。
实验设置及结果
作者假设LM可以将所给提示理解为有意义的指导，因此作者对比了好的提示模板和坏的提示模板在few-shot上的学习速度。这里我们仅关注包含语义信息的部分。
-
Effect of Target Word Semantics on Few-Shot Learning
为了验证语义对实验的影响，作者设计了4种不同的目标词类别如下：
并且作者通过验证得出，随着few-shot数量的增加，语义对acc的影响会被弱化：
无论是任意语义的target words还是反转的，在达到一定数量的学习后，性能基本趋于一致。
讨论（论文中作者的观点）
如果模型像人类一样理解提示的含义，我们将期望模型在使用有用的提示（即那些有指导性模板）训练时比使用欺骗性模板（包含误导模板或反向目标的模板）学习得快得多。似乎在一些研究结果中也明确了情况就是这样，即：instructive > misleading templates；yes-no > yes-no-like > arbitrary targets。但是在实际的情况中，我们也发现了这样的一种矛盾现象，例如，模型使用释义指令比使用摘要指令学习得更快，尽管后者与数据集的真实标签有更多的重叠。并且作者也指出，在人类所理解的语义中，“yes or no”和“true or false”完全是一种类型的提示，但是实验的表现结果并不是如此。因此，语义的含义并不能直接的从人类的理解角度发出进行对比。
当然这种分析是针对有标记的分类任务而言的，除了样本中包含的语义信息外，还使用了每个样本的标签信息进行监督。毫无疑问，在标记数据达到一定规模后，LM得到的语义信息更加明确，所以提示标记词的语义信息可以忽略不计。
