Language Models are Few-Shot Learners
核心思想:meta-learning
不需要fine-tune调整模型参数
三种setting直接进行测试:
- Few-shot(给少量例子)
- One-shot(给一个例子)
- Zero-shot(不给例子,只给自然语言的instruction)
模型结构上与GPT2几乎完全一样,除了attention改为了sparse的形式
核心思想:meta-learning
不需要fine-tune调整模型参数
三种setting直接进行测试:
模型结构上与GPT2几乎完全一样,除了attention改为了sparse的形式