找到好的 prompt 是个持续迭代的过程,需要不断调优。
如果知道训练数据是怎样的,参考训练数据来构造 prompt 是最好的。「当人看」类比:
你知道 ta 爱读红楼梦,就和 ta 聊红楼梦
你知道 ta 十年老阿里,就多说阿里黑话
你知道 ta 是日漫迷,就夸 ta 卡哇伊
1.不知道训练数据怎么办?
看 Ta 是否主动告诉你。例如:
OpenAI GPT 对 Markdown、JSON 格式友好
OpenAI 官方出了 Prompt Engineering 教程,并提供了一些示例
Claude 对 XML 友好
2.国产大模型因为大量使用 GPT-4 的输出做训练,所以 OpenAI 的技巧也会有效
3.只能不断试了。有时一字之差,对生成概率的影响都可能是很大的,也可能毫无影响……
「试」是常用方法
一条 prompt 试一天,是常事儿
确实有运气因素
所以「门槛低、 天花板高」
所以有评测数据很重要
高质量 prompt 核心要点:
划重点:具体、丰富、少歧义
指令具体
信息丰富
减少歧义
修炼 prompt 能力,功夫在平时:
我们的「群聊天」习惯,天然和 prompt 背道而驰。随口就说,全是短句、口语、歧义
欧美的「群发邮件」习惯,更占优势。篇篇都是小作文
让自己在群里也是「小作文」
两点感受:
文科生比理科生在 prompt 上更有优势
Prompt 写多了,和人的沟通能力也真的会提升!
思考:如果底层大模型换了,prompt 要不要重新调优