理论知识
反思如何改进任务输出:反思最强大的形式是结合外部反馈。--可以理解为半监督。--最后的总结非常完美,值得回顾。
如何理解反思是工程实践?
“直接生成”是AI最基础、最直观的工作方式,也常被称为“零样本提示”(Zero-shot Prompting)。
反思提示 (Reflection prompt) 关键词:审查/验证(明确告诉模型你要它做什么)+特征要求(具体指定检查标准)、检查+要求、“反问”或“深究”问题点+要求(你最关心的维度)。
反思阶段的LLM使用具备强大推理能力的“思考模型”(Reasoning Model),但评判标准要量化:使用 LLM 作为裁判,但需提供详细的评分量表(Rubric)。
“提示词工程的收益递减规律。外部反馈为系统注入了“新信息”,使其不再局限于模型自身的知识库和推理能力。”
反思+外部反馈 将有效提升 agent性能, 反思过程使用的模型多尝试不同模型,以找到最适合的设置。
工程实践
openai kay 获取:https://platform.openai.com/api-keys
anthropic key 获取:https://console.anthropic.com/dashboard需付费。$5。
deepseek kay 获取:~
其他: https://openrouter.ai/z-ai/glm-4.5-air:free
aisuite:(aisuite 仓库),它让你能够方便地调用由不同提供商托管的 LLM。
外部反馈工具有哪些?
1)语言礼貌或者不说敏感词要求:编写一个代码工具【模式匹配 】,使用正则表达式对模型的输出进行模式匹配,自动检测是否包含竞争对手名称。
2)事实核查、信息准确要求:调用网络搜索API,查询关于泰姬陵建造时间的权威资料。
3)字数限制要求:开发一个简单的字数统计工具。