学习视频B站:https://www.bilibili.com/video/BV1rv7A6oEeP?spm_id_from=333.788.player.switch&vd_source=4d4136b5241ea1dbe6040d84b0e8d0b0&p=10
做LangChain主要使用python,python的代码管理一般使用conda来进行
Conda 是一个开源的分发包管理器和环境管理系统。它的核心作用可以用一句话概括:帮你安装各种编程语言的软件包(尤其是数据科学相关),并确保它们之间互不冲突。
conda有两大核心功能:
环境管理(“隔离沙盒”)
这是 Conda 最强大的功能。它允许在同一台电脑上创建多个相互隔离的虚拟环境,每个环境拥有独立的 Python 版本和库版本。
场景:项目 A 需要 Python 3.10 和 PyTorch 1.0,项目 B 需要 Python 3.12 和 PyTorch 2.0。
作用:用 Conda 创建两个独立环境,切换只需一行命令,彻底避免“版本冲突”和“把系统搞乱”的问题。包管理(“软件管家”)
类似于手机上的应用商店,你可以通过命令行轻松安装、更新和卸载软件包。
跨语言:虽然常和 Python 一起用,但它也支持 R、Ruby、Lua、Java 等多种语言。
预编译二进制:这是它和 pip 的最大区别。Conda 安装的是预编译好的二进制文件(尤其是 C/C++ 底层库),安装速度极快,且不需要你本机安装复杂的编译环境(比如 Windows 上的 VC++ 编译器)。
常用的几个命令
conda create -n myenv python=3.9 // 创建名为 myenv 的环境,指定 Python 3.9
conda activate myenv //进入该环境
conda install numpy pandas // 在当前环境安装库
conda deactivate // 退出环境
RAG开发:主要针对 大模型的知识冻结 和大模型幻觉
大模型的知识冻结:随着LLM规模扩大,训练成本与周期相应增加,模型无法实时学习到最新的信息或动态变化,导致LLM难以应对“请推荐现在的热门影片”等时间敏感的问题
大模型幻觉:涉及到大模型从未在训练过程中学习过的信息时,大模型无法给出准确的答复,转而开始臆想和编造答案
RAG是什么呢?Retrieval-Augmented Generation(检索增强生成)
Agent开发:充分利用LLM的推理决策能力,通过增加规划、记忆和工具调用的能力,构造一个能够独立思考、逐步完成给定目标的Agent(智能体)。
Agent = LLM(大语言模型) + planning(规划决策能力) + tools(工具调用能力) + memory(记忆能力) + Action(行动能力)。
1、大模型(LLM)作为大脑:提供推理规划和知识理解能力,是AI agent的决策中枢
2、规划决策(planning):通过任务分解、反思与自省框架实现复杂任务处理。例如:利用思维链将目标拆解成子任务,并通过反馈优化策略
3、工具使用(tool use):调用外部工具(API、数据库等)扩展能力边界
4、记忆(memory):**短期记忆**:存储单次对话周期的上下文信息,属于临时信息存储机制,受限于模型的上下文窗口长度。**长期记忆**:可以横跨多个会话或时间周期,可以存储并调用核心知识,非即时任务。比如:用户的偏好,过去执行过的指令等。
`长期记忆可以通过模型参数微调(固话知识)、知识图鉴(结构化语义网络)或向量数据库(相似性检索)方式实现`
5、行动(Action):实际执行决策的模块,涵盖软件接口操作(如自动订票)和物理交互(如机器人执行搬运)。比如:检索、推理、编程等
大模型开发的几个场景
1、纯prompt
prompt是操作大模型的唯一接口
纯prompt就是 我们向大模型提供一个prompt提示词 大模型给我们一个response响应,再此之上还能记住我们前面的对话内容
2、Agent+Function calling
Function calling:需要对接外部系统时,AI要求执行某个函数
比如说:今天去杭州出差需要带伞吗?需要调用外部的天气接口获取天气再结合天气给出答案
3、RAG(Retrieval-Augmented Generation)
需要补充领域知识时使用
Embeddings:把文字转换成更易于相似度计算的编码。这种编码叫向量
向量数据库:把向量存储起来,方便查找
向量搜索:根据输入向量,找到最相似的向量
比如:解答试题的时候,根据书上找到的内容 ,结合题目的要求组成答案
这个在智能客服上应用的比较广泛
4、Fine-tuning(精调/微调)
作为解决大模型幻觉的重要手段,但成本比较高(人员以及知识语料等等),且微调并不能百分百彻底解决幻觉,微调过后也可能出现新的幻觉风险
