- 同步视频:BiliBili
- LangChain官网示例大多是国外大模型平台，需要魔法环境，学习起来不方便
- 提供几种解决方案
- ollama部署本地大模型
- 接入兼容OpenAI接口的国产大模型(阿里云、火山引擎、腾讯云等)
- LangChain接入大模型
- LangChain文档: Chat models
- 该方式为厂商/社区适配的SDK，不如兼容OpenAI的方式方便
本地大模型
ollama
安装
- Ollama 是一个开源项目，它允许用户在其本地计算机上运行大型语言模型（LLM）。
- 官方文档
- Ollama更多介绍可以看我之前的博客及视频：Ollama
# 下载大模型
ollama pull qwen2.5:latest
ollama pull qwen2.5:0.5b
- 验证ollama安装成功
- 验证ollama模型下载
LangChain接入
pip install langchain
pip install langchain-ollama
from langchain_ollama import ChatOllama
# 实例化
llm = ChatOllama(base_url="http://localhost:11434", model="qwen2.5:latest")
# 调用
result = llm.invoke("你好，怎么称呼？")
print(result)
兼容OpenAI接口
- 由于OpenAi领先地位，大部分大模型都能兼容openai接口，一般更改下面几个参数就能完成接入
- openai_api_base: 大模型平台API地址
- openai_api_key: 平台密钥
- model_name: 模型名称、接入点
- LangChain官方文档：ChatOpenAI
阿里-百炼
准备
LangChain接入
pip install langchain
pip install langchain-openai
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://dashscope.aliyuncs.com/compatible-mode/v1",
openai_api_key="sk-xxx", # app_key
model_name="qwen-turbo", # 模型名称
)
result = llm.invoke("你好，怎么称呼？")
print(result)
字节-火山方舟
准备
LangChain接入
pip install langchain
pip install langchain-openai
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://ark.cn-beijing.volces.com/api/v3",
openai_api_key="xxx-xxx-xxx", # app_key
model_name="ep-xxx", # 推理接入点
)
result = llm.invoke("你好，怎么称呼？")
print(result)
腾讯-混元
准备
LangChain接入
pip install langchain
pip install langchain-openai
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
openai_api_base="https://api.hunyuan.cloud.tencent.com/v1",
openai_api_key="sk-xxx", # app_key
model_name="hunyuan-pro", # 模型名称
)
result = llm.invoke("你好，怎么称呼？")
print(result)
参考文档
- LangChain文档
- OpenAI接口兼容文档
- 费用
