langchain-chatglm6b git项目
参考文档
环境说明
- 2卡3090（24GB）单机
- python 3.10.11
- CUDA 12.0
- torch 2.0.1
环境搭建
langchain-chatglm项目
git clone https://github.com/chatchat-space/langchain-ChatGLM # clone git
cd langchain-ChatGLM/
pip install -r requirements.txt # 安装依赖，较多较慢
success
预先准备好chatglm2模型权重
git clone https://huggingface.co/THUDM/chatglm2-6b-int4
ls /data0/LLMs/chatglm2-6b
image.png
预先准备好embedding模型权重
git lfs install # 也可以不安装git-lfs，浏览器手动下载pytorch_model.bin
git clone https://huggingface.co/GanymedeNil/text2vec-base-chinese
启动测试
修改配置
vi configs/model_config.py
embedding_model_dict = {
"ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
"ernie-base": "nghuyong/ernie-3.0-base-zh",
"text2vec-base": "/home/featurize/data/text2vec-base-chinese",
"text2vec": "/data0/dig/text2vec-base-chines", # 修改处
"m3e-small": "moka-ai/m3e-small",
"m3e-base": "moka-ai/m3e-base",
}
llm_model_dict = {
...
"chatglm2-6b": {
"name": "chatglm2-6b",
"pretrained_model_name": "/data0/LLMs/chatglm2-6", # 修改处
"local_model_path": None,
"provides": "ChatGLM"
},
...
}
# LLM 名称改成 chatglm2-6b
LLM_MODEL = "chatglm2-6b"
启动测试
python webui.py
image.png
gpu
上传文档：
image.png
简单测试：
image.png
cli测试
python cli_demo.py
image.png
Input your local knowledge file path 请输入本地知识文件路径：/data/lsy/langchain-ChatGLM/docs/FAQ.md
image.png
问答测试：
image.png
异常
port占用
vi webui.py
(demo
.queue(concurrency_count=3)
.launch(server_name='0.0.0.0',
server_port=17860, # 修改处
show_api=False,
share=False,
inbrowser=False))
