1、环境说明
- 8v-32G-V100-16G
- linux - Centos
2、按装conda
-
创建文件目录
mkdir -p ~/miniconda3 -
拉取镜像
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh -
启动脚本安装
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3 -
删除脚本
rm -rf ~/miniconda3/miniconda.sh -
安装后，初始化新安装的 Miniconda。以下命令针对 bash 和 zsh shell 进行初始化：
~/miniconda3/bin/conda init bash ~/miniconda3/bin/conda init zsh -
设置conda镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --set show_channel_urls yes -
官网地址
https://docs.conda.io/projects/miniconda/en/latest/
3、下载项目
-
克隆项目，并进入项目目录
git clone https://github.com/THUDM/ChatGLM3.git cd ChatGLM3
4、使用conda创建虚拟环境
-
创建python3.10的虚拟环境
conda create -n chatglm3 python=3.10 -
激活虚拟环境
conda activate chatglm3
5、下载模型
-
安装git-lfs
git lfs install -
下载模型
cd ChatGLM3 git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
6、安装依赖
-
激活虚拟环境，安装依赖
cd ChatGLM3 pip install -r requirements.txt
6、模型地址修改为本地模型路径
-
MODEL_PATH都要修改
MODEL_PATH = os.environ.get('MODEL_PATH', '/data/ChatGLM3/chatglm3-6b')
7、启动
-
使用本地模型加载并使用命令行来问答
python cli_demo.py -
使用本地模型加载并使用web_demo来问答
python web_demo.py -
通过以下命令启动基于 Gradio 的网页版 demo
python web_demo.py -
通过以下命令启动基于 Streamlit 的网页版 demo，与Gradio相同，但是更加流畅
streamlit run web_demo2.py -
OpenAI 格式的流式 API 部署
cd openai_api_demo python openai_api.py
8、接入 One API
-
为 chatglm2 添加一个渠道，参数如下
image.png
9、接入 FastGPT
- 修改 config.json 配置文件，在 ChatModels 中加入 chatglm2 模型
image.png
10、测试使用
chatglm3 模型的使用方法如下：
模型选择 chatglm3 即可
