概述
ChatGLM3 是由智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，继承了前两代模型对话流畅、部署门槛低等众多优秀特性，并在此基础上进行了全面的性能提升和创新性功能扩展。
系统要求
操作系统：Windows、Linux 或 macOS。本教程使用Windows进行安装。
python 版本推荐3.10.12
transformers 库版本推荐为 4.30.2
torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能
CUDA：如果你打算在 GPU 上运行模型，需要安装 CUDA（仅限 Windows 和 Linux）
部署
部署gpu驱动
#下载rtx4060驱动
https://www.nvidia.cn/drivers/lookup/
步骤 1：创建虚拟环境
打开终端cmd，安装并创建一个新的 Anaconda 环境。这将有助于隔离项目依赖项。
Anaconda 下载地址：
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2022.10-Windows-x86_64.exe
下载安装过程可以参考此文：https://blog.csdn.net/Q_fairy/article/details/129158178
执行命令：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
conda create -n py3.10 python=3.10
activate py3.10
步骤 2：安装依赖项
安装NVIDIA驱动以及CUDA Toolkit 11.8，地址如下：
https://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Linux。选择对应的安装包进行下载并安装
image.png
安装PyTorch，到此地址
https://pytorch.org/get-started/locally/并根据本机硬件选择的版本，如下图所示：
image.png
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
步骤 3：下载 ChatGLM3-6B 模型
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
步骤 4：安装模型依赖项
pip install -r requirements.txt
步骤 5：下载模型文件
mkdir THUDM
cd THUDM
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
步骤 6：运行模型
- 命令界面
python basic_demo/cli_demo.py
- Streamlit 界面
在浏览器中打开 http://localhost:8501 来访问 Streamlit 界面。
pip install streamlit
streamlit run basic_demo\web_demo_streamlit.py
在浏览器中打开 http://localhost:8501 来访问 Streamlit 界面。
- REST API
python openai_api_demo\api_server.py
注意：国内不能访问https://huggingface.co/，因此需要修改文件：
D:\Program Files\anaconda3\envs\py3.10\Lib\site-packages\huggingface_hub\constants.py
#HUGGINGFACE_CO_URL_HOME = "https://huggingface.co/"
HUGGINGFACE_CO_URL_HOME = "https://hf-mirror.com"
#_HF_DEFAULT_ENDPOINT = "https://huggingface.co"
_HF_DEFAULT_ENDPOINT = "https://hf-mirror.com"
