现在ChatGLM已经开源了ChatGLM3.
部署环境：
操作系统：Window
Python: 3.10.8
GPU:RTX 4090
尝试了下本地搭建了一个本地模型。
配置图
不过在部署的时候torch库挺高的，和gpu的版本还有toolkit版本需要高度对应。
不然就会报torch.cuda.is_avaliable 为False的错误。
这个时候我们需要到Torch官网去下载对应的GPU驱动。
但是这里这里我还需要先获取下本地的gpu驱动程序信息
首先我们从终端里输入
nvidia-smi
显卡驱动信息
然后从NVIDIA-SMI看到驱动的版本号385.54，然后从下面这张图中查看对应的CUDA软件版本。
CUDA版本对照1
CUDA版本对照2
比如这里驱动的版本号是500那对应的软件版本是CUDA 11.6 GA，就需要查看老版本对应的软件版本的下载指令。
首先卸载torch然后重新安装。
pip uninstall torch
pip install torch==1.13.0+cu116 torchvision==0.14.0+cu116 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu116
这里建议不要用conda安装，conda每次安装都会安装cpu版本，被坑了好几次，用pip安装就没问题。解决了这个问题之后基本就能顺利部署chatGLM3到本地了。当然用官方的github跑出来前端ui代码各种问题，我懒得去看，直接从命令行运行是没有问题的。
image.png
补充下chatGLM3支持工具链调用，在prompt上做了一些规范，最好阅读一下prompt指导文件。
