下载 llama.cpp https://github.com/ggerganov/llama.cpp
按照安装说明进行安装（我用的mac笔记本）：

1 Make

make

2 Prepare Data & Run

ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model

项目下方并没有llama这些模型，所以需要咱们自己下载
由于国内不支持llama下载，所以需要想办法自己搞
可以从这里下载：
https://github.com/shawwn/llama-dl
执行如下命令，就可以下载

curl -o- https://raw.githubusercontent.com/shawwn/llama-dl/56f50b96072f42fb2520b1ad5a1d6ef30351f23c/llama.sh | $(brew --prefix)/bin/bash

继续按照llama.cpp的指示继续执行

python3 -m pip install -r requirements.txt

python3 convert.py models/7B/

上面的命令可能会报错，说vocab size mismatch (model has -1 but tokenizer.model has 32000)
需要修改下文件：./models/7B/params.json, 把vocab_size从-1改成32000即可
继续执行剩下的命令

# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY


# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

开启chat模式：

./examples/chat.sh

可能会报错，我重试了几次，就好了。会提示目录不存在，修改./examples/chat.sh文件把模型的目录地址修改成自己的就好了。

image.png