离开环境聊部署，都是耍XX
环境 WIN11+PY?? , PY到底用哪个版本呢？逼死你，真的
3.9 3.10 可以顺利安装 pip install pyllama -U 但是到你 执行 python -m llama.download --model_size 7B 的时候会报 _itree的错误，然后你翻遍了网络，最后会找到一条提示，让你安装py3.11
但是安装了py3.11 你会发现pip install pyllama -U 都会报错：
src/sentencepiece/sentencepiece_wrap.cxx(2822): fatal error C1083: 无法打开包括文件: “sentencepiece_processor.h”: No such file or directory
死循环了
解决办法是 环境用py3.11 然后下载pyllama 的源码，修改一下requirements把sentencepiece 改为sentencepiece==0.1.99就可以了
好吧，放弃上面说的，正确搞定的方式如下：
（1）LLaMA-7B OriginalModelWeights - 飞桨AI Studio (baidu.com) 从这下载llama-7b模型
（2）lmsys/vicuna-7b-delta-v1.1 at main (huggingface.co) 从这下载7b-delta
（3）转换 llama-7b
cd C:\Users\xxx\llm\transformers-main\transformers-main\src\transformers\models\llama
python convert_llama_weights_to_hf.py --input_dir D:\llm\LLaMAOriginalWeights\LLaMAOriginalWeights\LLaMA --model_size 7B --output_dir C:\Users\xxx\llm\llama7b-hf-t
LLaMAOriginalWeights就是（1）下载的
注意pip install "protobuf<=3.20" 一定要低于这个版本
（4）制作真正要用的模型
python -m fastchat.model.apply_delta --base-model-path C:\Users\xxx\llm\llama7b-hf-t --target-model-path C:\Users\xxx\llm\vmodel --delta-path D:\llm\vllama7b-delta1
D:\llm\vllama7b-delta1就是（2）下载的
（5）走起
python -m fastchat.serve.cli --model-path C:\Users\yriyr\llm\vmodel --device cpu --load-8bit
