一、在autoDL上创建资源，资源使用环境根据个人情况选择即可
image.png
二、创建python环境
1.打开实例的jupyterLab控制台，打开一个终端
image.png
2.使用conda创建python虚拟环境
conda create -p /root/autodl-tmp/python_env python=3.11
image.png
3.初始化环境
conda init bash
exec bash
image.png
image.png
4.激活python环境
conda activate /root/autodl-tmp/python_env
image.png
三、下载模型文件
1.deepseek模型文件下载
创建文件存储路径
image.png
安装git-lfs用于检索大文件
apt install git-lfs
执行下载（modelscope网络下载模型文件）：
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git
四、安装推理引擎并启动服务
1.安装vllm、modelscope
pip install modelscope vllm
2.vllm引擎加载本地模型文件方式启动
vllm serve ./DeepSeek-R1-Distill-Qwen-1.5B --tensor-parallel-size 1 --max-model-len 32768 --served-model-name DeepSeek-R1-1.5B
3.终端控制台查看日志确认服务启动成功
image.png
五、安装open-webui对接模型服务
1.创建一个新的环境
conda create -p /root/autodl-tmp/open-webui python=3.11
2.激活环境
conda activate /root/autodl-tmp/open-webui
image.png
3.安装webui
pip install open-webui
4.启动webui服务
open-webui serve
5.由于autoDL实例没有公网入口，需要开启隧道便于本机环境访问webui，开启方法参考控制台实例界面的自定义服务。
6.本机访问webui并创建账号，对接deepseek模型
image.png
对接deepseek模型服务
7.测试使用模型推理
image.png
六、使用sglang引擎启动模型进行推理
1.添加环境变量定义模型文件下载存储路径
vim ~/.bashrc
export HF_HOME=/root/autodl-tmp/hf_cache
export MODELSCOPE_CACHE=/root/autodl-tmp/ms_cache
source vim ~/.bashrc
2.创建sglang虚拟环境并激活
conda create -p /root/autodl-tmp/sglang python=3.11
conda activate /root/autodl-tmp/sglang
3.安装sglang
pip install sglang[all]
4.在线下载模型文件并使用sglang引擎启动
SGLANG_USE_MODELSCOPE=true python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --trust-remote-code --tp 1 --api-key 123456.com --served-model-name DeepSeek-R1-1.5B-sglang
image.png
5.在webui对接模型
image.png
6.测试使用模型推理
image.png
image.png
