uv + vLLM使用笔记 -- 0x01

uv安装

pip install uv

• 查看可用python版本

uv python list

• 查找已安装python版本

uv python find

• 配置相关镜像及参数

export UV_DEFAULT_INDEX="https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple"  
export UV_HTTP_TIMEOUT=120

• 安装指定版本python

uv python install 3.12

• 创建项目并指定python版本

mkdir -p /opt/testpy & cd /opt/testpy
uv python pin 3.12
uv init

• 创建并激活环境

uv venv
source .venv/bin/activate

• 添加依赖(可指定版本)

uv add flask
uv add pandas==2.2

• 移除依赖

uv remove flask

• 查看项目依赖树

uv tree

• 生成项目依赖的requirements.txt

uv pip freeze > requirements.txt

• 退出环境

deactivate

vllm安装&使用

• 初始化python3.12环境

uv venv myenv --python 3.12 --seed

• 激活环境

source myenv/bin/activate

• 配置相关镜像及参数

export UV_DEFAULT_INDEX="https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple"  
export UV_HTTP_TIMEOUT=120

• 安装vllm

uv pip install vllm

• 验证vllm

uv run --with vllm vllm --help

• 加载运行模型服务

uv run --with vllm vllm serve /data/models/DeepSeek-R1-Distill-Llama-70B --tensor-parallel-size 4 --host 0.0.0.0 --port 1001 --max-model-len 8192 --gpu-memory-utilization 0.90 --trust-remote-code --enable-reasoning --reasoning-parser deepseek_r1 --enable-chunked-prefill --enable-prefix-caching

• 退出环境

deactivate