一、背景
随着人工智能技术的飞速发展，大模型（Large Language Models, LLMs）已成为自然语言处理领域的核心工具。这些模型以其强大的语言理解和生成能力，在机器翻译、文本生成、情感分析、问答系统等多个应用中展现出卓越的性能。本文旨在提供一个快速简单的LLM下载部署全流程教程，主要介绍如何从modelscope下载llma3.1-8B、使用FastChat 部署LLM大模型，并且通过 Web UI 以及兼容 OpenAI API 的 RESTful API 访问。
二、准备工作
使用虚拟环境
为了避免潜在的依赖冲，推荐使用单独的虚拟环境。本文使用的anaconda进行python环境管理，请提前安装anaconda。
# 创建新环境
conda create --name devhub python=3.10
# 激活环境
conda activate devhub
# 更新conda
conda update conda
# 退出环境
conda deactivate
安装 FastChat
FastChat 是以 UC Berkeley 主导的 Large Model Systems Organization 所开源的面向 LLM 的训练、推理与评估的开放平台，通过该平台可以快速部署多模型的 LLM 服务，并且通过 Web UI 以及兼容 OpenAI API 的 RESTful API 访问。
通过pip 安装 FastChat：
pip install "fschat[model_worker,webui]"
在特定情况下，在安装过程中有可能会出现找不到
accelerator模块的报错，可通过pip install accelerator手动安装。
安装 vLLM
为了得到更好的推理性能，我们在这边使用 vLLM 作为后端来加速推理。
通过 pip 安装 vLLM：
pip install vllm
笔者将在另一篇文章当中详细介绍 vLLM ,此处不再赘述。
三、下载 LLM 模型
选择模型
根据你的应用需求和资源限制，选择合适的LLM模型。常见的开源LLM包括GPT系列、Llama系列、阿里Qwen系列等。本文使用的是llama3.2-8B模型。
下载模型
以下2种方式：
-
第一种（国内）：推荐使用通过ModelScope魔搭社区进行下载，很多模型都可以下载，其非常强大。
下载git（如果已经下载，可直接跳过）
#基于cenost系统的git下载
sudo yum install git
# 安装git lfs
sudo yum install git-lfs
# 初始化git-lfs
git lfs install
# 下载模型
git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3.1-8B-Instruct.git
-
第二种（国外）：Hugging Face提供了多种方式来下载模型，我们在这边选择使用
huggingface-cli。但下载过程中直接403被禁止，推荐使用第一种方式。
# 安装huggingface-cli
pip install -U "huggingface_hub[cli]"
# 下载模型
huggingface-cli download --resume-download --local-dir-use-symlinks False --token "hg_TOKEN" meta-llama/Llama-2-7b-chat-hf --local-dir Llama-2-7b-chat-hf
验证模型
下载完成后，通过简单的测试脚本验证模型文件的完整性和可用性。
import transformers
import torch
model_id = "./Meta-Llama-3.1-8B-Instruct" # 替换成真实路径
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "system", "content": "hello,You are a helpful human assistant!"},
{"role": "user", "content": "介绍一下中国,请用中文回答"},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
四、使用 FastChat 部署 LLM
通过Web和SDK访问LLM服务，本文使用FastChat框架。我们需要在服务器上部署以下组件：
- Controller（控制器）：负责管理分布式模型实例。它监控所有Worker的状态，并调度Worker，以保证各个同名Worker之间的负载均衡。
- Worker（工作者）：大模型的服务实例，负责加载大语言模型的权重、tokenizer、对话模板等，并对来自OpenAI API Server的请求生成模型推断结果。
- Gradio Web Server（Gradio Web服务器）：提供了一个用户友好的Web界面，允许用户通过浏览器与聊天机器人进行交互。
- OpenAI API Server（OpenAI API服务器）：OpenAI API Server提供与OpenAI兼容的API服务。它接受用户的HTTP调用请求，并将这些请求分发给相应的Worker进行处理，最后返回处理结果。
其核心组件及各参数的详解，请参考大模型实战--FastChat一行代码实现部署和各个组件详解，此处不再详细赘述。
启动 Controller
启动 FastChat Controller：
python3 -m fastchat.serve.controller
默认端口为 21001，可通过 --port 指定。
启动 vLLM Worker
基于 vLLM Worker 和 LLM 启动推理服务，其中--model-path替换成自己的路径：
python3 -m fastchat.serve.vllm_worker --model-path ../Meta-Llama-3.1-8B-Instruct
默认端口为 21002，可通过 --port 指定。FastChat 的 Worker 会向 Controller 注册自身，并通过心跳机制保持连接。
本文使用的是 Meta-Llama-3.1-8B-Instruct 模型，通过指定 --num-gpus 参数选择使用显存。
本文使用 vLLM 作为推理后端，如果希望使用默认的推理后端的话可使用
fastchat.serve.model_worker。
启动 Gradio Web Server
FastChat 基于 Gradio 提供了可视化交互聊天界面。
python3 -m fastchat.serve.gradio_web_server
默认端口为 7860，可通过 --port 指定。
如果在启动过程中报错的话，这有可能是由于 Gradio 的版本不兼容导致的，将 Gradio 降级至 3.48.0 即可解决。
启动 OpenAI API Server
python3 -m fastchat.serve.openai_api_server
默认端口为 8000，可通过 --port 指定。在启动 OpenAI API Server 的时候可通过参数 --api-keys 指定 API Key 的列表，在不指定的情况下在客户端填入任意值皆可。
使用 OpenAI API
本文使用的 OpenAI SDK 的版本为 v1，与 v0 版本的接口存在一定的差异，详情请访问 OpenAI Python SDK 的文档。
安装 OpenAI Python SDK：
pip install openai
OpenAI Python调用：
- 创建 Chat Completion（Default）代码：
import os
from openai import OpenAI
# 设置API密钥和API基地址
os.environ["OPENAI_API_KEY"] = "na" # 在启动 OpenAI API Server 的时候可通过参数 `--api-keys` 指定 API Key 的列表，在不指定的情况下在客户端填入任意值皆可。
os.environ["OPENAI_BASE_URL"] = "http://localhost:8000/v1" # 本地地址
# 创建OpenAI客户端实例
client = OpenAI()
# 定义模型名称和消息
model_name = "Meta-Llama-3.1-8B-Instruct" # 请根据实际使用的模型名称进行替换
messages = [
{"role": "system", "content": "You are an AI assistant."},
{"role": "user", "content": "中国的全名?"}
]
# 发送聊天完成请求
chat_completion = client.chat.completions.create(
model=model_name,
messages=messages
)
# 打印聊天响应内容
print(chat_completion.choices[0].message.content)
- 创建 Completion代码：
import os
from openai import OpenAI
# 设置API密钥和API基地址
os.environ["OPENAI_API_KEY"] = "na" # 在启动 OpenAI API Server 的时候可通过参数 `--api-keys` 指定 API Key 的列表，在不指定的情况下在客户端填入任意值皆可。
os.environ["OPENAI_BASE_URL"] = "http://localhost:8000/v1" # 本地地址
# 创建OpenAI客户端实例
client = OpenAI()
# 定义模型名称和消息
model_name = "Meta-Llama-3.1-8B-Instruct" # 请根据实际使用的模型名称进行替换
prompt = "Once upon a time"
completion = client.completions.create(
model=model_name,
prompt=prompt,
max_tokens=64
)
print(prompt + completion.choices[0].text)
创建 Chat Completion（Stream）代码
import os
from openai import OpenAI
# 设置API密钥和API基地址
os.environ["OPENAI_API_KEY"] = "na" # 在启动 OpenAI API Server 的时候可通过参数 `--api-keys` 指定 API Key 的列表，在不指定的情况下在客户端填入任意值皆可。
os.environ["OPENAI_BASE_URL"] = "http://localhost:8000/v1" # 本地地址
# 创建OpenAI客户端实例
client = OpenAI()
# 定义模型名称和消息
model_name = "Meta-Llama-3.1-8B-Instruct" # 请根据实际使用的模型名称进行替换
completion = client.chat.completions.create(
model = model_name,
messages=[
{
"role": "user",
"content": "Say this is a test",
}
],
stream=True
)
for chunk in completion:
if chunk.choices[0].finish_reason == "stop":
break
else:
print(chunk.choices[0].delta.content, end="", flush=True)
可以访问 OpenAI API 的文档获取更多的信息。
FastChat框架及各个参数详解，请参考作者文章大模型实战--FastChat一行代码实现部署和各个组件详解
