LLaMA-Factory 安装

一、英伟达显卡驱动安装

官方下载：NVIDIA驱动下载中心
✅ 操作指引：

1. 版本选择：推荐使用Game Ready驱动（适合AI开发），若需稳定性可选Studio驱动
2. 安装技巧：
   • 勾选"执行清洁安装"以清除旧驱动残留
   • 多屏用户需同时更新DP显示器固件
3. 验证命令：

   nvidia-smi  # 显示驱动版本及GPU状态（示例输出见网页4）
   

image.png

二、CUDA 12.2安装指南

官方下载：CUDA 12.2存档版
✅ 关键步骤：

1. 系统检查：

   nvidia-smi | findstr "CUDA"  # 确认驱动支持的最高CUDA版本,比如这里的12.2为最高版
   

image.png

2. 安装模式：
   • 联网安装：选择"network"安装包
   • 离线安装：下载exe文件后运行，本次按这种方式

image.png

3. 环境配置(没有需手动添加)：

CUDA_PATH
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2
CUDA_PATH_V12_2
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2

三、PyTorch安装

版本选择：历史版本库
✅ 知道本机CUDA最高版本（如12.2，选择安装cu121），会自动安装其他依赖版本：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 

知道依赖版本下载安装：对应版本

版本解释：

比如:torch-2.3.0+cu121-cp310-cp310-win amd64.whl
cu121:表示cuda版本为12.1
torch-2.3.0:表示torch版本为2.3.0
cp310:表示适用python版本为3.10
win :表示适用于window系统
amd64:表示64位系统

✅ 验证脚本：

import torch
torch.cuda.get_device_name(0)
torch.__version__

四、LLaMA-Factory部署指南

项目地址：GitHub仓库
文档中心：中文文档

✅ 部署流程：

# 1. 创建虚拟环境
conda create -n llama_factory python=3.10
conda activate llama_factory

# 2. 克隆仓库
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 3. 安装依赖（含多GPU支持）
pip install -e ".[torch,metrics]"

✅ 手动下载模型：

git lfs install #lfs大文件传输
git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

✅ 代码下载模型：

pip install modelscope #安装依赖

用modelscope库下载
#模型下载
from modelscope import snapshot_download
#linux系统
#local_dir = "/LLaMA-Factory/Qwen2-1.5B-Instruct"
#windows系统
local_dir = "D:/AiModel/Qwen2-1.5B-Instruct"
model_dir = snapshot_download('qwen/Qwen2-1.5B-Instruct',local_dir=local_dir)

✅ 启动：

# 启动WebUI控制台
llamafactory-cli webui

五、环境验证清单

注意事项：

1. 驱动与CUDA存在版本绑定关系，建议先升级驱动再安装CUDA
2. nvidia-smi与nvcc -V能正常执行，表明驱动和CUDA安装成功