首先选择你的服务器主板支持的显卡类型，比如4090或A100.
然后拆机，对应卡槽安装显卡，注意考虑供电功率是否够。4090的单个功率为450W.
然后安装显卡驱动。
进入[英伟达官网链接](下载 NVIDIA 官方驱动 | NVIDIA
)
image.png
选择你对应的系统和显卡版本。
image.png
选择你想使用的驱动的版本，此处我选择稳定版，即第2个。点击查看进入下载界面即可。
文件名可能类似
NVIDIA-Linux-x86_64-550.107.02.run
chmod 757 NVIDIA-Linux-x86_64-550.107.02.run
./NVIDIA-Linux-x86_64-550.107.02.run
按步骤安装即可。
下面是安装CUDA
nvdia-smi 命令查看你的显卡支持的最高的cuda的版本。
image.png
红圈圈住的字符即为当前你的显卡支持的CUDA的最高版本。这里我选择安装CUDA11.8.
下载CUDA11.8 CUDA Toolkit 11.8 Downloads | NVIDIA Developer
image.png
这里我的系统是ubuntu 18.04，注意选择你的系统的对应版本
root安装CUDA11.8
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run
sudo sh cuda_11.8.0_520.61.05_linux.run
然后nvcc -V即可输出信息。
如果你不是root,也可以自己安装想使用的cuda版本。
非root安装cuda
第1步：mkdir ~/CUDA11.8 注意一定要是这个位置，版本不一样可以换成是mkdir ~CUDA12.0
cp cuda_11.8.0_520.61.05_linux.run ~/CUDA11.8
chmod 757 cuda_11.8.0_520.61.05_linux.run
sh cuda_11.8.0_520.61.05_linux.run
下面需要每一步手动选择路径，
image.png
使用回车键取消
Driver前面的x.然后选择Options，回车进入。
image.png
选择Toolkit Options选项进入
image.png
进入ChangeToolkit Install Path
image.png
修改里面的路径为你上面新建的
~/CUDA11.8的绝对路径
image.png
done，之后修改Library路径。
image.png
done,之后回到最开始的界面，选择Install.
安装完成后会出现bin路径信息。
修改
~/.bashrc文件，添加如下几行：
image.png
export CUDA_HOME=$CUDA_HOME:/home/XXX/CUDA11.8
export PATH="/home/XXX/CUDA11.8/bin:$PATH"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/XXX/CUDA11.8/lib64
注意里面的XXX需要是你的账户名。/home/XXX/CUDA11.8这个应该是~/CUDA11.8对应的绝对路径。
安装完成后，运行nvcc -V即会出现类似下面的信息。
image.png
安装cuDNN
去注册账户，下载你需要的版本的cuDNN .cuDNN Archive | NVIDIA Developer
image.png
注册之后即可下载。如果你的系统很老，则可能需要选择比较[早版本的cuDNN](cuDNN Archive | NVIDIA Developer 比如cuDNN9就不在支持ubuntu18.04了。所以需要选择更早的版本的cuDNN.
),注意后面的CUDA11.X选择对应的版本。
tar -xvJf cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz
cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/cudnn.h ~/CUDA11.8/include/
cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/libcudnn* ~/CUDA11.8/lib64/
chmod a+r ~/CUDA11.8/include/cudnn*.h
chmod a+r ~/CUDA11.8/lib64/libcudnn*
参考地址：Linux 服务器下非root用户安装CUDA完整流程（多次踩雷经验总结）_linux cuda安装-CSDN博客
之后就可以安装深度学习框架了。
