背景
在docker 19版本之前，docker没有做容器中使用GPU的支持。nvidia团队根据OCI容器规范针对Docker、LXC以及Podman等虚拟容器进行了适配开发，并发布了NVIDIA Container Toolkit。概览传送门：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/overview.html。在docker中使用GPU相对比较麻烦。但是!
docker发布19版本后，在docker中使用GPU变得方便。docker添加了使用gpu的option。使得只需要一个option即可在容器中使用GPU，跳过了复杂的配置大大降低了使用难度。
在docker(version >= 19)中使用GPU
本机环境
- 宿主机系统：ubuntu16.04
- nvidia driver:
Fri Apr 1 14:42:32 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.56 Driver Version: 418.56 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 106... Off | 00000000:01:00.0 On | N/A |
| 33% 41C P2 31W / 120W | 2899MiB / 6075MiB | 4% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
- cuda版本：10.1 cudnn版本 7.5
环境准备
- 下载docker version >=19
- 下载英伟达显卡驱动
- 下载nvidia-container-runtime
- 根据官方指引配置软件包仓库地址，之后执行
apt-get install nvidia-container-runtime- check nvidia-container-runtime是否安装成功
which nvidia-container-runtime-hook - 重启docker daemon
PS. nvidia-container-runtime的工作原理（此坑有时间填），基本原理是用钩子把宿主机显卡驱动映射到容器内。
向docker暴露GPUs
在启动容器时使用--gpus 使主机上的GPU可访问，并且可以配置使用多少块GPU。
docker run -it --rm --gpus all ubuntu nvidia-smi
将所有GPU暴露给容器，并调用“nvidia-smi"返回的结果：
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.130 Driver Version: 384.130 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GRID K520 Off | 00000000:00:03.0 Off | N/A |
| N/A 36C P0 39W / 125W | 0MiB / 4036MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
更详细的gpu配置强推官方指引：https://docs.docker.com/config/containers/resource_constraints/#access-an-nvidia-gpu
容易忽略的必要配置
在暴露GPU到容器时，包含capability选项，该选项制定了docker容器需要使用的GPU能力。
GPU能力包括：
- compute： 需要在docker中使用CUDA和OpenCL
- compat32：需要在docker中运行32位程序
- graphics: 需要在docker中使用OpenGL和Vulkan
- utility：需要在docker中使用nvidia-smi 和 NVML
- video：需要在docker中使用视频编解码
- display：需要在docker中使用X11
在启动容器时需要为容器指定其需要的GPU能力，默认为utility。在深度学习开发中，往往需要cuda和cudnn此时需要添加compute能力。
指定capability的方法
为容器指定capability的方法有两种，
- 一是通过docker run时添加option，例如
docker run --gpus 'all,capabilities=utility' --rm ubuntu nvidia-smi
- 二是在dockerfile中设定环境变量
nvidia提供了多个环境变量用于配置GPU在docker中具体的行为，详情可参考：
https://github.com/NVIDIA/nvidia-container-runtime
使用cuda+cudnn的docker容器
推荐使用nvidia官方发布的镜像作为基础镜像。
nvidia cuda镜像
nvidia发布3个版本的cuda镜像： base， runtime， devel。三者的区别如下
| Name | description |
|---|---|
| base | docker内包含最基本的用于部署预构建CUDA应用的库（libcudart），如果你希望自己安装指定版本的CUDA库，推荐使用该镜像 |
| runtime | docker内包含所有CUDA +cudnn的运行时库，如果你的程序需要依赖CUDA+CUDNN，推荐使用此版本 |
| devel | docker内除运行时库之外，还包含了CUDA编译器工具链以及debug工具，头文件，静态库，当需要在docker内编译依赖CUDA+CUDNN的项目（如OpenCV)时推荐使用此版本 |
补充
当然你可以在自己的base docker中安装cuda，cudnn等环境而非使用nvidia docker作为base，可以参考nvidia docker的Dockerfile进行自己的定制，传送门：https://gitlab.com/nvidia/container-images/cuda/-/tree/master/dist
