前 言
前面的文章，我们都是围绕在k3s本身或是其关键的应用场景边缘计算中，阐述着相关内容。除了我们常提起的边缘计算领域，k3s还可以在研发侧提供便捷的k8s基础设施，在这个领域k3s的社区玩家们创造了一个小工具，它对于我们搭建本地k3s环境提供了非常大的便利，这个工具就是k3d。
Github链接：https://github.com/rancher/k3d
k3d使用
k3d的下载是非常方便的，可以访问Github Repo对应的release页面，选择对应架构的binary，也可以通过包管理工具或者手动编译来获取binary。k3d的原理就是在容器里面运行k3s，这样我们就可以像管理容器一样很方便的管理k3s。比如我们使用的版本是v1.3.4（本文撰时是latest版本），以下命令帮助我们快速创建一个k3s集群：
$ ./k3d create -n xxx-c1
INFO[0000] Created cluster network with ID d946268b2c5bed21adce83c58031391cb80d52a5291581ed2b17c5f19a8b4d1f
INFO[0000] Created docker volume k3d-xxx-c1-images
INFO[0000] Creating cluster [xxx-c1]
INFO[0000] Creating server using docker.io/rancher/k3s:v0.9.1...
INFO[0001] SUCCESS: created cluster [xxx-c1]
INFO[0001] You can now use the cluster with:
export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
kubectl cluster-info
根据返回信息提示，我们可以使用kubectl来操作本地的k3s集群：
$ export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
$ kubectl get ns
NAME STATUS AGE
default Active 3m13s
kube-system Active 3m13s
kube-public Active 3m13s
kube-node-lease Active 3m13s
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-xxx-c1-server Ready master 3m15s v1.15.4-k3s.1
这里有一处细节，就是k3d创建k3s集群的默认版本遵循什么规则？每个k3d版本在发布构建时，都会以发布k3s的latest版本作为默认版本，也就是说k3d v1.3.4发布时，k3s的latest刚好是v0.9.1。如果我们想运行指定版本的k3s，可以执行如下命令（使用-i指定k3s image）：
$ ./k3d create -n k3s-v100 -i rancher/k3s:v1.0.0
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-k3s-v100-server Ready master 24s v1.16.3-k3s.2
在airgap环境使用时，尤其是网络受限无法下载某些镜像时，可以把k3s对应版本的airgap镜像下载下来，通过k3d导入到对应的k3s集群中，操作方式如下：
$ ./k3d create -n xxx-c4 -i rancher/k3s:v1.0.0 -v
$(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images
通过映射目录可以把airgap images传给k3s集群，k3s在启动时会自动加载该镜像文件。如果想针对某个k3s集群手动导入镜像，可以进入k3d创建的容器中，使用ctr命令导入：
$ ctr images import xxxx.tar
$ ctr images ls # check the results
默认情况下，通过k3d创建k3s集群，其实就是创建一个docker容器。如果我们想模拟多节点的k3s集群，可以直接通过k3d的worker参数控制，比如：
$ ./k3d create -n xxx-c5 -i rancher/k3s:v1.0.0 -v $(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images --workers 2
$ kubectl get no
NAME STATUS ROLES AGE VERSION
k3d-xxx-c5-worker-1 Ready <none> 10s v1.16.3-k3s.2
k3d-xxx-c5-worker-0 Ready <none> 8s v1.16.3-k3s.2
k3d-xxx-c5-server Ready master 7s v1.16.3-k3s.2
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
08b7a0211be7 rancher/k3s:v1.0.0 "/bin/k3s agent" 2 minutes ago Up 2 minutes k3d-xxx-c5-worker-1
85b4a46cf828 rancher/k3s:v1.0.0 "/bin/k3s agent" 3 minutes ago Up 2 minutes k3d-xxx-c5-worker-0
acca7be5a452 rancher/k3s:v1.0.0 "/bin/k3s server --h…" 3 minutes ago Up 2 minutes 0.0.0.0:6443->6443/tcp k3d-xxx-c5-server
执行过程中需要注意，由于是多个节点组建k3s集群，所以需要稍等片刻。执行成功后，我们会看到三个docker容器，2个纯粹的worker node和1个master+worker node。
由于k3d通过容器方式创建k3s集群，这就带来另外一个好处，就是我们可以在一个机器上部署多个k3s集群，且是不同版本的k3s，比如：
$ ./k3d create -n xxx-c1 -i rancher/k3s:v0.9.1
$ ./k3d create -n xxx-c2 --api-port 6888 -i rancher/k3s:v0.10.2
$ ./k3d ls
+--------+-------------------------------+---------+---------+
| NAME | IMAGE | STATUS | WORKERS |
+--------+-------------------------------+---------+---------+
| xxx-c2 | docker.io/rancher/k3s:v0.10.2 | running | 0/0 |
| xxx-c1 | docker.io/rancher/k3s:v0.9.1 | running | 0/0 |
+--------+-------------------------------+---------+---------+
这里需要注意，每个集群api-server暴露的端口需要做区分，否则会报端口重复占用错误。
既然我们可以在本地创建k3s，那么我们其实完全可以把这个k3s导入到本地的Rancher2中，这样就相当于给本地的k3s添加了一个UI控制界面。这个执行方式比较简单，只要通过docker exec进入容器中，执行import相关命令正常导入即可。不过需要注意的是，k3s v1.0.0版本需要Rancher2.3+版本才能兼容。其原因是，k3s做了API精简，Rancher2.2使用的导入命令中刚好引入了k3s v1.0.0无法兼容的resource version，如果你是一个高玩，可以手动修改resource version，否则请使用Rancher2.3。
因为k3d把k3s放在了容器中，所以当我们要暴露一些service时（比如ingress/nodeport等），需要通过k3d预先设定好端口映射。另外，我们在本地搭建k3s环境，也会希望对应的k3s能够使用本地的insecure registry。关于这部分，k3d目前也有一些文档描述：https://github.com/rancher/k3d/blob/master/docs/examples.md ，此部分文档还是比较清晰易懂，无需本文赘述。
后 记
k3s在研发侧支持方面，除了本文介绍的k3d之外，Rancher还在计划开发k3v，k3v可以在完整的k8s集群中虚拟出多个k3s集群，这会更方便IT基础设施团队为研发团队提供隔离的k8s能力。在云原生不断发展成熟的浪潮下，研发团队的交付物也在不断革新，从War包或者binnary到容器镜像再到helm chart方式，未来研发侧对灵活可变的k8s能力需求会特别大，为每个研发人员提供灵活且资源隔离的k8s设施，是容器基础设施未来发展的大趋势。对k8s管理平台而言，其能力边界也要从多物理集群管理延伸到多虚拟集群管理。
