本文已过期

当前 k8s 发行版已默认使用 containerd，新搭建的集群不再需要迁移 CRI

废话

一个叫做 dotCloud 的小公司开发出了全球最火爆的容器技术 —— docker，以至于后来这个公司直接就改名叫做 Docker 了。而现在，docker 公司将它的 docker 容器改为了基于 contaienrd 实现，“自愿”将 containerd 开源。同时也“自愿”将一众容器技术形成标准化，便于大公司们替换为自研技术。

docker 带火了容器的时候，很多公司基于容器技术的核心 —— linux 内核的 namespace 和 cgroup 技术都实现了自己的容器，比如 coreos 已经放弃的 rkt 容器、podman、kata、还有一众云厂商比如 aws、阿里云自己搞出来的容器。于是就有人搞了一个 OCI(Open Container Initiative) 倡议大家一起搞容器界的各种标准。

kubernetes 本是一个资源编排平台，就像一个全球航运调度平台。docker 的出现让应用可以像集装箱货物一样可以方便的在航运系统内流通。最开始 kubernetes 为了兼容 docker，自己写了一套 Dockershim 兼容层。后来 rkt 容器出来了，于是程序员又给 rkt 做了兼容。然后程序员就不乐意了 —— 总不能每次出来一个新容器，我就要写一套兼容层吧？

于是，kubernetes 自己定义了一套 CRI(Container Runtime Interface) 容器运行时接口。方便各种容器使用 CRI 来兼容 kubernetes。但后来容器那边自己的 OCI 出来了，于是就有了 CRI-O —— 让 CRI 使用 OCI 容器。

也就是说，除了 rkt 这个自己玩儿没了的容器，现在 kubernetes 原生支持的容器就只有 docker 和 containerd，剩下的容器全部通过 CRI-O 支持。

但是有个问题，kubernetes 通过 Dockershim 兼容的 docker，但 docker 现在又是基于 containerd-shim 兼容的 containerd。这就太蛋疼了。

于是 kubernetes 决定在 1.24 之后不再维护 Dockershim，直接对接 containerd。

开搞

apt install -y containerd kubeadm=1.23.4-00 kubectl=1.23.4-00 kubelet=1.23.4-00
systemctl enable containerd kubelet

ubuntu 的 apt 仓库自带 containerd。docker-ce 仓库里也有，叫做 containerd.io，版本会新一些。两个一样用，差不太多。

装好之后需要修改下配置文件：

containerd config default | \
  sed 's@/var/lib/containerd@/data/containerd@g' | \
  sed 's@k8s\.gcr\.io@google_containers@g' | \
  sed '/SystemdCgroup/c \
            SystemdCgroup = true' |
  sed '/registry\.mirrors/a \
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.10:8082"]\
          endpoint = ["http://192.168.1.10:8082"]\
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\
          endpoint = ["http://192.168.1.10:8082"]'> /etc/containerd/config.toml

上面是一键命令，注意空格数量不能错，否则配置文件就炸了。

你也可以一步一步得来：

containerd config default > /etc/containerd/config.toml

首先生成默认配置

sed -i  's@k8s\.gcr\.io@google_containers@g' /etc/containerd/config.toml

然后把国内连不上的谷歌镜像仓库改为默认仓库
接着修改 SystemdCgroup = false 为 SystemdCgroup = true
最后在 [plugins."io.containerd.grpc.v1.cri".registry.mirrors] 后面追加：

        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.10:8082"]
          endpoint = ["http://192.168.1.10:8082"]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["http://192.168.1.10:8082"]

前两行设置连接私库是不使用 https。后两行将 dockerhub 仓库重定向到私库，这样当镜像名不包含仓库地址时，默认使用的 docekr.io 仓库就是我们自己搭建的私库了。
重启 container 后生效。

systemctl restart containerd
crictl config --set runtime-endpoint=unix:///run/containerd/containerd.sock
crictl config --set image-endpoint=unix:///run/containerd/containerd.sock

crictl 是随 kube 三件套一起安装的命令行工具。设置了容器运行时后，crictl 默认就可以操作 containerd 了。

在 kubeadm 生成的 kubeadm.init.yaml 文件中，注意修改 criSocket：

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
nodeRegistration:
  criSocket: /run/containerd/containerd.sock
---
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd

同时也记得在 kubeadm.init.yaml 末尾追加一段 KubeletConfiguration，来设置 cgroupDriver 为 systemd。

kubeadm init 没有变化。而其他节点使用 kubeadm join 命令加入集群时，需要添加参数：--cri-socket /run/containerd/containerd.sock。

从 docker 迁移

上面是新装集群的 containerd 使用方法。

如果你是从现有的 docker kubernetes 集群迁移，除了上文中对 containerd 的配置外，你需要在集群的每个 node 完成以下操作：

• 对 node 执行 cordon 和 drain
• 编辑 /var/lib/kubelet/kubeadm-flags.env ，添加 --container-runtime=remote --container-runtimeendpoint=unix:///run/containerd/containerd.sock
• kubectl edit node 编辑 node 的 annotation，修改 kubeadm.alpha.kubernetes.io/cri-socket 为 unix:///var/run/cri-dockerd.sock
• systemctl restart kubelet
• 对 node 执行 uncordon

赠品

kubernetes 1.22 开始对 Ingress 资源进行了大改。废弃了 Ingress 对象的 extensions/v1beta1 和 networking.k8s.io/v1beta1 API，仅支持 networking.k8s.io/v1。
同时加入了 IngressClass 对象（networking.k8s.io/v1），支持集群内多种 Ingress 控制器实现。而 Ingress 资源必须显式指定所使用的 Ingress 控制器实现 —— 除非集群内通过 IngressClass 设置了唯一的默认控制器。

如果你的集群只需要一个 Ingress 控制器，又恰巧是 kubernetes 官方的 Ingress 控制器实现，你就可以使用以下命令方便得安装：

helm upgrade -i --create-namespace ingress-nginx ingress-nginx/ingress-nginx --version=4.0.19 \
    --namespace ingress-nginx \
    --set controller.image.repository=ingress-nginx/controller \
    --set controller.image.digest=null \
    --set controller.dnsPolicy=ClusterFirstWithHostNet \
    --set controller.hostNetwork=true \
    --set controller.kind=DaemonSet \
    --set controller.service.enabled=false \
    --set controller.reportNodeInternalIp=true \
    --set controller.admissionWebhooks.enabled=false \
    --set controller.ingressClassResource.default=true \
    --set 'controller.tolerations[0].operator=Exists' \
    --set 'controller.tolerations[0].effect=NoExecute' \
    --set 'controller.tolerations[1].operator=Exists' \
    --set 'controller.tolerations[1].effect=NoSchedule' \
    --set controller.config.compute-full-forwarded-for=true \
    --set controller.config.hsts=false \
    --set controller.config.use-forwarded-headers=true

思考

上面的 helm 命令，参数都代表什么意思？