由于某些不可名状的因素导致我们原来的镜像私服仓库不能用了，所以将镜像都存放在了阿里云的容器镜像服务。然后然在服务发布时发现pull镜像有问题，此文档用于记录问题解决过程。
问题现象
- 容器拉取镜像失败
$ kubectl describe pods bxpp-6426-657b7ff794-gppfv
......
Warning Failed 2s (x2 over 17s) kubelet, 172.16.77.189 Failed to pull image "registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev:9311": rpc error: code = Unknown desc = Error response from daemon: pull access denied for registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev, repository does not exist or may require 'docker login'
......
报错信息为访问被拒绝，需要登录仓库，但是在pod所在的node节点已经登录了，而且使用docker pull是可以拉取的，如下：
$ [root@k8s-77-189 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev:9311
9311: Pulling from cotte-internal/bl-trex-bxpp-dev
b8e0383d5f94: Already exists
dbfdecf77fbc: Already exists
c422ba8ef74a: Already exists
b1694b232e8c: Already exists
a3cbd3004bf0: Already exists
27fa098e67c0: Already exists
d44aa4b2cfed: Already exists
7ce0daded1f5: Already exists
f7426546b5c4: Already exists
ef745c7a9450: Already exists
54d66b1b14e6: Already exists
2177c4e892bd: Pull complete
1dfaf8ad1ef8: Pull complete
ae4bf6fc0e55: Pull complete
c2d967a1704b: Pull complete
74fb1d311005: Pull complete
d4b854d780f8: Extracting [==============================> ] 64.62MB/107MB
问题解决
方案一
查看官方文档，发现kubelet在提取镜像时会读取${home}/.docker/config.json中的认证密钥，但是上述报错情况，显然没有读取到/root/.docker/config.json的密钥，重启kubelet也没有效果。根据官方文档所写，将${home}/.docker/config.json文件复制到/var/lib/kubelet下。如下操作：
$ cp ${home}/.docker/config.json /var/lib/kubelet/
$ systemctl restart kubelet.service
执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。
方案二
参考github上一个issues,以root用户登录docker仓库(一登录)，在kubelet的systemd unit文件中加入User=root，重启kubelet。
#注意，我这里是用二进制安装的集群，如果你是用kubeadm安装的，需要找到对应的文件
$ vim /etc/systemd/system/kubelet.service
......
[Service]
User=root #加入此行
......
$ systemctl daemon-reload
$ systemctl restart kubelet
执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。
方案三
创建docker registry认证的Secret。
# 注意secret不会同步到所有的命名空间 如果是多个命名空间 需要单独都创建
$ kubectl create secret docker-registry aliyunregistry --docker-server=XXXXXXX --docker-username=xxxx --docker-password=xxxxx --docker-email=test@gmail.com
$ vim bxpp.yaml
......
spec:
imagePullSecrets: # 加入这个参数
- name: aliyunregistry
containers:
......
$ kubectl apply -f bxpp-test.yaml
执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。
