k8s Docker

Docker

Docker安装

sudo apt install docker.io
docker -v

Cgroup and systemd配置
sudo nano /etc/docker/daemon.json
添加以下：
{
    "registry-mirrors": [
    "https://dockerhub.azk8s.cn",
    "https://reg-mirror.qiniu.com",
    "https://quay-mirror.qiniu.com"
    ],
    "exec-opts": [ "native.cgroupdriver=systemd" ]
}

sudo systemctl daemon-reload
sudo systemctl restart docker
sudo docker info | grep Cgroup 
查看是否为systemd

docker用到的命令

sudo docker run -d  -p 80:80 -v /etc/localtime:/etc/localtime:ro -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY=unix:1 -e GDK_SCALE  -e GDK_DPI_SCALE --name test1 game:12 python3 /PYTRIS-master/something.py


docker run -d -it  -p 127.0.0.1:36777:80 -v /etc/localtime:/etc/localtime:ro    -v /tmp/.X11-unix:/tmp/.X11-unix    -e DISPLAY=unix$DISPLAY   -e GDK_SCALE  -e GDK_DPI_SCALE    --name test1   ytt/gametest python3 /PYTRIS-master/something.py
 
docker build -t hello:v0 .
docker创建容器，下面的可行。
docker create --name hello-docker-1 -p 8080:8080 hello:v0
docker start hello-docker-1
docker stop
docker restart      

下面的有待测试
sudo docker run -it -p 8080:8080 --name hello hello:v0
sudo docker run -p 8080:8080 --name hello hello:v0
sudo  docker run  -it --name hello-docker-2 -p 8080:8080 -it hello:v0  /bin/bash
(-i 交互 -t 终端)

sudo docker save -o xx.tar
sudo docker load -i xx.tar

docker run -d -it -p 36999:80 -v /etc/localtime:/etc/localtime:ro    -v /tmp/.X11-unix:/tmp/.X11-unix    -e DISPLAY=unix$DISPLAY   -e GDK_SCALE=5  -e GDK_DPI_SCALE=1    --name test5  6d8  python3 /PYTRIS-master/something.py  
//下面的是不行的，注意要双引号
sudo kubectl run game-node2 --image=dockergame3:ting --env='DISPLAY=unix$DISPLAY' --env='GDK_SCALE=1' --env='GDK_DPI_SCALE=1' --port=80 -o yaml --dry-run    | python3 yaml_nodeName.py k8s-node2    | sudo kubectl apply -f -

Kubernetes

k8s的安装

sudo apt-get update
sudo apt-get install -y apt-transport-https
sudo curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add - 
得到输出：ok

sudo vim /etc/apt/sources.list.d/kubernetes.list
添加下面一行
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main

sudo apt-get update
安装特定版本
sudo apt install kubectl=1.22.2-00 kubeadm=1.22.2-00 kubelet=1.22.2-00
sudo kubeadm version

k8s配置

master

1. kubeadm init

kubeadm init --apiserver-advertise-address=192.168.113.39 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16 --control-plane-endpoint k8s-api.ilinux.io --token-ttl 0

sudo kubeadm init --apiserver-advertise-address=10.42.0.20 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16

sudo kubeadm init --kubernetes-version=v1.22.2 --apiserver-advertise-address=10.42.0.20 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16

加上k8s version可以解决kubeadm config images pull问题,也可以手动拉下来，这里使用的是第三个命令

2. 部署kubectl

按照教程，不要用书上或者运行完给出的信息
sudo mkdir -p /root/.kube 
sudo cp /etc/kubernetes/admin.conf /root/.kube/config

3. kubeadm config images pull

如果还是卡住，换源，加上版本也没用的话，kubeadm config images list查看依赖的镜像，通过一个个pull下来再打上tag。下面是需要的docker镜像(1.22.2版本)：

k8s.gcr.io/kube-apiserver:v1.22.2
k8s.gcr.io/kube-controller-manager:v1.22.2
k8s.gcr.io/kube-scheduler:v1.22.2
k8s.gcr.io/kube-proxy:v1.22.2
k8s.gcr.io/pause:3.5
k8s.gcr.io/etcd:3.5.0-0
k8s.gcr.io/coredns/coredns:v1.8.4
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/${image} k8s.gcr.io/${imageName}
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/${imageName}

flannel部署

sudo kubeadm apply -f kube-flannel.yml

下面是手动pull别人传上去的flannel，暂时还没用到。
sudo docker pull xwjh/flannel:v0.14.0
sudo docker tag xwjh/flannel:v0.14.0 quay.io/coreos/flannel:v0.14.0
sudo docker rmi xwjh/flannel:v0.14.0

文件在flannel
科学上网才拉的下来，具体的文本内容已经附在后面。

cs unhealthy

sudo kubectl get cs
scheduler controller-manager unhealthy 
注释/etc/kubernetes/manifests/相关文件的port=0
注意bak不要放在这里，否则没用。

coredns的问题

pod coredns pending or containercreating
删掉再建就好,可以耐心等。
sudo kubectl edit cm coredns
sudo kubectl delete pod xx --force --grace-period=0

node

kubeadm join

• Cgroup报错的解决方法
  在其后加入这两个,记得在后面加,不要换行.
  sudo nano /boot/firmware/cmdline.txt
  cgroup_enable=memory cgroup_memory=1

• pod error
  注意每个k8s的镜像是否获取得到，在本地
  Failed to pull image "hello:v0": rpc error: code = Unknown desc = Error response from daemon: pull access denied for hello, repository does not exist or may require 'docker login': denied: requested access to the resource is denied

• join 之后，get nodes notReady
  container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
  这个主要是没部署flannel才会出现的问题，现在在master部署上之后就不会了
  还要稍微要等以下，不要急，这个主要就是网络的问题.

• 如果一个新的node上面什么都没有，可能会报错
  要用describe查看错误，像node3就是没有pause，通过pull list找到版本，再手动阿里源添加pause，打上tag

• join 错误：token过期
  error execution phase preflight: couldn't validate the identity of the API Server: could not find a JWS signature in the cluster-info ConfigMap for token ID "czeg5p"
  重新生成token
  kubeadm token create --print-join-command

k8s相关知识

标签label

查看 kubectl get nodes --show-labels
打标签 kubectl label nodes node-name label-key=label-value
删除标签 kubectl label nodes node-name label-key- 
修改标签 kubectl label nodes node-name label-key=label-value --overwrite
yaml 添加nodeSelector选项 label-key=label-value用来选择对应的node
或者通过nodename
sudo kubectl label nodes k8s-node1  node=node1 
sudo kubectl label nodes k8s-node2  node=node2 
sudo kubectl label nodes k8s-node3  node=node3 
在这里，no=1不行，node=node2，lin=zelin这种标签行。

kubectl（create，run，expose）

kubectl create namespace test
(1)
sudo kubectl create deployment test-hello --image=hello:v0 --port=8080 -n test
create deployment
sudo kubectl expose deployment test-hello --type=LoadBalancer -n test
上面这个可行。
(2)
kubectl run test-node --image=hello:v0 --port=8080 --image-pull-policy=Never -n test
create pod
上面的这个也行
(3)
sudo kubectl create deployment test-hello --image=hello:v0 --port=8080 --image-pull-policy=Never -n test
上面的不行，image-pull-policy不能加在create，只能加在run。

修改镜像

sudo kubectl set image deployment/hello-node hello-node=hello-node:v2

容器内的运行

sudo kubectl exec -it hello-d-996b47ddc-l4kgh -n hello-test date
Mon Oct 25 15:58:46 UTC 2021
sudo kubectl exec -it hello-d-996b47ddc-l4kgh -n hello-test -- date
Mon Oct 25 15:59:04 UTC 2021
sudo kubectl exec -it hello-d-996b47ddc-l4kgh -n hello-test -- ls -a
sudo kubectl exec -ti hello-d-996b47ddc-l4kgh -n hello-test /bin/bash 
sudo kubectl logs hello-d-996b47ddc-l4kgh -n hello-test

以nodeName指定结点，py文件为yaml_nodeName

sudo kubectl run game-node2 --image=dockergame3:ting --env="DISPLAY=unix$DISPLAY" --env="GDK_SCALE=1" --env="GDK_DPI_SCALE=1" --port=80 -o yaml --dry-run | python3 yaml_nodeName.py k8s-node2 | sudo kubectl apply -f -
以nodeSelector指定结点，py文件为yaml_nodeSelector:
sudo kubectl run game-node1 --image=dockergame3:ting --env="DISPLAY=unix$DISPLAY" --env="GDK_SCALE=1" --env="GDK_DPI_SCALE=1" --port=80 -o yaml --dry-run | python3 yaml_nodeSelector.py node1 | sudo kubectl apply -f -
最后暴露svc
sudo kubectl expose pod game-node1 --type=LoadBalancer
sudo kubectl expose pod game-node2 --type=LoadBalancer