搭建kubernetes集群及kubernetes集群的应用

本文使用kubernetes版本较老，初次实验简单部署，不足之处较多，欢迎交流。

一、容器编排软件

1、docker编排三剑客：联合使用

docker-machine 管理主机容器
docker-swarm 跨主机，监控容器
docker-compose 编排主机容器

2、ASF旗下的mesos资源调度框架，依赖于marathon编排容器

3、 Google旗下的kubernetes，核心思想是一切皆容器，容器调度框架是Borg

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

Kubernetes 特点

可移植: 支持公有云，私有云，混合云，多重云（multi-cloud）
可扩展: 模块化, 插件化, 可挂载, 可组合
自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展
kubernetes代码托管站点：https://github.com/kubernetes
官方网站：https://kubernetes.io/

二、Kubernetes组件

物理组件master和node

物理组件

1、Master 组件

ETCD
kube-controller-manager
cloud-controller-manager
kube-scheduler
插件 addons
DNS
用户界面
容器资源监测
Cluster-level Logging

Master组件提供集群的管理控制中心,可以在集群中任何节点上运行,但是为了简单起见，通常在一台机器上启动所有 Master组件，并且不会在此机器上运行用户容器。

（1）、kube-apiserver

kube-apiserver用于暴露Kubernetes API。任何的资源请求/调用操作都是通过kube-apiserver提供的接口进行。请参阅构建高可用群集。

（2）、 ETCD

etcd是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划。

（3）、kube-controller-manager

kube-controller-manager运行管理控制器，它们是集群中处理常规任务的后台线程。逻辑上，每个控制器是一个单独的进程，但为了降低复杂性，它们都被编译成单个二进制文件，并在单个进程中运行。

这些控制器包括：

节点（Node）控制器。
副本（Replication）控制器：负责维护系统中每个副本中的pod。
端点（Endpoints）控制器：填充Endpoints对象（即连接Services&Pods）。
Service Account和Token控制器：为新的Namespace创建默认帐户访问API Token。

（4）、cloud-controller-manager

云控制器管理器负责与底层云提供商的平台交互。云控制器管理器是Kubernetes版本1.6中引入的，目前还是Alpha的功能。
云控制器管理器仅运行云提供商特定的（controller loops）控制器循环。可以通过将--cloud-providerflag设置为external启动kube-controller-manager ，来禁用控制器循环。

cloud-controller-manager 具体功能：

节点（Node）控制器
路由（Route）控制器
Service控制器
卷（Volume）控制器

（5）、kube-scheduler

kube-scheduler监视新创建没有分配到Node的Pod，为Pod选择一个Node。

（6）插件 addons

插件（addon）是实现集群pod和Services功能的。Pod由Deployments，ReplicationController等进行管理。Namespace 插件对象是在kube-system Namespace中创建。

（7）DNS

虽然不严格要求使用插件，但Kubernetes集群都应该具有集群 DNS。
群集 DNS是一个DNS服务器，能够为 Kubernetes services提供 DNS记录。
由Kubernetes启动的容器自动将这个DNS服务器包含在他们的DNS searches中。

（8）用户界面

kube-ui提供集群状态基础信息查看和容器资源监测
容器资源监控提供一个UI浏览监控数据。

（9）Cluster-level Logging

Cluster-level logging，负责保存容器日志，搜索/查看日志。

2、节点（Node）组件

kubelet
kube-proxy
docker
RKT
supervisord
fluentd

节点组件运行在Node，提供Kubernetes运行时环境，以及维护Pod。

（1）、kubelet

kubelet是主要的节点代理，它会监视已分配给节点的pod，具体功能：

安装Pod所需的volume。
下载Pod的Secrets。
Pod中运行的 docker（或experimentally，rkt）容器。
定期执行容器健康检查，报告节点状态。

（2）、kube-proxy

kube-proxy通过在主机上维护网络规则并执行连接转发来实现Kubernetes服务抽象。

（3）、docker

docker用于运行容器。

（4）、RKT

rkt运行容器，作为docker工具的替代方案。

（5）、supervisord

supervisord是一个轻量级的监控系统，用于保障kubelet和docker运行。

（6）fluentd

fluentd是一个守护进程，可提供cluster-level logging.。

核心组件

node节点内部组件

Pod内部的容器

3、Node节点的内部组件

Pod：一群容器组成
Labels：标签识别Pod组，每创建一个Pod就会打一个Labels标签
Service：选择器通过Labels选择出一组功能相同的pod加ip，组成一个service
Kubelet ：容器代理
kube-proxy ：kube代理，负载均衡器
etcd：数据存储服务
cAdvisor ：统计代理程序，收集容器资源使用性能统计数据
Replication Controller：管理复制pod组
Scheduler：在工作节点内调度pod组
APIServer： Kubernetes API服务器

4、Pod

Pod内部容器通信，存储

同pod内的容器互相通信使用IPC（节点间通信）;
容器可以找到对方的本地主机;
每个容器名字来自pod组名
每个pod都有一个IP地址在一个层面共享网络空间
在pod内的容器中共享一个存储卷

Pod实现

Label标签

services实现

5、Services

Kubernetes的Service定义了这样一种抽象：逻辑上的一组 Pod，一种可以访问它们的策略 —— 通常称为微服务。这一组 Pod能够被 Service访问到，通常是通过 Label Selector（标签选择器）实现的。
对 Kubernetes 集群中的应用，Kubernetes 提供了简单的 Endpoints API，只要Service 中的一组 Pod发生变更，应用程序就会被更新。对非 Kubernetes 集群中的应用，Kubernetes 提供了基于 VIP 的网桥的方式访问Service，再由 Service 重定向到备用的 Pod。
Services可以暴露出集群内部或外部，成为一个静态API对象，配静态IP进行使用。

6、Discovering services服务发现

第一种：Environment variables环境变量
第二种：DNS

DNS插件：1.3版本，dns实现叫做skydns，以后叫kube-dns
Kubernetes 从 1.3 版本起， DNS 是内置的服务，通过插件管理器集群插件自动被启动。
Kubernetes DNS 在集群中调度 DNS Pod 和 Service ，配置 kubelet 以通知个别容器使用 DNS Service 的 IP 解析 DNS 名字。

7、kubernetes的网络

kubernetes的集群节点间通信使用overlay network叠加网络实现。
叠加网络的实现软件有：flannel、calico、contiv等，其中flannel较为成熟可靠。

三、kubernetes集群快速部署

环境：
master, etcd：192.168.1.61
node1：192.168.1.62
node2：192.168.1.63
前提：
1、基于主机名通信：/etc/hosts；
2、时间同步；
3、关闭firewalld和iptables.service；

OS：CentOS 7.3.1611, Extras仓库中；

安装配置步骤：

1、etcd，仅master节点；
2、flannel，集群的所有节点；
3、配置k8s的master：仅master节点；
kubernetes-master
启动的服务：
kube-apiserver, kube-scheduler, kube-controller-manager
4、配置k8s的各Node节点；
kubernetes-node
先设定启动docker服务；
启动的k8s的服务：
kube-proxy, kubelet

1、部署kubernetes的master节点

设置解析hosts文件

[root@node-61 ~]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.61  master.localhost.localdomain master etcd1 registry
192.168.1.62  node1.localhost.localdomain node1
192.168.1.63  node2.localhost.localdomain node2

为了方便节点间的通信，使用ssh

[root@node-61 ~]# ssh-keygen -t rsa -P ''

[root@node-61 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node1

[root@node-61 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@node2

同步hosts文件

[root@node-61 ~]# scp /etc/hosts node1:/etc/
hosts                                                                                                 100%  321     9.8KB/s   00:00    
[root@node-61 ~]# scp /etc/hosts node2:/etc/
hosts

查看yum中有无extras仓库

[root@node-61 ~]# yum repolist
...........
!extras/7/x86_64

部署etcd

etcd是开源的分布式键值存储，同时支持服务发现，支持leader选举，由go语言研发，访问接口是HTTP+JSON的API。
开发或实验环境部署etcd，单节点即可

开发或实验环境部署etcd

生产环境部署etcd，多节点集群部署，一般为奇数3、5、7、9个。

生产环境部署etcd

安装etcd

[root@node-61 ~]# yum install etcd -y

监听两个端口2379和2380

编辑etcd配置文件

[root@master ~]# vim /etc/etcd/etcd.conf
#[Member]成员配置
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"      #存储目录
ETCD_LISTEN_PEER_URLS="http://192.168.1.61:2380"      #监听集群地址端口
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.61:2379"    #监听客户端地址端口
ETCD_NAME="default"   #名称

#[Clustering]集群配置
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.61:2380"     #集群通告地址端口
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.61:2379"    #集群客户端口
ETCD_INITIAL_CLUSTER="default=http://192.168.1.61:2380"       #集群成员，如果有多个成员在http中间用，隔离,default要保持与name一致。

name：节点名称

data-dir：指定节点的数据存储目录

listen-peer-urls：监听URL，用于与其他节点通讯

listen-client-urls ：对外提供服务的地址：比如 http://ip:2379,http://127.0.0.1:2379 ，客户端会连接到这里和 etcd 交互

initial-advertise-peer-urls：该节点同伴监听地址，这个值会告诉集群中其他节点

initial-cluster ：集群中所有节点的信息，格式为 node1=http://ip1:2380,node2=http://ip2:2380,… >。注意：这里的 node1 是节点的 --name 指定的名字；后面的 ip1:2380 是 --initial-advertise-peer-urls 指定的值

initial-cluster-state：新建集群的时候，这个值为 new ；假如已经存在的集群，这个值为 existing

initial-cluster-token ：创建集群的 token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误

advertise-client-urls：对外公告的该节点客户端监听地址，这个值会告诉集群中其他节点

启动etcd

[root@master ~]# systemctl start etcd
[root@master ~]# ss -tnl
State      Recv-Q Send-Q                                                                   Local Address:Port                                                                                  Peer Address:Port              
LISTEN     0      128                                                                       192.168.1.61:2379                                                                                             *:*                  
LISTEN     0      128                                                                       192.168.1.61:2380                                                                                             *:*

集群检查

#集群信息
[root@master ~]# etcdctl -C http://master:2379 member list
8e9e05c52164694d: name=default peerURLs=http://localhost:2380 clientURLs=http://192.168.1.61:2379 isLeader=true

#集群健康状态
[root@master ~]# etcdctl -C http://master:2379 cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://192.168.1.61:2379

etcd键值存储使用

#创建目录
[root@master ~]# etcdctl -C http://master:2379 mkdir test
[root@master ~]# etcdctl -C http://master:2379 mkdir ls

#查询目录
[root@master ~]# etcdctl -C http://master:2379 ls
/test
/ls

#删除空目录
[root@master ~]# etcdctl -C http://master:2379 rmdir ls
[root@master ~]# etcdctl -C http://master:2379 ls
/test

#创建键值
[root@master ~]# etcdctl -C http://master:2379 mk /test/newkey hello
hello

#获取键值
[root@master ~]# etcdctl -C http://master:2379 get  /test/newkey 
hello

#修改键值
[root@master ~]# etcdctl -C http://master:2379 set  /test/newkey hello-world
hello-world

#删除非空目录
[root@master ~]# etcdctl -C http://master:2379  rm -r /test

安装kubernetes-master

[root@master ~]# yum install kubernetes-master -y

配置

[root@master ~]# vim /etc/kubernetes/apiserver
#非安全http协议的监听地址
KUBE_API_ADDRESS="--insecure-bind-address=192.168.1.61"
#监听端口
# KUBE_API_PORT="--port=8080"
#kubelet监听端口
# KUBELET_PORT="--kubelet-port=10250"
#集群成员，中间用逗号隔开
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.1.61:2379"
#k8s内部服务的地址网段
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
#默认的控制：名称空间生命周期、名称空间存在、资源限制、安全上下文限制、资源配额
policiesKUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
#自定义选项
KUBE_API_ARGS=""

[root@master ~]# vim /etc/kubernetes/config 
#标准日志输出
KUBE_LOGTOSTDERR="--logtostderr=true"
#日志记录级别
KUBE_LOG_LEVEL="--v=0"
#是否允许某个节点运行特权容器
KUBE_ALLOW_PRIV="--allow-privileged=false"
#master地址
KUBE_MASTER="--master=http://192.168.1.61:8080"
~

启动kubernetes

#启动三个服务
[root@master ~]# systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
[root@master ~]# ss -tnl
State      Recv-Q Send-Q Local Address:Port               Peer Address:Port              
LISTEN     0      128    192.168.1.61:2379                      *:*                  
LISTEN     0      128    192.168.1.61:2380                      *:*                  
LISTEN     0      128    192.168.1.61:8080                      *:*                  
LISTEN     0      128           *:22                        *:*                  
LISTEN     0      100    127.0.0.1:25                        *:*                  
LISTEN     0      128          :::6443                     :::*                  
LISTEN     0      128          :::10251                    :::*                  
LISTEN     0      128          :::10252                    :::*

建立docker私有镜像仓库

[root@master ~]# yum install docker-distribution -y
[root@master ~]# systemctl start docker-distribution.service

[root@master ~]# ss -tnl

LISTEN     0      128          :::5000                     :::*

2、node节点的安装

两个node节点操作，同步时间，关闭防火墙，修改hosts文件。

#安装docker
[root@node-62 ~]# yum install docker -y

#配置私有仓库
[root@node-62 ~]# vim /etc/docker/daemon.json 
{ "insecure-registries":["192.168.1.61:5000"] }

#启动docker
[root@node-62 ~]# systemctl start docker

下载镜像，并上传到私有仓库

#从公有仓储下载centos
[root@node-62 ~]# docker pull centos:latest

#修改标签
[root@node-62 ~]# docker tag docker.io/centos:latest 192.168.1.61:5000/centos:latest

#上传到私有仓库
[root@node-62 ~]# docker push 192.168.1.61:5000/centos:latest

两个节点安装kubernetes的node

[root@node-63 ~]# yum install kubernetes-node -y

配置文件

[root@node-62 ~]# vim /etc/kubernetes/kubelet 
#监听地址
KUBELET_ADDRESS="--address=0.0.0.0"

#监听端口
# KUBELET_PORT="--port=10250"

#使用的主机名称，如果引号内部为空，则使用默认系统主机名
KUBELET_HOSTNAME="--hostname-override=node1"

#指明master主机地址
KUBELET_API_SERVER="--api-servers=http://master:8080"

#基础架构容器地址
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

#自定义选项
KUBELET_ARGS=""

#全局配置文件
[root@node-62 ~]# vim /etc/kubernetes/config
........
KUBE_MASTER="--master=http://master:8080"   #指明master主机地址端口


#node1配置文件同步到node2上
[root@node-62 ~]# scp /etc/kubernetes/*  node2:/etc/kubernetes/

启动kubernetes-node

[root@node-62 ~]# systemctl start kubelet.service kube-proxy.service
[root@node-62 ~]# ss -tnl
State      Recv-Q Send-Q Local Address:Port               Peer Address:Port              
LISTEN     0      128    127.0.0.1:10248                     *:*                  
LISTEN     0      128    127.0.0.1:10249                     *:*                  
LISTEN     0      128           *:22                        *:*                  
LISTEN     0      100    127.0.0.1:25                        *:*                  
LISTEN     0      128          :::10250                    :::*                  
LISTEN     0      128          :::10255                    :::*                  
LISTEN     0      128          :::22                       :::*                  
LISTEN     0      100         ::1:25                       :::*                  
LISTEN     0      128          :::4194                     :::*

3、master节点运行容器

kubernetes的状态查询

#查看api版本
[root@master ~]# kubectl -s http://master:8080 api-versions
apps/v1beta1
authentication.k8s.io/v1beta1
authorization.k8s.io/v1beta1
autoscaling/v1
batch/v1
certificates.k8s.io/v1alpha1
extensions/v1beta1
policy/v1beta1
rbac.authorization.k8s.io/v1alpha1
storage.k8s.io/v1beta1
v1

#查看集群相关

[root@master ~]# kubectl -s http://master:8080 cluster-info
Kubernetes master is running at http://master:8080

#获取详细信息
[root@master ~]# kubectl -s http://master:8080 cluster-info dump

#获取节点信息
[root@master ~]# kubectl -s http://master:8080 get no
NAME      STATUS    AGE
node1     Ready     13h
node2     Ready     13h

#查询运行pod
[root@master ~]# kubectl -s http://master:8080 get po

运行容器

格式：kubectl run NAME --image=image [--env="key=value"] [--port=port]
[--replicas=replicas] [--dry-run=bool] [--overrides=inline-json] [--command] --
[COMMAND] [args...] [options]

name：名字
image：镜像路径
--port：暴露端口
--replicas：启动几个副本
--dry-run：测试运行
--overrides：覆盖

--command：改变启动默认命令

#使用私有仓库创建pod
[root@master ~]# kubectl -s http://master:8080 run centos7base --image=192.168.1.61:5000/centos:latest --replicas=2
deployment "centos7base" created

#查询
[root@master ~]# kubectl -s http://master:8080 get deployments
NAME          DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
centos7base   2         2         2            0           29s

#删除部署pod
[root@master ~]# kubectl -s http://master:8080 delete deployment centos7base
deployment "centos7base" deleted

创建pod报错

状态始终是 ContainerCreating，各个节点中也无创建容器

[root@master ~]# kubectl -s http://master:8080 get pods
NAME                    READY     STATUS              RESTARTS   AGE
bbox-3908540199-t7khd   0/1       ContainerCreating   0          4m

#查询日志

[root@master ~]# kubectl -s http://master:8080 describe pod bbox-3908540199-t7khd
.....................
Error syncing pod, skipping: failed to "StartContainer" for "POD" with ErrImagePull: "image pull failed for registry.access.redhat.com/rhel7/pod-infrastructure:latest, this may be because there are no credentials on this request.  details: (open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory)"

#解决方法
原因是node节点上：/etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt这个目录中是一个软连接，实际上并没有这个文件。

#在两个node节点上下载
[root@node-62 ~]#  wget http://mirror.centos.org/centos/7/os/x86_64/Packages/python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm

#安装
[root@node-62 ~]#  rpm2cpio python-rhsm-certificates-1.19.10-1.el7_4.x86_64.rpm | cpio -iv --to-stdout ./etc/rhsm/ca/redhat-uep.pem | tee /etc/rhsm/ca/redhat-uep.pem

4、配置flannel网络

因为flannel的网络配置要保存在etcd中，所以master和两个node节点也要按装etcd

[root@node-62 ~]# yum install etcd -y
[root@node-62 ~]# yum install flannel -y

修改配置文件

[root@master ~]# vim /etc/sysconfig/flanneld 
#etcd地址端口
FLANNEL_ETCD_ENDPOINTS="http://etcd1:2379"
#存储路径
FLANNEL_ETCD_PREFIX="/ilinux.io/network"

#给两个node节点同步配置
[root@master ~]# scp /etc/sysconfig/flanneld node2:/etc/sysconfig/

[root@master ~]# scp /etc/sysconfig/flanneld node1:/etc/sysconfig/

#创建网络
[root@master ~]# etcdctl -C http://etcd1:2379 mk /ilinux.io/network/config '{"Network":"10.7.0.0/16"}'
{"Network":"10.7.0.0/16"}

所有节点启动flanneld服务

[root@master ~]# systemctl start flanneld.service

#flannel自动创建一个隧道网桥

[root@master ~]# ifconfig

................
flannel0: flags=4305<UP,POINTOPOINT,RUNNING,NOARP,MULTICAST>  mtu 1472
        inet 10.7.54.0  netmask 255.255.0.0  destination 10.7.54.0
        inet6 fe80::21d5:9d6a:a31a:d587  prefixlen 64  scopeid 0x20<link>
        unspec 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00  txqueuelen 500  (U

两个node节点重新启动docker服务，使docker自动获取flannel的地址


[root@node-62 ~]# systemctl restart docker.service
[root@node-62 ~]# ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 10.7.9.1  netmask 255.255.255.0  broadcast 0.0.0.0

两个node节点容器测试通信

#node1节点容器
#添加防火墙规则
[root@node-62 ~]# iptables -A FORWARD -s 10.7.9.0/16 -j ACCEPT

[root@node-62 ~]# docker run --name bbox1 --rm -it busybox:latest
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:0A:07:09:02  
          inet addr:10.7.9.2  Bcast:0.0.0.0  Mask:255.255.255.0
/ # ping 10.7.90.2


#node2节点容器
#添加防火墙规则
[root@node-63 ~]# iptables -A FORWARD -s 10.7.90.0/16 -j ACCEPT

[root@node-63 ~]# docker run --name bbox1 --rm -it busybox:latest
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:0A:07:5A:02  
          inet addr:10.7.90.2  Bcast:0.0.0.0  Mask:255.255.255.0
/ # ping 10.7.9.2

四、kubernetes的对象

1、运行容器遇到问题

（1）、定义在那个节点中运行那个pod，而pod中运行什么容器。
（2）、运行的容器化的应用程序，可以获得哪些资源。
（3）、定义运行的容器化的应用程序各种策略，例如重启、升级。

kubernetes集群必须确保对象存在，目标状态，通过kubernetes server交互

kubernetes对象有两种状态：

spec和status
spec状态：目标期望状态
status状态：当前状态
在任何时间，kubernetes control plane要使每个对象处于目标状态，还要定义有几个副本。
在集群中要创建对象时候，必须定义对象的目标状态的描述信息，放置在配置文件中，格式为JSON或yaml格式。

2、容器编排配置文件

各种类型对象及其相关属性文档：
https://v1-9.docs.kubernetes.io/docs/reference/generated/kubernetes-api/v1.9

apiversion：api版本
kind：指明当前属于哪一种部署方式
metadata：源数据配置段
name：定义deployment引用名称
spec：目标状态配置段
replicas：启动pod的数量
template：要创建的pod模板
labels：标签
app：nginx：键值对，键app、值nginx
containers：容器，列出pod中的容器，至少应该一个，且不可被更新。

name：容器的名字，作为DNS_LBAEL使用，使用后被更新到内部DNS。
image：docker镜像

对象文件必须定义apiversion、kind、metadata配置
使用

kubectl create -f ./deployment-example.yaml --record

启动pod常用格式

Deployment对象格式

DaemonSet对象格式

service对象格式

ports：开放端口
slector：挑选器pod，请求发往那个pod
type ：请求转发到pod类型，例如：clusterip、loadbalancer，nodeport，extername

3、示例

master节点启动服务

[root@master ~]# systemctl start etcd.service
[root@master ~]# systemctl start flanneld.service
[root@master ~]# systemctl start docker-distribution.service
[root@master ~]# systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
[root@master ~]# ss -tnl
State       Recv-Q Send-Q Local Address:Port               Peer Address:Port              
LISTEN      0      128    192.168.1.61:2379                      *:*                  
LISTEN      0      128    192.168.1.61:2380                      *:*                  
LISTEN      0      128    192.168.1.61:8080                      *:*                  
LISTEN      0      128           *:22                        *:*                  
LISTEN      0      100    127.0.0.1:25                        *:*                  
LISTEN      0      128          :::5000                     :::*                  
LISTEN      0      128          :::6443                     :::*                  
LISTEN      0      128          :::10251                    :::*                  
LISTEN      0      128          :::10252                    :::*                  
LISTEN      0      128          :::22                       :::*                  
LISTEN      0      100         ::1:25

node1和node2节点启动服务

#避免docker下载https报错，添加
[root@master ~]# vim /etc/docker/daemon.json 
{ "insecure-registries":["192.168.1.61:5000"] }

#启动服务
[root@node-62 ~]# systemctl start flanneld.service docker.service kube-proxy.service  kubelet.service
[root@node-62 ~]# ss -tnl
State       Recv-Q Send-Q Local Address:Port               Peer Address:Port              
LISTEN      0      128    127.0.0.1:10248                     *:*                  
LISTEN      0      128    127.0.0.1:10249                     *:*                  
LISTEN      0      128           *:22                        *:*                  
LISTEN      0      100    127.0.0.1:25                        *:*                  
LISTEN      0      128          :::10250                    :::*                  
LISTEN      0      128          :::10255                    :::*                  
LISTEN      0      128          :::22                       :::*                  
LISTEN      0      100         ::1:25                       :::*                  
LISTEN      0      128          :::4194                     :::*

制作镜像

[root@node-62 ~]# mkdir bbox-httpd
[root@node-62 ~]# cd bbox-httpd/
#测试网页
[root@node-62 bbox-httpd]# vim index.html
<h1>Busybox  Test Httpd Server</h1>
<h2>k8s cluster</h2>

#dockerfile
[root@node-62 bbox-httpd]# vim dockerfile
FROM docker.io/busybox:latest
MAINTAINER "hehe@hehe.com"
ADD index.html /appdata/html/
EXPOSE 80/tcp
CMD ["/bin/httpd","-f","-h","/appdata/html/"]

#制作镜像
[root@node-62 bbox-httpd]# docker build ./ -t 192.168.1.61:5000/bbox-httpd:v0.2


#推送到私有仓库
[root@node-62 bbox-httpd]# docker push  192.168.1.61:5000/bbox-httpd:v0.2

#节点2从私有仓库下载镜像
[root@node-63 ~]# docker pull 192.168.1.61:5000/bbox-httpd:v0.2

在master节点制作对象,严格控制缩进

[root@master ~]# vim deploy-bbox.yaml

apiVersion: extensions/v1beta1
kind: Deployment     
metadata:
  name: deploy-bbox  #名称
spec:                         #定义状态
  replicas: 2               #启动2个
  template:                 #模板
    metadata:
      labels:               #标签
        # Apply this label to pods and default
        # the Deployment label selector to this value
        app: bbox        #键值
    spec:
      containers:         #容器
      - name: bbox-httpd     #名称
        # Run this image
        image: 192.168.1.61:5000/bbox-httpd:v0.2         #使用镜像

使用对象创建服务

[root@master ~]# kubectl -s http://master:8080 create -f ./deploy-bbox.yaml
deployment "deploy-bbox" created

#检查
[root@master ~]# kubectl -s http://master:8080 get pods
NAME                           READY     STATUS    RESTARTS   AGE
deploy-bbox-2224464794-0qz7g   1/1       Running   0          2m
deploy-bbox-2224464794-prn3r   1/1       Running   0          2m


#在node节点上检查
[root@node-63 ~]# docker ps
CONTAINER ID        IMAGE                                                        COMMAND                  CREATED             STATUS              PORTS               NAMES
a62ea351f09a        registry:5000/bbox-httpd:v0.2                                "/bin/httpd -f -h ..."   27 minutes ago      Up 27 minutes                           k8s_bbox-httpd.80dbe7ba_deploy-bbox-2224464794-prn3r_default_cb54e66f-1e51-11e9-b922-000c294b0a1b_0554d71f
f182922c8df9        registry.access.redhat.com/rhel7/pod-infrastructure:latest   "/usr/bin/pod"           28 minutes ago      Up 27 minutes                           k8s_POD.ae8ee9ac_deploy-bbox-2224464794-prn3r_default_cb54e66f-1e51-11e9-b922-000c294b0a1b_f68413f2

#查询pod的ip地址
...............
 "IPAddress": "10.7.25.2",

#测试，并显示测试页面
[root@node-63 ~]# curl http://10.7.25.2
<h1>Busybox  Test Httpd Server</h1>
<h2>k8s cluster</h2>

#删除服务
[root@master ~]# kubectl -s http://master:8080 delete -f ./deploy-bbox.yaml
deployment "deploy-bbox" deleted

集群内访问service

#编辑service对象
[root@master ~]# vim bbox-httpd-service.yaml
kind: Service    #定义类型为服务
apiVersion: v1
metadata:
  # Unique key of the Service instance
  name: bbox-httpd-service     #名称
spec:
  ports:
    # Accept traffic sent to port 80
    - name: http
      port: 80                    #监听端口
      targetPort: 80          #暴露端口
  selector:
    # Loadbalance traffic across Pods matching
    # this label selector
    app: bbox
  type: LoadBalancer      #访问为轮询

#创建服务
[root@master ~]# kubectl -s http://master:8080  create -f ./bbox-httpd-service.yaml 
service "bbox-httpd-service" created

#查询服务状态
[root@master ~]# kubectl -s http://master:8080  get service
NAME                 CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
bbox-httpd-service   10.254.18.11   <pending>     80:31849/TCP   14s
kubernetes           10.254.0.1     <none>        443/TCP        7d

[root@master ~]# kubectl -s http://master:8080  describe service
Name:           bbox-httpd-service
Namespace:      default
Labels:         <none>
Selector:       app=bbox
Type:           LoadBalancer
IP:         10.254.241.102
Port:           http    80/TCP
NodePort:       http    32303/TCP
Endpoints:      10.20.52.2:80,10.20.64.2:80
Session Affinity:   None
No events.


#node节点上的iptable规则
[root@node-63 ~]# iptables -t nat -vnL | grep 10.254
    0     0 KUBE-SVC-PJU34ZRWOF2LNB5M  tcp  --  *      *       0.0.0.0/0            10.254.241.102       /* default/bbox-httpd-service:http cluster IP */ tcp dpt:80
    0     0 KUBE-SVC-NPX46M4PTMTKRN6Y  tcp  --  *      *       0.0.0.0/0            10.254.0.1           /* default/kubernetes:https cluster IP */ tcp dpt:443

#集群内部访问测试
[root@node-62 ~]#   curl http://10.254.241.102
<h1>Busybox  Test Httpd Server</h1>
<h2>k8s cluster</h2>

[root@node-63 ~]#   curl http://10.254.241.102
<h1>Busybox  Test Httpd Server</h1>
<h2>k8s cluster</h2>

4、Ingress应用

因为k8s内部使用的ip，只能集群内部使用，因此集群外部无法访问内部应用或服务的ip地址，建立Ingress使service的url映射映射到master的url上，用户访问master的url即可访问内部service。

参考链接：https://cloud.tencent.com/developer/article/1156329

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,185评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,445评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,684评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,564评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,681评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,874评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,025评论 3赞 408
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,761评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,217评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,545评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,694评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,351评论 4赞 332
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,988评论 3赞 315
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,778评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,007评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,427评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,580评论 2赞 349