开始
先说明一下CRD应用的原理
- 用户创建CRD资源结构资源(CustomResourceDefinition)和控制器(一般是一个pod)，控制器就会一直监听etcd里面对应CRD的键(/registry/CustomResourceDefinition/{resource}/{group}/{namespace}/{resource})
- 用户创建CRD资源，会在etcd想对应的位置写入数据
- 控制器读取到写入的数据，进行更新
1.创建项目
cd $GOPATH/src
export GO111MODULE=on
operator-sdk new k8s-app-operator --repo github.com/example-inc/app-operator
cd k8s-app-operator
# 我们发现有下面那些文件
.
├── build
│ ├── Dockerfile
│ └── bin
│ ├── entrypoint
│ └── user_setup
├── cmd
│ └── manager
│ └── main.go
├── deploy
│ ├── operator.yaml
│ ├── role.yaml
│ ├── role_binding.yaml
│ └── service_account.yaml
├── go.mod
├── go.sum
├── pkg
│ ├── apis
│ │ └── apis.go
│ └── controller
│ └── controller.go
├── tools.go
└── version
└── version.go
增加api
operator-sdk add api --api-version=app.example.com/v1alpha1 --kind=AppService
# 我们发现多出来了一部分文件（只保留多出来的部分)
# 如果出现异常invalid memory address or nil pointer dereference，那么需要先设置goroot
├── pkg
│ ├── apis
│ │ ├── addtoscheme_app_v1alpha1.go
│ │ └── app
│ │ ├── group.go
│ │ └── v1alpha1
│ │ ├── appservice_types.go
│ │ ├── doc.go
│ │ ├── register.go
│ │ ├── zz_generated.deepcopy.go
│ │ └── zz_generated.openapi.go
增加控制器
operator-sdk add controller --api-version=app.example.com/v1alpha1 --kind=AppService
# 我们发现多出来了一部分文件（只保留多出来的部分)
├── pkg
│ └── controller
│ ├── add_appservice.go
│ ├── appservice
│ │ └── appservice_controller.go
2.开发
1. 设置CRD中的数据结构
重要的结构体声明在该文件中 pkg/apis/app/v1/appservice_types.go
- 第1级的结构体AppService，一般不去动它
- 第2级的结构体 AppServiceSpec，一般在这个上面加
比如你最后想创建以下的结构
apiVersion: app.example.com/v1alpha1
kind: AppService
metadata:
name: nginx-app
spec:
image: nginx:1.7.9
那么就加入Image字段，同时别忘记import对应的包
import (
appsv1 "k8s.io/api/apps/v1"
corev1 "k8s.io/api/core/v1"
appv1 "github.com/cnych/opdemo/pkg/apis/app/v1"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)
type AppServiceSpec struct {
Image string `json:"image"`
}
流程就是一开始说的
- 一直监听
- 一旦监听到更新，生成新对象资源
- 控制器查询状态并更新资源
关键代码在以下文件，pkg/controller/appservice/appservice_controller.go,也就一个关键的方法非常简单
func (r *ReconcileAppService) Reconcile(request reconcile.Request) (reconcile.Result, error) {
reqLogger := log.WithValues("Request.Namespace", request.Namespace, "Request.Name", request.Name)
reqLogger.Info("Reconciling AppService")
// 获取AppService实例
instance := &appv1alpha1.AppService{}
err := r.client.Get(context.TODO(), request.NamespacedName, instance)
if err != nil {
if errors.IsNotFound(err) {
//找不到请求对象，可以在协调请求后删除。
//拥有的对象会自动进行垃圾回收。 对于其他清理逻辑，请使用终结器。
//返回而不排队
return reconcile.Result{}, nil
}
//读取对象时出错-重新排队请求。
return reconcile.Result{}, err
}
// 根据CRD生成一个新的pod资源对象
pod := newPodForCR(instance)
// Set AppService instance as the owner and controller
if err := controllerutil.SetControllerReference(instance, pod, r.scheme); err != nil {
return reconcile.Result{}, err
}
// 检查pod是否存在
found := &corev1.Pod{}
err = r.client.Get(context.TODO(), types.NamespacedName{Name: pod.Name, Namespace: pod.Namespace}, found)
// 如果不存在pod，name这个if里面去创建
if err != nil && errors.IsNotFound(err) {
reqLogger.Info("Creating a new Pod", "Pod.Namespace", pod.Namespace, "Pod.Name", pod.Name)
// 创建pod
err = r.client.Create(context.TODO(), pod)
if err != nil {
return reconcile.Result{}, err
}
// Pod created successfully - don't requeue
return reconcile.Result{}, nil
} else if err != nil {
return reconcile.Result{}, err
}
// Pod already exists - don't requeue
reqLogger.Info("Skip reconcile: Pod already exists", "Pod.Namespace", found.Namespace, "Pod.Name", found.Name)
return reconcile.Result{}, nil
}
上一个方法中用到了一个newPodForCR方法，实际就是将crd声明中的值放到你想生成的资源的任意地方，比如以下就是创建了一个pod，将name，image写入。当然你也可以创建svc，job等等
func newPodForCR(cr *appv1alpha1.AppService) *corev1.Pod {
labels := map[string]string{
"app": cr.Name,
}
return &corev1.Pod{
ObjectMeta: metav1.ObjectMeta{
Name: cr.Name + "-pod",
Namespace: cr.Namespace,
Labels: labels,
},
Spec: corev1.PodSpec{
Containers: []corev1.Container{
{
//设置名称
Name: cr.Name,
//设置镜像
Image: cr.Spec.Image,
//可以在这里将CRD里面的资源和实际原生的资源进行关联或者自定义
Command: []string{"sleep", "3600"},
},
},
},
}
}
3.调试
1.创建crd声明
kubectl create -f deploy/crds/app_v1alpha1_appservice_crd.yaml
2.本地起控制器
operator-sdk up local
3.创建CRD资源
kubectl create -f deploy/crds/app_v1alpha1_appservice_cr.yaml
# 如下
apiVersion: app.example.com/v1alpha1
kind: AppService
metadata:
name: nginx-app
spec:
image: nginx:1.7.9
4.然后看到起了一个pod
image.png
