开始

先说明一下CRD应用的原理

用户创建CRD资源结构资源(CustomResourceDefinition)和控制器(一般是一个pod)，控制器就会一直监听etcd里面对应CRD的键(/registry/CustomResourceDefinition/{resource}/{group}/{namespace}/{resource})
用户创建CRD资源，会在etcd想对应的位置写入数据
控制器读取到写入的数据，进行更新

1.创建项目

cd $GOPATH/src
export GO111MODULE=on
operator-sdk new k8s-app-operator --repo github.com/example-inc/app-operator
cd k8s-app-operator

# 我们发现有下面那些文件
.
├── build
│   ├── Dockerfile
│   └── bin
│       ├── entrypoint
│       └── user_setup
├── cmd
│   └── manager
│       └── main.go
├── deploy
│   ├── operator.yaml
│   ├── role.yaml
│   ├── role_binding.yaml
│   └── service_account.yaml
├── go.mod
├── go.sum
├── pkg
│   ├── apis
│   │   └── apis.go
│   └── controller
│       └── controller.go
├── tools.go
└── version
    └── version.go

增加api

operator-sdk add api --api-version=app.example.com/v1alpha1 --kind=AppService

# 我们发现多出来了一部分文件（只保留多出来的部分)
# 如果出现异常invalid memory address or nil pointer dereference，那么需要先设置goroot

├── pkg
│   ├── apis
│   │   ├── addtoscheme_app_v1alpha1.go
│   │   └── app
│   │       ├── group.go
│   │       └── v1alpha1
│   │           ├── appservice_types.go
│   │           ├── doc.go
│   │           ├── register.go
│   │           ├── zz_generated.deepcopy.go
│   │           └── zz_generated.openapi.go

增加控制器

operator-sdk add controller --api-version=app.example.com/v1alpha1 --kind=AppService

# 我们发现多出来了一部分文件（只保留多出来的部分)

├── pkg
│   └── controller
│       ├── add_appservice.go
│       ├── appservice
│       │   └── appservice_controller.go

2.开发

1. 设置CRD中的数据结构

重要的结构体声明在该文件中 pkg/apis/app/v1/appservice_types.go

第1级的结构体AppService，一般不去动它
第2级的结构体 AppServiceSpec，一般在这个上面加
比如你最后想创建以下的结构

apiVersion: app.example.com/v1alpha1
kind: AppService
metadata:
  name: nginx-app
spec:
  image: nginx:1.7.9

那么就加入Image字段，同时别忘记import对应的包

import (
    appsv1 "k8s.io/api/apps/v1"
    corev1 "k8s.io/api/core/v1"
    appv1 "github.com/cnych/opdemo/pkg/apis/app/v1"
    metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
)

type AppServiceSpec struct {
    Image     string                      `json:"image"`
}

流程就是一开始说的

一直监听
一旦监听到更新，生成新对象资源
控制器查询状态并更新资源

关键代码在以下文件，pkg/controller/appservice/appservice_controller.go,也就一个关键的方法非常简单

func (r *ReconcileAppService) Reconcile(request reconcile.Request) (reconcile.Result, error) {
    reqLogger := log.WithValues("Request.Namespace", request.Namespace, "Request.Name", request.Name)
    reqLogger.Info("Reconciling AppService")

    // 获取AppService实例
    instance := &appv1alpha1.AppService{}
    err := r.client.Get(context.TODO(), request.NamespacedName, instance)
    if err != nil {
        if errors.IsNotFound(err) {
            //找不到请求对象，可以在协调请求后删除。
            //拥有的对象会自动进行垃圾回收。 对于其他清理逻辑，请使用终结器。
            //返回而不排队
            return reconcile.Result{}, nil
        }
        //读取对象时出错-重新排队请求。
        return reconcile.Result{}, err
    }

    // 根据CRD生成一个新的pod资源对象
    pod := newPodForCR(instance)

    // Set AppService instance as the owner and controller
    if err := controllerutil.SetControllerReference(instance, pod, r.scheme); err != nil {
        return reconcile.Result{}, err
    }

    // 检查pod是否存在
    found := &corev1.Pod{}
    err = r.client.Get(context.TODO(), types.NamespacedName{Name: pod.Name, Namespace: pod.Namespace}, found)
    // 如果不存在pod，name这个if里面去创建
    if err != nil && errors.IsNotFound(err) {
        reqLogger.Info("Creating a new Pod", "Pod.Namespace", pod.Namespace, "Pod.Name", pod.Name)
        // 创建pod
        err = r.client.Create(context.TODO(), pod)
        if err != nil {
            return reconcile.Result{}, err
        }

        // Pod created successfully - don't requeue
        return reconcile.Result{}, nil
    } else if err != nil {
        return reconcile.Result{}, err
    }

    // Pod already exists - don't requeue
    reqLogger.Info("Skip reconcile: Pod already exists", "Pod.Namespace", found.Namespace, "Pod.Name", found.Name)
    return reconcile.Result{}, nil
}

上一个方法中用到了一个newPodForCR方法，实际就是将crd声明中的值放到你想生成的资源的任意地方，比如以下就是创建了一个pod，将name，image写入。当然你也可以创建svc，job等等

func newPodForCR(cr *appv1alpha1.AppService) *corev1.Pod {
    labels := map[string]string{
        "app": cr.Name,
    }
    return &corev1.Pod{
        ObjectMeta: metav1.ObjectMeta{
            Name:      cr.Name + "-pod",
            Namespace: cr.Namespace,
            Labels:    labels,
        },
        Spec: corev1.PodSpec{
            Containers: []corev1.Container{
                {
                    //设置名称
                    Name:    cr.Name,
                    //设置镜像
                    Image:   cr.Spec.Image,
                    //可以在这里将CRD里面的资源和实际原生的资源进行关联或者自定义
                    Command: []string{"sleep", "3600"},
                },
            },
        },
    }
}

3.调试

1.创建crd声明

kubectl create -f deploy/crds/app_v1alpha1_appservice_crd.yaml

2.本地起控制器

operator-sdk up local

3.创建CRD资源

kubectl create -f deploy/crds/app_v1alpha1_appservice_cr.yaml
# 如下
apiVersion: app.example.com/v1alpha1
kind: AppService
metadata:
  name: nginx-app
spec:
  image: nginx:1.7.9

4.然后看到起了一个pod

image.png

k8s-operator 开发教程