Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建单机测试环境

本篇内容

  • Spring Cloud 项目结构概览
  • Dockerfile文件准备
  • Jenkins参数设置
  • Jenkins中创建流水线脚本
  • 详细Groovy Pipeline脚本
  • Docker Compose安装
  • WebHook触发构建
  • Git多分支环境下构建
  • Spring Cloud 项目部署Docker中的坑

Spring Cloud 项目结构概览

我以目前我们公司项目为例，我将Spring Cloud项目分成了如下几块

image.png
  1. eureka：服务发现，端口8761
  2. config：配置中心，端口9118
  3. basic：基础服务，提供与业务没有关系的通用service，端口9102
  4. pms：酒店PMS数据回调service，端口9103
  5. host：后台基础信息service，端口9100
  6. business：业务系统service，端口9101
  7. gateway：网关，对外暴露端口为443和8088

maven项目模块化
考虑到项目中的DTO、VO、通用类等在多个service中会使用到，且serivce之间互相调用使用了Fegin,所以，service中项目结构会是这样，以host-service为例：

image.png

host中pom.xml分了3个模块


image.png

模块之间互相引用需要如下几步

  1. mvn -Dmaven.test.skip=true -U clean install 构建jar包并安装到本地
  2. mvn install:install-file 使用install-file命令将jar包上传到本地仓库

  3. 在pom中添加依赖包，会从本地仓库获取指定的包


    image.png

关于详细的模块化步骤，请看此文使用Maven构建多模块项目

Dockerfile文件准备

image.png

创建两个文件夹，docker-test，docker-prod
docker-test为测试环境
docker-prod为正式环境

以测试环境为例，在docker-test中创建Dockerfile


image.png
FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show

ADD /target/futurekey-host.jar app.jar

ENTRYPOINT ["java","-jar","/app.jar"]

target下存放的是编译后的项目jar包

Jenkins参数设置

为了WebHook能够将请求push到Jenkins,需要如下设置


image.png

取消防跨站点请求伪造和允许匿名访问读取


image.png
image.png

Jenkins中创建流水线脚本

创建流水线脚本


image.png

勾选触发远程构建，身份令牌随便填，触发的url为JENKINS_URL/job/eureka/build?token=TOKEN

image.png

  • JENKINS_URL：jenkins的访问地址
  • eureka：此处为脚本的名称
  • TOKEN：输入身份验证令牌

Gitlab项目的Webhook输入jenkins的地址，点击Add webhook

image.png

测试推送


image.png

显示201则为成功


image.png

Groovy流水线脚本格式


image.png

基本格式为

#!groovy
pipeline {
    agent any
    environment {
        ENV="test"
    }

    stages {
        stage('test') {
            steps {
                echo "${ENV}"
            }
        }
    }
}
  • environment: 环境变量，使用时为${xx}格式，xx为变量名
  • stages: 所有流水线的阶段，stages中包含多个stage
  • steps: 脚本执行步骤

流水线语法


image.png

提供了多个步骤的选择


image.png

我现在需要生成获取git clone的脚本

image.png
image.png

点击生成


image.png

生成的脚本复制到文本，后面会使用到。

大致的脚本执行步骤

我的项目前端网页框架用的是VUE Element UI,所以分了两个git项目，每次发布时，只需要将vue编译后的文件夹copy到网关的static文件夹下，然后重写static/index.html为首页即可。

@Configuration
public class DefaultViewConfig implements WebMvcConfigurer {

    @Override
    public void addViewControllers(ViewControllerRegistry registry) {
        registry.addViewController("/").setViewName("forward:/index.html");
        registry.setOrder(Ordered.HIGHEST_PRECEDENCE);
    }
}
image.png

脚本步骤如下

#!groovy
pipeline {
    agent any
    
    environment {
        REPOSITORY="https://gitee.com/lanzhima-show/project.git"
        WEB_REPOSITORY="https://gitee.com/lanzhima-show/web.git"
        JENKINSDIR="/var/lib/jenkins/workspace/"
        PORJECTDIR="eureka/"
        ENV="test"
        FILEDIR="shell/"
    }

    stages {
        stage('获取网页代码') {
            steps {

            }
        }

        stage('获取代码') {
            steps {

            }
        }

        stage('提升shell文件执行权限') {
            steps {

            }
        }

        stage('生成maven jar包') {
            steps {

            }
        }

        stage('编译项目') {
            steps {

            }
        }

        stage('构建docker镜像') {
            steps {

            }
        }

        stage('docker发布') {
            steps {

            }
        }
    }
}

详细Groovy Pipeline脚本

获取网页代码

stage('获取网页代码') {
  echo "start fech code form git:${WEB_REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${WEB_REPOSITORY}"
                sh '''
                    cd ${JENKINSDIR}
                    rm -rf pages
                    mkdir pages
                    cp -rf ${JENKINSDIR}${PORJECTDIR}dist/. ${JENKINSDIR}pages
                '''
}
  1. 删除原来的文件夹
  2. 从Git克隆代码
  3. 创建一个pages的文件夹
  4. 将VUE编译好的dist文件夹下的所有内容，复制到pages文件夹中

获取代码

stage('获取代码') {
          steps {
                echo "start fech code form git:${REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${REPOSITORY}"
                sh '''
                    mv -f ${JENKINSDIR}pages/* ${JENKINSDIR}${PORJECTDIR}project-gateway/src/main/resources/static/
                '''
            }
        }
  1. 删除原来的文件夹
  2. 从Git克隆代码
  3. 将pages文件夹下内容移动到gateway的static下

提升shell文件执行权限

stage('提升shell文件执行权限') {
            steps {
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}${FILEDIR}
                    chmod 755 mvn-build.sh
                    chmod 755 packages-build.sh
                    cd ${JENKINSDIR}${PORJECTDIR}
                    chmod +x docker-compose.yml
                '''
            }
        }

为了能够执行shell脚本，需要赋予权限

maven编译的shell脚本,主要作用是编译可执行jar包，将jar包复制到Dockerfile文件夹中，便于后续docker生成镜像
mvn-build.sh

#!/bin/bash -ilex

PROJECTDIR=$1
MODULEDIR=$2
ENV=$3
JARNAME=$4
cd ${PROJECTDIR}${MODULEDIR}
mvn -Dmaven.test.skip=true -U clean install
mkdir ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target 
cp -f ${PROJECTDIR}${MODULEDIR}target/${JARNAME} ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target/${JARNAME}
  1. 生成jar包
  2. 创建target文件夹
  3. 复制jar包到target文件夹下

打包jar包前，需要对各项目中的模块先进行maven打包,可根据自己的项目进行实际修改
package-build.sh

image.png

Docker Compose编排脚本
经过我测试，如果将所有的容器服务全部放入一个docker-compose.yml中后，由于无法指定启动的先后顺序，并且几个service必须依赖于eureka和config后才能启动，会导致service找不到eureka和config。
所以，我的做法是将整个spring cloud的服务编排做成两个编排脚本

第一个docker-compose.yml负责启动eureka和config
docker-compose.yml

version: "3"
services:
  eureka:
    container_name: eureka
    image: demo/eureka:latest
    ports:
      - "8761:8761"
  
  config:
    image: demo/config:latest
    ports:
      - "9118:9118"
    links:
      - "eureka"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.profiles.active=test

指定eureka的container_name为eureka后，就可以通过容器名称找到eureka服务，所以需要修改环境变量eureka.client.service-url.defaultZone=http://eureka:8761/eureka/

第二个docker-compose.yml负责把service和gateway拉起
docker-compose-service-test.yml

version: "3"
services:
  basic:
    image: demo/basic:latest
    ports:
      - "9102:9102"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test
  
  pms:
    image: demo/pms:latest
    ports:
      - "9103:9103"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  host:
    image: demo/host:latest
    ports:
      - "9100:9100"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  business:
    image: demo/business:latest
    ports:
      - "9101:9101"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  gateway:
    image: demo/gateway:latest
    ports:
      - "443:443"
      - "8088:8088"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

生成maven jar包

stage('生成maven jar包') {
            steps {
                echo "start build maven package"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}packages-build.sh ${JENKINSDIR}${PORJECTDIR}"
            }
        }

编译项目

steps {
                echo "start compile eureka"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-eureka/ ${ENV} demo-eureka.jar"
                echo "start compile config"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-config/ ${ENV} demo-config.jar"
                echo "start compile basic"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-basic/web/ ${ENV} demo-basic.jar"
                echo "start compile pms"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-pms/web/ ${ENV} demo-pms.jar"
                echo "start compile host"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-host/web/ ${ENV} demo-host.jar"
                echo "start compile business"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-business/web/ ${ENV} demo-business.jar"
                echo "start compile gateway"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-gateway/ ${ENV} demo-gateway.jar"
            }

构建docker镜像

steps {
                echo "start build docker images"
                echo "start build eureka image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-eureka/docker-${ENV}
                    docker build -t demo/eureka --rm .
                '''
                echo "start build config image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-config/docker-${ENV}
                    docker build -t demo/config --rm .
                '''
                echo "start build basic image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-basic/web/docker-${ENV}
                    docker build -t demo/basic --rm .
                '''
                echo "start build pms image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-pms/web/docker-${ENV}
                    docker build -t demo/pms --rm .
                '''
                echo "start build host image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-host/web/docker-${ENV}
                    docker build -t demo/host --rm .
                '''
                echo "start build business image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-business/web/docker-${ENV}
                    docker build -t demo/business --rm .
                '''
                echo "start build gateway image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-gateway/docker-${ENV}
                    docker build -t demo/gateway --rm .
                '''
            }

docker发布

steps {
                echo "start deploy"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}
                    docker-compose down --remove-orphans
                    docker-compose -f docker-compose-service-test.yml down
                    docker-compose up -d
                    sleep 45s
                    docker-compose -f docker-compose-service-test.yml up -d
                    docker images|grep none|awk '{print $3}'|xargs docker rmi
                '''
            }

坑1：目前我没有找到让多个docker-compose.yml顺序执行的方法，所以我设置了sleep时间等待，45秒足够让eureka和config启动了。

坑2：在docker-compose down --remove-orphans中，如果不加--remove-orphans,则无法删除依赖的网络，导致后续命令执行时报错，从而发布会中断。

坑3：我使用docker-compose down后，会产品none的镜像，所以我最后会删除none镜像,docker images|grep none|awk '{print $3}'|xargs docker rmi,不知道有没有大佬能够指出我的问题。

Docker Compose安装

安装命令

pip install docker-compose

查看版本

docker-compose -version

重启jenkins

systemctl restart jenkins


WebHook触发构建

我使用的是免费版的gitee，gitee也支持webhook，在gitee中设置


image.png

当每次提交之后，都会触发构建。


image.png

Git多分支环境下构建

现在我们每次push代码都会触发构建，但是一般我们会使用GitFlow管理各分支，这时，自动构建就需要区分是哪个分支的了，一般公司都会按照分支构建开发环境、测试环境、生成环境。
我们可以按照GitFlow工作流，将develop指定为测试环境，master指定为正式环境。

安装Generic Webhook Trigger插件

在Jenkins的插件中心搜索webhook，安装Generic Webhook Trigger插件

image.png

安装成功后，在编辑脚本中，可以看到新增的Generic Webhook Trigger

image.png

定义两个参数，ref为提交的分支名称，project.git_ssh_url为项目的ssh地址

image.png

添加验证表达式

image.png

webhook地址

webhook地址为http://JENKINS_URL/generic-webhook-trigger/invoke

image.png

添加token参数作为验证

image.png

设置新的webhook地址

image.png

构建成功后，能看到各步骤花费了多少时间


image.png

Spring Cloud 项目部署Docker中的坑

  1. 内存问题：centos中JVM默认给一个java进程分配的最大内存空间是在JAVA_OPTS中设置的，如果不手动调整，内存小一点的主机会马上内存吃紧。而spring cloud中明显有多个java项目要执行，所以必须手动调整。
    解决方法：在Dockerfile中添加-Xmx128m的参数，设置最大内存为128mb，你可以根据自己实际的配置进行调整。

2.时区问题：docker中的默认时区是GMT，与当前时间会相差8小时。
解决方法：在Dockerfile中添加-Duser.timezone=GMT+8

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show 

ADD /target/host.jar app.jar

ENTRYPOINT ["java","-Xmx128m","-Duser.timezone=GMT+8","-jar","/app.jar"]
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,386评论 6赞 479
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,939评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,851评论 0赞 341
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,953评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,971评论 5赞 369
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,784评论 1赞 283
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,126评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,765评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,148评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,479评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,080评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2赞 343

推荐阅读更多精彩内容