Auto DevOps之gitlab CI/CD

@[toc]

CI/CD介绍

CI(Continuous Integration)CD(Continuous Delivery/Continuous Deployment)的出现主要是为了帮助我们在开发时能更早的发现代码中的bug,避免我们在这些bug上进行后续的开发(一错再错-.-),甚至将这些bug合并到qa或者staging环境去(错上加错)。

说人话就是,我们在提交代码到git时,git会自动通过脚本进行build跟test,如果这个过程失败了,我们会得到通知,这样我们就知道我们这次提交的代码是有问题的。同时这个检测过程不用任何人工干预(低成本)。

CI/CD的工作流程

  1. 开启一个新的分支
  2. 运行自动化脚本来build或者test我们提交的代码
  3. code review
  4. 运行自动化脚本来deploy我们提交的代码
https://docs.gitlab.com/ee/ci/introduction/img/gitlab_workflow_example_11_9.png

ci整体原理

  1. gitlab-runner定时轮询(由config.toml的check_interval来指定间隔)gitlab
  2. 提交代码到指定分支
  3. gitlab-runner检测到指定分支的代码变动,执行项目中.gitlab-ci.yml中定义的脚本

安装gitlab runner

  1. 创建一个由docker管理的volumes

    docker volumes create gitlab-runner
    #如果选择直接挂载一个文件目录,则忽略这一步
    #相对于直接挂载一个文件目录,该方式有更好的可移植性,其他更多优势[请参考](https://docs.docker.com/storage/volumes/)
    
  2. 创建并启动gitlab-runner容器

    docker run -d --name gitlab-runner --restart always \
        -v /var/run/docker.sock:/var/run/docker.sock \
            -v /bin/docker:/bin/docker \
        -v gitlab-runner-config:/etc/gitlab-runner \
        gitlab/gitlab-runner:latest
    #第一个挂载实现在容器内跟宿主机的docker通信(通过curl)。
    #第二个挂载结合第一个挂载实现在容器内通过普通docker命令的方式跟宿主机通信
    
  3. 注册gitlab-runner

    docker run --rm -it -v gitlab-runner-config:/etc/gitlab-runner gitlab/gitlab-runner:latest register
    # 接下来会有以下几步
    # 1. 填写GitLab instance URL。这个就是我们的gitlab实例的地址,如果是自建的,
    #    就填上自建实例的域名,如果用的官方的,则填上https://gitlab.com
    # 2. 填写token. 打开对应项目-->settings-->ci/cd-->runners,即可看到token
    # 3. 填写description. 这个根据这个runner的用途填写即可,没有特殊的
    # 4. 填写tags. 这个tag让我们可以在.gitlab-ci.yml通过配置来决定本次提交由哪个runner来执行文件中的脚本
    # 5. 选择executor. 这个我选择的是shell。目的是为了能够在容器内跟宿主机的docker通信。
    
  4. 杂项

    1. 由于ci脚本默认由gitlab-runner这个用户执行,而这个用户是没有权限访问docker.sock的。
    所以接下来得先把gitlab-runner的uid改为0.
        1. apt-get update
        2. apt-get install vim
        3. vim /etc/passwd
        4. 找到gitlab-runner这个用户,将其uid改为0。如下
            # 修改前
            gitlab-runner:x:0:123:GitLab Runner:/home/gitlab-runner:/bin/bash
          # 修改后
            gitlab-runner:x:0:0:GitLab Runner:/home/gitlab-runner:/bin/bash
    ----------------------------------
    2. 如果依赖管理插件用的gradle,那么通常还需要java环境。
    这个可以考虑把宿主机的java目录挂载进来
    再在容器内配置java环境变量。或者也可以考虑重新安装
    3. 如果用到了docker-compose,也需要在容器内安装:apt-get install -y docker-compose
    

编写.gitlab-ci.yml

先上一个案例:

stages:
    - build
    - test
    - deploy
job1:
    stage: build
    only: xxx
    tags: defined in gitlab-runner
    before_script: do something
    script: 
    after_script: 
job2:
    stage: test
    allow_failure: true
    only: 
        changes:
            - "xxx.yaml"
job3:
    stage: deploy
    only: 
        refs:
            - main
        changes: 
            - "service-one/*"
  1. stages

    stages指定了ci job可能有的几个阶段。如果我们不指定,默认为build,test,deply。
    其定义的顺序决定了job执行的顺序。所以我们在定义有依赖关系的job时,如果其对应的
    stage本身的顺序跟job的依赖顺序是一致的,就可以省略掉dependencies的定义。
    比如案例中的job2将在job1之后执行,与job的定义顺序无关,取决于stage的定义顺序。
    
  2. job

    上述job1跟job2定义了两个job,job1是job的名字。
    只要不把job名设置为像stages这种关键字就没没问题。
    
  3. stage

    指定当前job的阶段。注意,所有stage相同的job是可以并行运行的。
    这个并行数取决于gitlab-runner的配置文件config.toml中的concurrent来设置
    
  4. only

    这个就是指明在什么情况下触发CI。比如,
    - only后直接跟一个值(only: xxx),则表示应用到哪个分支
    - only下的子项changes则表明哪里有变化(文件或者目录)则触发CI
    - only下的子项refs表明应用到哪个分支或者mr(值为merge_requests时)
    
  5. tags

    指定执行脚本的gitlab-runner。这个tag必须是gitlab-runner注册是填的tag
    
  6. allow_failure

    job执行失败时是否影响后续的job执行。默认值时false
    true: 当前job执行失败不影响后续的job执行
    false: 当前job执行失败则终端整个[pipline](https://docs.gitlab.com/ee/ci/pipelines/)(所有的job跟stage组成的流程)
    
  7. before_scriptscriptafter_script

    执行顺序从前到后。用法通常为
    before_script: 初始化工作
    script: 主体脚本
    after_script: 收尾工作
    

关于更优雅的达成目标

关于如何优雅的实现本文所要达成的目标,我觉得有以下几点阻碍

  1. 如何优雅的让docker容器内的gitlab-runner用户能够访问/var/run/docker.sock
  2. 如何指定ci脚本的执行用户为root
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,193评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,306评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,130评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,110评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,118评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,085评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,007评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,844评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,283评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,508评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,395评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,985评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,630评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,797评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,653评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,553评论 2 352

推荐阅读更多精彩内容