一、背景
最近接手一个 golang 的项目,存储于 gitlab 上,此次的项目想要使用 Gitlab 自带的 CI 持续集成工具进行自动编译打包部署,之前从未接触过此类东西,故在网上苦苦寻觅,浏览了无数资料,踩了无数的坑,东西虽然不多,但是网上资料没有较为全面的解释,导致过程中很多都会踩坑,现将主要过程以及一些坑整理分享出来,方便即将入坑的朋友。
参考文献:
二、相关解释
1. Gitlab
GitLab 是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的 Git 项目仓库,可通过 Web 界面进行访问公开的或者私人项目。
它拥有与 GitHub 类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。它还提供一个代码片段收集功能可以轻松实现代码复用,便于日后有需要的时候进行查找。
2. Gitlab-CI
Gitlab-CI是GitLab Continuous Integration(Gitlab持续集成)的简称。
从Gitlab的8.0版本开始,gitlab就全面集成了Gitlab-CI,并且对所有项目默认开启。
只要在项目仓库的根目录添加.gitlab-ci.yml文件,并且配置了Runner(运行器),那么每一次合并请求(MR)或者push都会触发CI pipeline。
3. Gitlab-runner
Gitlab-runner 是 .gitlab-ci.yml 脚本的运行器,Gitlab-runner 是基于 Gitlab-CI 的 API 进行构建的相互隔离的机器(或虚拟机)。GitLab Runner 不需要和 Gitlab 安装在同一台机器上,但是考虑到 GitLab Runner 的资源消耗问题和安全问题,也不建议这两者安装在同一台机器上。
Gitlab Runner 分为两种,Shared runners 和 Specific runners。
Specific runners 只能被指定的项目使用,Shared runners 则可以运行所有开启 Allow shared runners 选项的项目。
4. Pipelines
Pipelines 是定义于 .gitlab-ci.yml 中的不同阶段的不同任务。
我把Pipelines 理解为流水线,流水线包含有多个阶段(stages),每个阶段包含有一个或多个工序(jobs),比如先购料、组装、测试、包装再上线销售,每一次push或者MR都要经过流水线之后才可以合格出厂。而 .gitlab-ci.yml 正是定义了这条流水线有哪些阶段,每个阶段要做什么事。
5. Badges
徽章,当 Pipelines 执行完成,会生成徽章,你可以将这些徽章加入到你的 README.md 文件或者你的网站。
三、安装 Gitlab-runner 并使用
1. Gitlab-runner 安装
为简化操作这里我们直接使用 清华大学开源软件镜像站 的资源来进行安装,先选择下载到对应版本的 rpm 安装包并执行安装
wget "https://mirrors.tuna.tsinghua.edu.cn/gitlab-runner/yum/el7/gitlab-runner-11.1.0-1.x86_64.rpm"
rpm -ivh gitlab-runner-11.1.0-1.x86_64.rpm
由于 gitlab 版本关系,需安装对应的 gitlab-runner 版本,版本不支持可能导致网络不通、通讯失败等一堆问题
注意:gitlab-runner 分为 gitlab-ci-multi-runner 以及 gitlab-runner 两个发行库, gitlab-ci-multi-runner 目前已停止维护,最后的版本为9.5.0,改为 gitlab-runner 继续更新,现网上大部分教程都是使用 gitlab-ci-multi-runner 请注意区分。
使用参考: gitlab 11.0.5 gitlab-runner 11.0
2. runner 注册
先进入 gitlab 对应项目 ->设置 -> CI/CD -> Runners 设置, 看见如下图红框所示内容
然后我们使用 gitlab-runner register
来进行 runner 注册
gitlab-runner register
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/)
**此处输入你的 gitlab url,上图红圈标识处可复制**
Please enter the gitlab-ci token for this runner
**此处输入你的 gitlab runner token, 上图红圈标识处可复制**
Please enter the gitlab-ci description for this runner
**描述**
Please enter the gitlab-ci tags for this runner (comma separated):
**tag, 用于.gitlab-ci.yml 中选择 执行 runner,既此处如输入 golang-runner yml文件中的tag需对应 **
Registering runner... succeeded runner=YFgkkzzx
Please enter the executor: shell, ssh, docker-ssh+machine, kubernetes, docker-ssh, parallels, docker+machine, docker, virtualbox:
**选择运行模式,这里我们选择 shell**
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
这里的 shell 是 指脚本直接执行的是本机的资源,还有其余形式 例如 docker, ssh 等, docker 可以指定脚本将程序打包为一个 docker 镜像并运行。
注册完使用 gitlab-runner start
来启动
gitlab-runner run
也可以使用,但这个是类似监听模式,不能关命令行
gitlab-runner status
可查看 runner 运行状态
启动之后可前往 gitlab 对应项目-> 设置 -> CI/CD -> Runners 设置
如上图所示 查看 runner 是否成功运行, 图中第一个为通讯失败,必须为图2所示的绿色原点状态才为成功,如不成功请检查网络、runner 版本等情况
3. Git 部署设置
进入 gitlab 对应项目-> 设置 -> 仓库 -> 部署密钥, 看见如下图红框所示位置
添加当前机器生成的 id_rsa.pub 公钥 (请不要在 Gitlab 账号设置处配置)
此处设置完后续的 .gitlab-ci.yml 脚本执行时会直接 pull 代码
4. .gitlab-ci.yml 文件配置
更多的 .gitlab-ci.yml 配置规则 详见
stages:
- test
- build
before_script:
- PROJECT_NAME=rpc-comment.myzaker.com
- DEPLOY_PATH=$GOPATH/src/$PROJECT_NAME
- echo "copy file to $DEPLOY_PATH"
- mkdir -p $DEPLOY_PATH
- cp -R * $DEPLOY_PATH/
- cd $DEPLOY_PATH
test:
stage: test
script:
- go test
only:
- master
tags:
- golang-runner
build:
stage: build
script:
- go build
- go install
only:
- master
tags:
- golang-runner
上述 .gitlab-ci.yml 文件实现了 [复制最新代码至指定目录] -> [进入程序目录] -> [执行 go test
进行代码测试] -> [执行 go build
编译代码] -> [执行 go install
将二进制可执行文件打包至 $GOPATH/bin 中]
由于设置了 Gitlab 的部署密钥,此处执行脚本时会自动将仓库代码 pull 到当前目录,我们不需要主动去 pull 代码,只需将当前目录下所有文件 cp 到你的项目目录下即可
5. 运行 runner
上一步 .gitlab-ci.yml 指定了 only: - master
表示仅 master 分支代码发生变更时才触发 stage
我们尝试将代码合并到 master 分支 并观察 对应项目 -> CI/CD -> 流水线
如上图所示 显示已通过既整个流程配置完成!如出现错误可点击进入查看错误详情,根据报错进行调整。
此时成功就可以前往服务器查看代码是否成功部署啦!
由于 gitlab-runner 非采用 root 用户 执行命令 也无法是用 sudo 等,故需要将 第三方程序命令设置到系统环境变量中如下:
vim /etc/profile
export PATH=/usr/local/go/bin:$PATH
export export GOPATH=/go
source /etc/profile
如遇权限问题请手动给予对应目录赋权 chmod 755 xxx
祝各位顺利安装!