因为项目中有多个project,所以搭建了一个gitlab server. gitlab除了git的功能之外,还额外提供了CI和DI的功能。因为项目目前没有做集成测试和静态检查,所以CI基本用不到。但是可以用DI来将项目文件打包成docker和vm image. 便于后续部署。
添加 gitlab runner
runner其实就是一个工作机器,gitlab的任务不是在gitlab server上完成的,而是在一些runner上面来执行的。所以第一步要添加runner.
install runner
官网有详细的安装步骤,链接如下:
https://docs.gitlab.com/runner/install/linux-repository.html
需要执行如下命令,以ubuntu为例子:
# For Debian/Ubuntu/Mint
curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh | sudo bash
sudo apt-get install gitlab-runner
configure runner
根据gitlab的定义,runner分为special和shared. 定义如下:
Shared Runners are useful for jobs that have similar requirements,
between multiple projects. Rather than having multiple Runners idling for
many projects, you can have a single or a small number of Runners that handle
multiple projects. This makes it easier to maintain and update Runners.
Specific Runners are useful for jobs that have special requirements or for
projects with a specific demand. If a job has certain requirements, you can set
up the specific Runner with this in mind, while not having to do this for all
Runners. For example, if you want to deploy a certain project, you can setup
a specific Runner to have the right credentials for this.
这里创建一个shared runner.
- 通过root账号登录gitlab,然后找到admin/runners页面。
- 找到这个页面的一个token
- 在runner machine上执行如下命令:
root@worker:/home/zhbo# gitlab-ci-multi-runner register
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
http://172.30.42.156
Please enter the gitlab-ci token for this runner:
a8hH15vcz_ssa4FX8t-r
Please enter the gitlab-ci description for this runner:
[worker]:
Please enter the gitlab-ci tags for this runner (comma separated):
package
Whether to run untagged builds [true/false]:
[false]:
Whether to lock the Runner to current project [true/false]:
[true]: false
Registering runner... succeeded runner=a8hH15vc
Please enter the executor: ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes:
ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes
ERROR: Invalid executor specified
Please enter the executor: ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes:
[ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes]:
ERROR: Invalid executor specified
Please enter the executor: docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes, ssh, docker+machine:
[ssh, docker+machine, docker, docker-ssh, parallels, shell, virtualbox, docker-ssh+machine, kubernetes]: shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!
执行完之后,刷新admin/runners就可以看到新建的runner了。
配置job
上面已经安装好一个可用的runner,接下来是配置在runner上执行的job.
编写.gitlab-ci.yml
gitlab提供了一个很方便的配置工具,就是.gitlab-ci.yml, 将该文件放入到project的根目录下即可。gitlab server上有详细的文档说明,位置如下:
http://gitlab-server-ip/help/ci/yaml/README.md
以fcsslib项目为例,要配置一个生成docker镜像的job, 每次对project打tag的时候就会触发job执行,生成一个fcsslib的镜像,镜像的version是tag的name. .gitlab-ci.yml的内容如下:
after_script:
- docker rmi $( docker images -q -f dangling=true)
stages:
- build
package:
stage: build
script:
- mkdir docker/src
- cp -a app config.py manage.py docker/src/
- cd docker
- docker build -t fcss/taskmgr:$CI_COMMIT_REF_NAME .
only:
- tags
- triggers
tags:
- package
其中Dockerfile的文件组织关系可以根据实际情况进行调整。only 规定了只有git tags操作和triggers才能触发任务,triggers可以在gitlab的project->settings->CI/DI Pipelines下添加,添加之后会生成一个token,使用这个token就可以随时触发一次job了,在测试的时候非常有用。 tags 用来筛选符合条件的runners。
默认的script运行的位置是project的根目录,runner会先将整个project取下来,然后在project根目录下运行job.
更多.gitlab-ci.yml文件的用法可以参考上面说的配置文档。
配置权限
在runner上运行任务的时候使用的是gitlab-runner账户,该账户没有root权限,如果想使用更高的权限可以对gitlab-runner账户进行提权。
这里因为只有docker命令需要更高的权限,可以使用创建docker用户组的方式解决。在runner上使用root账户执行如下命令:
usermod -aG docker gitlab-runner
然后就可以执行docker命令打包了。
docker文件的编写
可以参考docker官方网站的实现。生成的docker镜像也可以根据需要上传到本地仓库便于后续部署。这些操作都可以在job中执行,此处不再做过多说明。
job的触发
按照上面的.gitlab-ci.yml文件中指定的规则,有两种方法可以触发job的执行。
triggers
可以执行如下命令:
http://:gitlab-server/api/v4/projects/:project_id/ref/REF_NAME/trigger/pipeline?token=TOKEN
git tags
可以对当前项目打标签来触发job的执行。git tag的常见命令如下:
列出标签
$ git tag # 在控制台打印出当前仓库的所有标签
$ git tag -l 'v0.1.\*'
打标签
git标签分为两种类型:轻量标签和附注标签。轻量标签是指向提交对象的引用,附注标签则是仓库中的一个独立对象。建议使用附注标签。
创建轻量标签
$ git tag v0.1.2-light
创建附注标签
$ git tag -a v0.1.2 -m “0.1.2版本”
创建轻量标签不需要传递参数,直接指定标签名称即可。
创建附注标签时,参数a即annotated的缩写,指定标签类型,后附标签名。参数m指定标签说明,说明信息会保存在标签对象中。
切换到标签
与切换分支命令相同,用git checkout [tagname]
查看标签信息
用git show命令可以查看标签的版本信息:
$ git show v0.1.2
删除标签
误打或需要修改标签时,需要先将标签删除,再打新标签。
$ git tag -d v0.1.2 # 删除标签
参数d即delete的缩写,意为删除其后指定的标签。
给指定的commit打标签
打标签不必要在head之上,也可在之前的版本上打,这需要你知道某个提交对象的校验和(通过git log获取)。
补打标签
$ git tag -a v0.1.1 9fbc3d0
标签发布
通常的git push不会将标签对象提交到git服务器,我们需要进行显式的操作:
$ git push origin v0.1.2 # 将v0.1.2标签提交到git服务器
$ git push origin –tags # 将本地所有标签一次性提交到git服务器
注意:如果想看之前某个标签状态下的文件,可以这样操作
- git tag 查看当前分支下的标签
- git checkout v0.21 此时会指向打v0.21标签时的代码状态,(但现在处于一个空的分支上)
- cat test.txt 查看某个文件