在容器中运行Jenkins,并启动容器节点进行构建

运行Jenkins有多种方法,有linux/windows安装包,有war包自行发布到Servlet容器(例如Tomcat),最简单干净的就是在容器中运行,运行结束jenkins直接删除容器,不留垃圾。本文记录一次体验:通过容器运行Jenkins,并在其中启动容器节点完成构建步骤。其中一些踩坑经历,相信值得借鉴。本文实验基于Ubuntu 16.04 LTS , Docker 17.06.0-ce,docker-compose 1.8

让容器运行起来

编写docker-compose.yml,内容如下

version: '2'
services:
 web:
  image: 'jenkins:alpine'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'

sudo docker-compose up -d运行,结果如下

image.png

sudo docker-compose logs查看启动log,发现错误提示没有权限写,如下
image.png

原因是,在docker-compose.yml中,做了数据卷绑定- './jks_home:/var/jenkins_home',我们用sudo运行容器,运行时会自动创建jks_home,因为是sudo,所有者和组都是root,而jenkins容器内部运行用户是jenkins(uid:1000,gid:1000,参考Jekins Alpine Dockfile定义),因此当然没有权限往jks_home里写了。
赶紧的sudo chown simon:simon jks_home/
image.png

继续观察log,终于看到
image.png

为什么把jks_home的所有者和组改成simon:simon就可以了呢?上面我们提到jenkins容器内的运行用户jenkins的uid和gid是1000,而simon的uid和gid也是1000,因此容器运行时,从主机看就是以simon在运行,容器不过就是主机的一个进程而已与其他在主机启动进程并无区别,只是为了实现隔离(名称和资源),运行了很多服务进程,对在Docker空间运行进程实施控制,不是很多介绍文章简单认为是轻量级虚拟机。
ps -aux | grep jenkins

image.png

浏览器打开http://192.168.1.101:8080/

image.png

按照画面提示找到密码,因为我们是容器运行,所以sudo docker-compose exec web cat /var/jenkins_home/secrets/initialAdminPassword
image.png

copy密码,贴到浏览器里,继续,后续按照画面提示安装插件(笔者按照suggested的安装),创建用户等步骤,就不一一贴画面了。

最终,创建了一个名为pydocker的pipeline project,如下图

image.png

没有其他配置,只是添加了测试启动Docker Slave的pipeline script

pipeline{
    agent {
        docker {
            image 'ubuntu'
        }
    }
    
    stages {
        stage('Build') {
            steps {
                sh 'uname -a'
                echo 'Building..'
            }
        }
        stage('Test') {
            steps {
                echo 'Testing..'
            }
        }
        stage('Deploy') {
            steps {
                echo 'Deploying....'
            }
        }
    }
}

要运行Docker命令,还需要在jenkins所在容器安装docker客户端,否则构建会出现 docker: not found错误。另外docker客户端与服务器通讯支持2种协议,tcp和unix domain socket,后者只限于服务器在本地的情况,客户端和服务器通过共同访问一个本地socket文件来通讯,如docker用的socket文件默认位置就是/var/run/docker.sock。好了,接下来我们就利用docker的volume mount来直接利用主机上的docker客户端和sock文件,示意图如下

image.png

更新后的docker-compose.yml如下

version: '2'
services:
 web:
  image: 'jenkins:alpine'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'
    - '/var/run/docker.sock:/var/run/docker.sock'
    - '/usr/bin/docker:/usr/bin/docker'

这里又有一个坑,如果你是通过apt安装的docker的话,依然提示 docker: not found错误,原因是apt安装的docker采用的是动态链接编译的,还依赖其他的so文件,而你没有mount到容器,所以找不到相应文件,这里有讨论。解决办法是安装静态编译的docker

好了,接着重启容器sudo docker-compose down && sudo docker-compose up -d,再次在jenkins画面点击立即构建,咦,还是出错

image.png

怎么回事呢,原来jenkins容器里的docker客户端通信要访问docker.sock文件却没有权限
image.png

当前用户是jenkins,不在ping组(gid:999)里,所有的坑都是因为jenkins容器的运行用户时jenkins(uid:1000)造成的,而其他容器化应用,基本都是以root运行的。

因为jenkins可以安装插件,猜测作者是担心插件不安全,所以用普通用户吧

这篇文章做法是新生成容器镜像,授予jenkins超级用户权限,不知道这同直接用root用户运行jenkins有何区别,反正都不安全,测试么,粗糙的编写下面的Dockerfile

FROM jenkins:alpine
USER root

生成镜像sudo docker build --rm -t jks .
改用jks镜像,docker-compose.yml如下

version: '2'
services:
 web:
  image: 'jks'
  restart: unless-stopped
  environment:
    TZ: 'Asia/Shanghai'
  ports:
    - '8080:8080'
    - '50000:50000'
  volumes:
    - './jks_home:/var/jenkins_home'
    - '/var/run/docker.sock:/var/run/docker.sock'
    - '/usr/bin/docker:/usr/bin/docker'

重启jenkins容器sudo docker-compose down && sudo docker-compose up -d,再次在jenkins画面点击立即构建,

image.png

image.png

Finished: SUCCESS,啊,终于跑起来了。

总结

用容器运行jenkins,方便快捷,但是因为镜像用户是jenkins,造成了很多不便,但是精细化控制和易用性总是需要平衡的,目前似乎还没有优雅方案在容器中运行容器。另外,在Docker Cloud服务越来越流行背景之下,jenkins调用容器命令,把镜像发布到docker cloud中运行,方便实现Continuous Delivery。

参考
Running Docker in Jenkins (in Docker)
uid=1000. gid=1000. why 1000?
Continuous Delivery with Docker on Mesos in less than a minute

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容