腾讯云弹性容器集群eks搭建jenkins动态agent遇到的问题

首先我们需要在agent pod中完成编译,构建镜像,推送镜像,kubectl触发更新。显然我们需要把需要的工具打包成容器镜像,基础镜像为了方便选择了centos7的镜像。
在构建jenkins-agent 镜像时却遇到了几个问题。

镜像中可以使用docker 吗?

[root@4e1e6d1c770d /]# docker ps
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
[root@4e1e6d1c770d /]# systemctl start docker
Failed to get D-Bus connection: Operation not permitted

在我尝试启动docker服务的时候却报错了
但是问题来了:Failed to get D-Bus connection: Operation not permitted

这个问题从字面意思是:无法获取D总线连接:不允许操作
于是去网上查


image.png

那就给他权限执行一下

[root@base4 ~]# docker exec -it f2386757dccef bash
[root@f2386757dcce /]# docker ps
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
[root@f2386757dcce /]# systemctl start docker
Job for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "journalctl -xe" for details.

这时候我的心是崩溃的。后面询问大佬才知道,容器里不能虚拟容器了,这里违背常理的


image.png

那我就知道了

[root@base4 ~]# docker run -itd -v /var/run/docker.sock:/var/run/docker.sock    jenkins/build-tools 
jenkins/build-tools     jenkins/build-tools:v3  jenkins/build-tools:v5  jenkins/build-tools:v7
jenkins/build-tools:v1  jenkins/build-tools:v4  jenkins/build-tools:v6  
[root@base4 ~]# docker run -itd -v /var/run/docker.sock:/var/run/docker.sock    jenkins/build-tools:v
v1  v3  v4  v5  v6  v7  
[root@base4 ~]# docker run -itd -v /var/run/docker.sock:/var/run/docker.sock    jenkins/build-tools:v1 
ffbb25b7ab2941339b192aa36f406c35b790fc8c4ee48f97f989234909b17f7f
[root@base4 ~]# docker exec -it ffbb25b7ab29 bash
[root@ffbb25b7ab29 /]# docker ps
CONTAINER ID   IMAGE                                          COMMAND   CREATED          STATUS          PORTS     NAMES
ffbb25b7ab29   jenkins/build-tools:v1                         "bash"    12 seconds ago   Up 11 seconds             quizzical_euclid
f2386757dcce   jenkins/build-tools:v1                         "init"    6 minutes ago    Up 5 minutes              nervous_herschel
ba1461878116   centos                                         "init"    7 minutes ago    Up 7 minutes              eloquent_bassi

这样问题确实解决了,但新的问题又出现了。

我们的k8s集群使用的时腾讯云的弹性集群,没有docker.sock文件可以挂载呀,这怎么办?

解决方案一

我在想docker有没有api之类的,本机开通api,让其他机器调用
查看官网得知,docker确实是有Remote API,但是默认没有打开
编辑vim /usr/lib/systemd/system/docker.service
在ExecStart=/usr/bin/dockerd 后增加-H=tcp://0.0.0.0:2375
增加后:

image.png

重启服务

sudo systemctl daemon-reload
sudo service docker restart

检查端口

image.png

如何使用:

 docker -H 10.2.0.3:2375 ps
-H 指定docker 的地址

进入容器测试:

 docker -H 10.2.0.3:2375 ps

解决方案二

当我把这个问题告诉了我之前一起学习的同学,他一下子就想到了解决方案。什么docker on docker ,docker in docker. 一些我没听过的东西。最后他告诉我是有现成的开源工具不需要依赖docker 守护镜像就可以完成镜像构建的.在cicd这块完全可以代替docker 完成 pull,push,build等操作。

工具如下

GitHub - genuinetools/img:独立、无守护进程、非特权 Dockerfile 和 OCI 兼容容器映像生成器。

在Release这里可以下载到最新的包


image.png

可以通过介绍中的命令一键安装到你的系统中


image.png

使用上完全兼容docker 的命令
拉取镜像

./img-linux-amd64 pull nginx
image.png

修改tag

./img-linux-amd64 tag nginx:latest nginx:v1
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,548评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,497评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,990评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,618评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,618评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,246评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,819评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,725评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,268评论 1 320
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,356评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,488评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,181评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,862评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,331评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,445评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,897评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,500评论 2 359

推荐阅读更多精彩内容