”微服务一条龙“最佳指南-疑问篇:Supervisor和Gitlab-Runner真烦

最佳指南.jpg

这是”微服务一条龙“的项目第一篇,接下来的一段时间我会结合公司最近在做的小项目来给大家实际讲一下小项目如何使用上这两年流行的微服务docker云部署自动化集成这些让人感觉触不可及的东西。

  1. 项目背景
最近小组有个小项目,是将之前的Pythonscrapy爬虫给做一下初步重构,由我和另外一位同事共同开发,我们分别实现爬虫的Worker端和调度系统的Scheduler端,大概意思就是给各个爬虫脚本至上包上一层“外套”,作为Worker,接收调度端的任务,调度对应的爬虫,具体的我们在接下来的一段时间会详细给大家来介绍,另外,如果大家有更好的想法,欢迎来一起讨论。
  1. 遇到问题
PS:今天刚刚完成了Worker的初版,前后大概用了两周,最终实现的还是一个很简单的功能,很惭愧啊!
说回问题,今天在做Worker部署时需要Worker动态加载Spider模块中所有爬虫模块(其实他们就是一些脚本,导入的时候使用了Python动态导入的功能),目前Spider目录只是通过Gitlab-Ci工具Gitlab-Runner来做一个自动集成,自动更新服务器上面的目录而已,很LOW是不是,是不是想吐槽。Gitlab-Runner部署测试好之后,就要思考一个问题,“Gitlab-Runner如何保证始终处于运行状态以及出错之后怎么自动重启”其实归根结底就是一个问题如何保证Gitlab-Runner稳定性。
于是想到了之前经常用的工具--Supervisor这个工具是由Python编写的一个可以将程序转化为系统后台程序的工具,有点类似于Systemctl将程序变为内置程序,由系统进行操作,启动或者结束,部署的过程很简单,按照官网的教程,一步步实现、安装。直到遇到问题,按照Supervisor启动的Gitlab-Runner程序不能接受新的任务,怎么回事????

3.分析问题

(1) 直接启动Gitlab-Runner可以使用吗?
(2)Supervisor启动Gitlab-Runner的脚本是否有问题?
(3)Supervisor启动的Gitlab-Runner是否运行正常?
我们按照正常逻辑来考虑

首先这个由Supervisor启动的程序是否正常,运行supervisorctl status我们可以发现,它是正常运行的,我们再看看ps aux / grep gitlab中gitlab程序是否是正常,结果我们可以发现启动该进程的是ROOT用户,我们不知道这个是不是正常,但是可以先留着之后作为证据。
第二步,我们看看直接启动Gitlab-Runner可以接受任务吗,我们直接gitlab-runner run结果发现,这是可以正常接收任务的,我们再来看看进程情况,同样ps aux / grep gitlab,看看两次有何不同,结果发现了只是执行用户不同,不同的执行用户影响这么大?,我们看看官方文档,还是不太理解,为什么非ROOT用户起的进程就可以接受任务?这个问题其实一直没有解决,希望热心网友能够给解决一下,下面说一下我的处理办法,我是根据修改Supervisor的程序配置,也就是Gitlab-Runner的启动方式来修改使其成为非ROOT用户启动最终解决问题的,gitlab-runner run -c config.toml -u user这样的话,启动的程序自然是普通用户,不过最后疑问还是没解决。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,530评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,403评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,120评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,770评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,758评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,649评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,021评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,675评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,931评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,751评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,410评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,004评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,969评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,042评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,493评论 2 343

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 一、持续集成(Continuous Integration) 要了解GitLab-CI与GitLab Runner...
    tsyeyuanfeng阅读 97,874评论 18 134
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,431评论 25 707
  • 文/凤墨染 【第二十七章】血域玄冰 本来想叫紫澜出去看看,但紫澜见着银月的外袍已经被烧了个干净,身上的小火苗正蠢蠢...
    凤墨染阅读 647评论 10 8
  • UI将从web(用户)、移动(app和H5)和管理后台三个方面进行阐述。通知通知,就是让消息第一时间到达,让用户第...
    贾老师和他的朋友们阅读 659评论 0 0