Jenkins高可用方案汇总

前言

现在的企业很多都在用Jenkins做持续集成,各个业务端都依靠Jenkins,部署Jenkins服务时如何保障服务的高可用变得尤为重要。以下是最近收集的一些方案。

Gearman + Jenkins

这是openstack团队使用的方案,Jenkins本身是单体的,即只能有一个Jenkins Master。虽然你也可以在多台机器上部署多个Jenkins Master,但这些Master之间没有联系,都是各自把任务交给手下的slaver去执行,没有任何交集。也许某个master下的slaver很忙,而另一个master下的slaver却很闲,资源得不到充分利用。这个方案使用了gearman, gearman是个任务分发框架。

需要在每个Master上安装好gearman的插件,并配置好能连接到gearman server,同时在每个Master必须建立相同的job。之后运行任务的流程如下:

1、gearman worker运行在各个Jenkins Master中等待gearman server分发任务;

2、gearman client向gearman server发出运行job的请求;

3、gearman server通知各个gearman worker有任务拉,第一个闲着的worker会接受任务,如果所有的worker都忙,则放入gearman的任务队列,得worker空闲时再分配;

4、gearman worker闲下来后会从任务队列里取job来执行,执行完之后,将结果发回给gearman server;

5、gearman server将结果返回给 gearman client。

这样各个salver资源可以得到充分利用,某个master挂掉另外的master可以继续服务。

详细信息可参考gearman插件说明

Jenkins + Apache Mesos + Marathon

Apache Mesos是一个开源的资源管理和调度平台。大概的架构就是一个Mesos Master下面挂着多个mesos slaver资源。 Marathon是一个mesos框架。

Marathon将Jenkins master部署在mesos资源池中。将Jenkins注册为mesos的framework,则在jenkins构建时,会向mesos申请资源,申请资源成功,则执行构建,执行任务结束则将资源释放。

如果Marathon监测到Jenkins应用挂了,会马上使用Mesos资源重新启动Jenkins。所以Jenkins可能被部署在mesos资源的各个slaver机器。

那怎么保证数据一致呢?这个可以使用Jenkins插件SCM Sync configuration plugin。安装此插件后,Jenkins的各种配置有更改时,都会将修改提交到相应的Git库。保证所有的配置信息不会丢失,当Jenkins重新在别的机器上启动后, 从git上将配置下载下来,这样就保证数据一致了。

详细信息可参看如何搭建弹性高可用的持续集成环境

改造Jenkins的文件存储方式

目前Jenkins的配置文件都是直接在硬盘上以文件形式存储的,你在JENKINS_HOME的个文件夹下能看到各种.xml文件。有些公司在Jenkins上进行二次开发,将Jenkins的数据存储方式改为数据库存储,这样前端可以起多个Jenkins服务,后端连相同的数据库即可。数据库也有比较成熟的高可用方案。

最简单的Jenkins一主一备模式

平时让Jenkins A机器提供服务,并使用SCM Sync configuration plugin保存数据,JenkinsA机器修改配置后触发Jenins B更新配置,一旦Jenkins A出现问题挂掉后,切换到备机Jenkins B上。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,853评论 18 139
  • 概述 持续集成的速度是衡量一个团队敏捷水平的核心指标之一,CI也需要持续升级。 CI1.0 单机,集中式,只有一台...
    真徐小白阅读 3,486评论 1 19
  • 摘要 为了满足渲染、基因测序等计算密集型服务的需求,UCloud 已推出了“计算工厂”产品,让用户可以快速创建大量...
    UCloud云计算阅读 766评论 0 1
  • 最近乌鲁木齐的天空蓝的不像话,简直太美了!走在路上,抬头发现换一个角度看天空显现了不同的美! 利用相机和大楼的线条...
    荷语微光阅读 183评论 2 0
  • 题记:新春佳节近了 年味越发浓 午后闲暇总想的 那儿女情長 过去的时光 伴着几分甜蜜 又有几分优伤 无人能体量 偶...
    柴山木棉阅读 240评论 0 2