基于云原生应用架构设计

本文目标

本文介绍基于云原生应用架构设计,实际是《传统软件开发架构向基于云平台转型之路》后面一部分。通过本文获得基于云原生应用架构设计的方法、特点和技术。

架构介绍

云原生架构主要对业务场景、隔离故障、容错、自动恢复等非功能性要求考虑较多,通过云原生架构可实现弹性资源的要求、跨机房的高可用、数据高可用(可达99.9999999%)。

云原生架构概念

敏捷基础设施要求像机器等基础资源,能够支持开发人员、运维人员和业务人员通过代码随时拉取、随时释放,同时以接口的方式提供弹性、按需的计算和存储能力,且是自动化。

持续交付要求业务需求变更、迭代和部署是自动化的。

持续交付架构及流程


DevOps(Development and Operation)是开发运维一体化,实际是让开发人员、测试人员和运维人员沟通、协同和整合,要实现整个过程自动化。

微服务主要采用Unxi设计哲学,让每个功能职责单一化,独立化(独立扩展、升级和部署)、服务化,然后通过服务的联合提供整体功能。

架构设计

架构设计主要包含业务拆分、微服务设计、统一配置中心,其中有一块就是分布式任务及一致性设计。

第一业务拆分

拆分的基本原则是“高内聚、低耦合”,拆分的基本方法,首先确定业务边界,主要依据数据独立,但实践过程比较麻烦,有些业务的边界比较模糊,这个时候建议先统一设计,等边界确定后再拆分,不能强制拆分。其次数据库独立,不同业务访问不同的数据库。然后开发的代码独立,开发时候使用独立工程实现其功能。再确定服务之间通信方式,主要同步、异步和同步异步相结合的方式,同步选择目前常用RESTful、分布式服务框架,异步采用消息队列来实现。最后就是服务独立发布与部署。

第二微服务设计

主要包含服务发现、服务治理、框架选择、服务编排和服务测试。

服务发现是动态感知服务访问地址的变化,有服务端发现和客户端发现,区别在于谁负 责维护服务访问地址的变化,服务端发现模式通过DNS或带VIP的负载均衡实现,客户端 主要向注册服务列表选择请求服务,然后直接发起服务请求。一般公有云提供服务端服务 发现机制。技术选型可选择ZooKeeper或Consul中间件来实现。




基于客户端服务发现


服务治理范围涵盖服务的整个生命周期,从服务建模开始、到开发、测试、审批、发布、运行时治理和服务下线,这里主要讨论的服务运行治理,达到在线治理、实时生效。主要两种方式:弹性扩容和熔断机制。弹性扩展介绍基于kubernetes的Horizonal Pod AutoScaler(HPA)弹性扩容机制,实现方法是通过定期轮训Pod的状态,当Pod状态连续达到提前设置的阈值时候,出发副本控制器,修改其应用副本数量,使Pod的负载中心回到正常范围内。熔断机制是对出现故障的节点,当被调用的时候,防止出现级联反应,中断线路,回到初始状态(比如:用户提交订单,调用支付服务的时候,支付服务调用失败,这个时候启动熔断机制,后续用户可以定位页面继续选择支付,否则产生服务调用级联反应)。




熔断机制


微服务框架有SpringCloud和Dubbo,SpringClound是基于SpringBoot,提供一套完整的解决方案,包含功能有分布式配置、服务注册和发现、路由、服务间调用、负载均衡、断路器、选主、集群状态和分布式消息机制,实现通过SpringCloud Config实现统一配置,通过SpringClund Netflix实现服务发现(Eureka)、智能路由(Zuul)、客户负载均衡(Ribbon)。Dubbo是阿里针对大规模网站应用研发微服务架构,主要应用于长链接小数据的模式提供服务,但如果产品业务后台逻辑复杂、时间长而导致异步逻辑比较多的话,可能Dubbo不太合适。具体请参看官方文档。

服务编排以服务为中心定义服务的弹性伸缩、灰度发布、滚动升级、资源配置等功能组合,基于容器的服务编排结合Docker对容器定义进行组合,实现包含对象定义、语法解析、任务调度和模板管理。

微服务测试主要包括单元测试、接口测试、集成测试和系统测试,实现可以通过Mock来实现,Mock通过定义输入和输出,模拟当前服务需要调用其他服务的情况,这样就可以模拟整个流程来对当前上线的服务进行测试。

第三统一配置中心

配置中心主要解决:每个服务都有很多雨来和配置信息,比如:数据库、缓存、队列、运行阈值和策略等等,当业务扩张一定程度后,就需要由一个配置中心,来应对每个业务配置变更。

配置中心工作流程


分布式定时任务

分布式主要包括分布式定时任务、分布式锁等问题,分布式定时任务需要满足分布式、高可用、弹性扩容和统一管理特征,有抢占式和分配式。抢占式是每个Woker定时任务的最终执行者,通过枪战的方式从调度器节点上获取任务,并定时执行,Worker可以连上任意一个调度器节点,申请分配任务。定时任务的调度逻辑放在调度器节点,并最终持续化到任务中心。分配式是调度器只有一个Master节点,Master节点通过分布式锁服务(zk或Redis实现)选取或者竞争产生,Master及诶单任务中心获取定时任务,分配给Worker定时执行。当Master失效是,Slaver节点会重新选举出Master节点。

抢占式调度,优点是实现简单,调度器Master可以水平扩展,缺点是无法控制Worker节点大量并行轮询,可以通过Worker退避轮询或任务中心缓存热点数据等通过方法规避或者部分解决。分配式调度,优点控制任务分配的节点,保证系统的整体负载是正常,缺点是调度器属于一主从模式,需要额外引入分布式锁服务解决Master选取的问题。

可选用的开源框架有:Quartz、Chronos和Scheduled Job,Quartz应用比较广泛,提供多种触发器供使用,当搭建Quartz集群时候,通过悲观锁和标志字段等方式保证一个作业不会被多个Quartz进程调度。Chronos通过Leader和非Leader节点实现分布式调度控制,具备WEBUI、支持ISO8601重复事件表示法、作业精细化等等优势。Scheduled Job是kubernets用于管理事件的作业。

本文基于《云原生应用架构实践》理解整理而成。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容