此文接亿及流量第一篇
1、active-standby高可用架构
为了解决计算平台单点故障问题，我们对数据计算平台进行active-standby拆分，主备互备机制确保计算平台的高可用。基于zookeeper保存计算状态，主备系统基于zookeeper来进行自动切换。
2、master-slave主从分布式计算架构
为了解决单台机器计算负载压力过高的问题，我们将任务调度和任务计算职责分离。计算平台拆分为master和slave节点，master节点负责调度，slave节点负责计算。同时对master节点，为了避免单点故障，我们使用了active-standby模式。master节点主要包括容错机制/重试与恢复、数据分片管理器、数据计算调度器功能。
3、弹性计算资源调度机制
为了解决slave节点间计算负载不均衡问题，我们建立了弹性计算资源调度机制。我们在计算任务调度器中加入metrics统计、任务耗时评估、机器资源监控机制，保证了线上slave节点计算资源的均衡利用，避免了单台机器计算负载过高，计算任务排队时间过长等问题。
4、分布式系统高容错机制
系统重构为分布式构架之后，会带来一系列的问题，因此需要开发一整套的容错机制对节点状态和计算状态进行监控和容错控制。分布式系统高容错机制主要分为slave监控和任务监控两部分。
