从集群看Storm

0x00:Storm集群的框架

  • ①Storm集群遵循主/从(Master / Slave)架构,和Hadoop等分布式计算技术类似。在主从架构中,通常有一个配置中静态指定或运行时动态选举出的主节点。Storm使用前一种方式,而主/从架构因为引入了单点故障的风险而被诟病。
  • ②Storm的主节点是半容错的:

    ①严格意义上Nimbus不会引起单点故障,因为Nimbus不参与Topology的处理过程,仅仅管理Topology的初始化、任务分发和进行监控。实际上,如果Nimbus守护进程在Topology运行时停止了,只要分配的supervisor和worker健康运行,数据会继续处理。
    ②但是,如果Nimbus已经停止的情况下,Supervisor异常终止,因为没有Nimbus守护进程重新分配失败的任务,数据处理就会失败。

0x01:理解Nimbus守护进程

image.png

0x02:Supervisor守护进程的工作方式

image.png
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配...
    看山远兮阅读 7,982评论 0 7
  • 目录 场景假设 调优步骤和方法 Storm 的部分特性 Storm 并行度 Storm 消息机制 Storm UI...
    mtide阅读 17,247评论 30 60
  • 1. Storm介绍: Storm是实时流计算框架。企业中典型实时分析框架搭建模式: Flume + Kafka ...
    奉先阅读 5,664评论 0 3
  • storm简介 名词解释: spout,读取原始数据为bolt提供数据 bolt ,从spout或其它bolt接收...
    盗梦者_56f2阅读 5,136评论 2 1
  • 朵朵自从高中那年看完~~微微一笑很倾城之后,整个人迷上了网游。少女怀春?不知道这句话用在这件事儿上合不合适。
    大雪孤城阅读 1,360评论 0 1

友情链接更多精彩内容