Storm(一)打造开发环境&创建一个Storm项目

原文链接Setting Up a Development Environment
原文链接Creating a New Storm Project

一、打造开发环境

只有简单的两步:

1.下载storm,解压,把bin/目录加到PATH
2.把集群信息加入~/.storm/storm.yaml

Storm开发环境是什么

Storm有local和remote两种模式,只要开发和测试Storm的程序,无论哪种模式都需要Storm开发环境。Storm集群由Nimbus主节点维护,bin/目录下的storm客户端程序用来和Nimbus通信,storm客户端只用在remote模式,与local模式没有关系。我们只需要向Nimbus提交code(通常打包成jar格式)和topologies,Nimbus会负责在集群中部署code和指派workers。

本地安装Storm

如前文所述,本地安装Storm就是把bin/目录加到PATH,这样做的唯一目的就是和远程集群通信。本地开发和测试Storm只需要在项目中通过Maven引入相关依赖就行了。

启动和停止集群上的topologies

只需要把Nimbus主节点的地址加入~/.storm/storm.yaml即可,类似这样:
nimbus.seeds: ["123.45.678.890"]

二、创建一个Storm项目

把Storm jars加到classpath

强烈建议使用Maven,pom.xml例子

如果使用多语言,需把multilang目录加入classpath

如果不止使用Java来实现spouts or bolts,那么这些实现应该放在项目的multilang/resources/目录下。为便于Storm找到这些文件,需把resources/目录加入classpath。在eclipse中可以把multilang/目录作为source folder添加。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 背景 OpenShift是目前比较主流的基于Kubernetes的容器云解决方案,OpenShift在kubern...
    小白_18M阅读 1,307评论 0 5
  • Date: Nov 17-24, 2017 1. 目的 积累Storm为主的流式大数据处理平台对实时数据处理的相关...
    一只很努力爬树的猫阅读 2,319评论 0 4
  • Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配...
    看山远兮阅读 3,001评论 0 7
  • storm启停脚本的编写: 第一步:在master节点创建start-supervisor.sh脚本,然后分发到各...
    夙夜M阅读 772评论 0 0
  • 一杯玫瑰花茶带她回到许多年前那个南方的小镇,清新的花香让她回忆起那位老奶奶的音容笑貌,以及老奶奶更久远的故事。 很...
    夕雁无边阅读 399评论 2 4

友情链接更多精彩内容