初识Storm

Storm及其组组件拓扑图

1. Storm是什么?

Apache Storm 是一个免费的开源分布式实时计算系统。

2. 为什么要使用Storm?

  • 容易、可靠地处理无限数据流
  • 可以和任何编程语言一起使用
  • 速度很快:基准测试表明它每秒每个节点可处理超过一百万个元组
  • 具有可扩展性,容错性
  • 可集成你所要使用的队列和数据库技术
  • 使用或操作起来简单、有趣

Storm有很多用例:实时分析,在线机器学习,连续计算,分布式RPC,ETL等。

3. 怎么使用Storm?

3.1 建立开发环境

首先得建立storm开发环境,建立Storm开发环境所需执行的操作步骤:

  • (1) 下载发行版Storm,下载后将其解压缩,然后将解压缩的bin/目录放在PATH中(相当于设置环境变量)
  • (2) 为了能够在远程集群上启动和停止拓扑,需要将集群信息放入 ~/.storm/storm.yaml
3.1.1 storm开发环境是怎样的?

Storm有两种开发模式:本地开发模式远程开发模式

  • 本地模式下,您可以完全在本地计算机上开发和测试拓扑。
  • 远程模式下,您可以提交拓扑以在计算机群集上执行。

本地模式下开发和测试拓扑,建议使用Maven将Storm包括为项目的开发依赖项。在pom.xml中添加以下内容:

<dependency>
  <groupId>org.apache.storm</groupId>
  <artifactId>storm-client</artifactId>
  <version>2.1.0</version>
  <scope>provided</scope>
</dependency>

远程模式下,需要提交拓扑到计算机群集上执行。应在本地安装Storm发行版,它将为您提供可用于与远程集群进行交互的storm客户端。

本地计算机与远程集群之间的关系。Storm群集由称为"Nimbus"的主节点管理。本地计算机与"Nimbus"进行通信,提交代码(打包成jar形式)和拓扑到集群上执行,并且"Nimbus"将负责在集群周围分发该代码并分配工人来运行拓扑。本地计算机使用称为storm的命令行客户端与"Nimbus"进行通信。该storm客户端仅用于远程模式; 它不用于在本地模式下开发和测试拓扑。

3.2 创建一个新的Storm项目

创建Storm项目进行开发的步骤:

  • (1) 将Storm的jars添加到classpath
  • (2) 如果使用多语言,则将多语言目录添加到classpath

下面以在eclipse(IntelliJ IDEA类似)里创建storm-starter项目为例。

3.2.1 添加Storm的jars到classpath

之所以要添加Stormjarsclasspath,是因为需要在classpath上使用Stormjars来开发Storm拓扑。强烈建议使用Maven, 这里有个配置pom.xml的例子。如果您不想使用Maven,则可以在classpath中包含来自Storm发行版的jar。

要在eclipse中设置classpath,请创建一个新的Java项目,将src/jvm/作为为源路径,并确保lib/lib/dev/中的所有jar都在该项目的Referenced Libraries部分中。

3.2.2 使用多语言

如果您使用Java以外的其他语言实现spouts或者bolts,则这些实现应位于项目目录multilang/resources/下。为了使Storm在本地模式下找到这些文件,该resources/目录必须位于classpath中。您可以在eclipse中通过添加multilang/为源文件夹来完成此操作。您可能还需要添加multilang / resources作为源目录。

为了测试一切在eclipse中是否正常运行,您现在应该可以使用RunWordCountTopology.java文件,将在控制台上看到消息发出10秒钟。

总结:到这里,你应该已经知道了 [storm是什么?它的优点有哪些?怎么去使用?]想更详细的了解storm,强烈建议去官网浏览相关文档,要知道具体场景怎么使用可以查阅相应版本的使用文档。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 背景 OpenShift是目前比较主流的基于Kubernetes的容器云解决方案,OpenShift在kubern...
    小白_18M阅读 1,217评论 0 5
  • storm简介 名词解释: spout,读取原始数据为bolt提供数据 bolt ,从spout或其它bolt接收...
    盗梦者_56f2阅读 1,350评论 2 1
  • 1 Storm概述 Storm 是一个实时的、分布式的、可靠的流式数据处理系统。它的工作就是委派各种组件分别 独立...
    lgh1008阅读 1,672评论 0 0
  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,390评论 0 34
  • 这几天我一直处于游离状态,我知道离开癞皮狗和孩子有段时间了,我一个人有点儿承受不来,没来由的悲伤。 应该打电话问下...
    hudietonghua阅读 123评论 0 1