初识Storm

Storm及其组组件拓扑图

1. Storm是什么?

Apache Storm 是一个免费的开源分布式实时计算系统。

2. 为什么要使用Storm?

  • 容易、可靠地处理无限数据流
  • 可以和任何编程语言一起使用
  • 速度很快:基准测试表明它每秒每个节点可处理超过一百万个元组
  • 具有可扩展性,容错性
  • 可集成你所要使用的队列和数据库技术
  • 使用或操作起来简单、有趣

Storm有很多用例:实时分析,在线机器学习,连续计算,分布式RPC,ETL等。

3. 怎么使用Storm?

3.1 建立开发环境

首先得建立storm开发环境,建立Storm开发环境所需执行的操作步骤:

  • (1) 下载发行版Storm,下载后将其解压缩,然后将解压缩的bin/目录放在PATH中(相当于设置环境变量)
  • (2) 为了能够在远程集群上启动和停止拓扑,需要将集群信息放入 ~/.storm/storm.yaml
3.1.1 storm开发环境是怎样的?

Storm有两种开发模式:本地开发模式远程开发模式

  • 本地模式下,您可以完全在本地计算机上开发和测试拓扑。
  • 远程模式下,您可以提交拓扑以在计算机群集上执行。

本地模式下开发和测试拓扑,建议使用Maven将Storm包括为项目的开发依赖项。在pom.xml中添加以下内容:

<dependency>
  <groupId>org.apache.storm</groupId>
  <artifactId>storm-client</artifactId>
  <version>2.1.0</version>
  <scope>provided</scope>
</dependency>

远程模式下,需要提交拓扑到计算机群集上执行。应在本地安装Storm发行版,它将为您提供可用于与远程集群进行交互的storm客户端。

本地计算机与远程集群之间的关系。Storm群集由称为"Nimbus"的主节点管理。本地计算机与"Nimbus"进行通信,提交代码(打包成jar形式)和拓扑到集群上执行,并且"Nimbus"将负责在集群周围分发该代码并分配工人来运行拓扑。本地计算机使用称为storm的命令行客户端与"Nimbus"进行通信。该storm客户端仅用于远程模式; 它不用于在本地模式下开发和测试拓扑。

3.2 创建一个新的Storm项目

创建Storm项目进行开发的步骤:

  • (1) 将Storm的jars添加到classpath
  • (2) 如果使用多语言,则将多语言目录添加到classpath

下面以在eclipse(IntelliJ IDEA类似)里创建storm-starter项目为例。

3.2.1 添加Storm的jars到classpath

之所以要添加Stormjarsclasspath,是因为需要在classpath上使用Stormjars来开发Storm拓扑。强烈建议使用Maven, 这里有个配置pom.xml的例子。如果您不想使用Maven,则可以在classpath中包含来自Storm发行版的jar。

要在eclipse中设置classpath,请创建一个新的Java项目,将src/jvm/作为为源路径,并确保lib/lib/dev/中的所有jar都在该项目的Referenced Libraries部分中。

3.2.2 使用多语言

如果您使用Java以外的其他语言实现spouts或者bolts,则这些实现应位于项目目录multilang/resources/下。为了使Storm在本地模式下找到这些文件,该resources/目录必须位于classpath中。您可以在eclipse中通过添加multilang/为源文件夹来完成此操作。您可能还需要添加multilang / resources作为源目录。

为了测试一切在eclipse中是否正常运行,您现在应该可以使用RunWordCountTopology.java文件,将在控制台上看到消息发出10秒钟。

总结:到这里,你应该已经知道了 [storm是什么?它的优点有哪些?怎么去使用?]想更详细的了解storm,强烈建议去官网浏览相关文档,要知道具体场景怎么使用可以查阅相应版本的使用文档。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,372评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,368评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,415评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,157评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,171评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,125评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,028评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,887评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,310评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,533评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,690评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,411评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,004评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,812评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,693评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,577评论 2 353

推荐阅读更多精彩内容

  • 背景 OpenShift是目前比较主流的基于Kubernetes的容器云解决方案,OpenShift在kubern...
    小白_18M阅读 1,177评论 0 5
  • storm简介 名词解释: spout,读取原始数据为bolt提供数据 bolt ,从spout或其它bolt接收...
    盗梦者_56f2阅读 1,323评论 2 1
  • 1 Storm概述 Storm 是一个实时的、分布式的、可靠的流式数据处理系统。它的工作就是委派各种组件分别 独立...
    lgh1008阅读 1,586评论 0 0
  • Zookeeper用于集群主备切换。 YARN让集群具备更好的扩展性。 Spark没有存储能力。 Spark的Ma...
    Yobhel阅读 7,267评论 0 34
  • 这几天我一直处于游离状态,我知道离开癞皮狗和孩子有段时间了,我一个人有点儿承受不来,没来由的悲伤。 应该打电话问下...
    hudietonghua阅读 118评论 0 1