1. Storm是什么?
Apache Storm 是一个免费的开源分布式实时计算系统。
2. 为什么要使用Storm?
- 容易、可靠地处理无限数据流
- 可以和任何编程语言一起使用
- 速度很快:基准测试表明它每秒每个节点可处理超过一百万个元组
- 具有可扩展性,容错性
- 可集成你所要使用的队列和数据库技术
- 使用或操作起来简单、有趣
Storm有很多用例:实时分析,在线机器学习,连续计算,分布式RPC,ETL等。
3. 怎么使用Storm?
3.1 建立开发环境
首先得建立storm开发环境,建立Storm开发环境所需执行的操作步骤:
- (1) 下载发行版Storm,下载后将其解压缩,然后将解压缩的
bin/
目录放在PATH中(相当于设置环境变量) - (2) 为了能够在远程集群上启动和停止拓扑,需要将集群信息放入
~/.storm/storm.yaml
3.1.1 storm开发环境是怎样的?
Storm有两种开发模式:本地开发模式和远程开发模式。
- 在本地模式下,您可以完全在本地计算机上开发和测试拓扑。
- 在远程模式下,您可以提交拓扑以在计算机群集上执行。
在本地模式下开发和测试拓扑,建议使用Maven将Storm包括为项目的开发依赖项。在pom.xml中添加以下内容:
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-client</artifactId>
<version>2.1.0</version>
<scope>provided</scope>
</dependency>
在远程模式下,需要提交拓扑到计算机群集上执行。应在本地安装Storm发行版,它将为您提供可用于与远程集群进行交互的storm
客户端。
本地计算机与远程集群之间的关系。Storm群集由称为"Nimbus"的主节点管理。本地计算机与"Nimbus"进行通信,提交代码(打包成jar形式)和拓扑到集群上执行,并且"Nimbus"将负责在集群周围分发该代码并分配工人来运行拓扑。本地计算机使用称为
storm
的命令行客户端与"Nimbus"进行通信。该storm
客户端仅用于远程模式; 它不用于在本地模式下开发和测试拓扑。
3.2 创建一个新的Storm项目
创建Storm项目进行开发的步骤:
- (1) 将Storm的jars添加到classpath
- (2) 如果使用多语言,则将多语言目录添加到classpath
下面以在eclipse(IntelliJ IDEA类似)里创建storm-starter项目为例。
3.2.1 添加Storm的jars到classpath
之所以要添加Storm的jars到classpath,是因为需要在classpath上使用Storm的jars来开发Storm拓扑。强烈建议使用Maven, 这里有个配置pom.xml的例子。如果您不想使用Maven,则可以在classpath中包含来自Storm发行版的jar。
要在eclipse中设置classpath,请创建一个新的Java项目,将src/jvm/
作为为源路径,并确保lib/
和lib/dev/
中的所有jar都在该项目的Referenced Libraries
部分中。
3.2.2 使用多语言
如果您使用Java以外的其他语言实现spouts或者bolts,则这些实现应位于项目目录multilang/resources/
下。为了使Storm在本地模式下找到这些文件,该resources/
目录必须位于classpath中。您可以在eclipse中通过添加multilang/
为源文件夹来完成此操作。您可能还需要添加multilang / resources
作为源目录。
为了测试一切在eclipse中是否正常运行,您现在应该可以使用Run
该WordCountTopology.java
文件,将在控制台上看到消息发出10秒钟。
总结:到这里,你应该已经知道了 [storm是什么?它的优点有哪些?怎么去使用?]想更详细的了解storm,强烈建议去官网浏览相关文档,要知道具体场景怎么使用可以查阅相应版本的使用文档。