storm集群安装

一、环境准备

1.1 基础环境

主机名称 IP地址
storm-nimbus 192.168.200.110
storm-supervisor1 192.168.200.111
storm-supervisor2 192.168.200.112
[root@storm-supervisor1 ~]# uname -a
Linux storm-supervisor1 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
[root@storm-supervisor1 ~]# getenforce 
Disabled

1.1.1 增加主机名配置

增加storm主机名称【3台服务器】

echo -e '192.168.200.110 storm-nimbus\n192.168.200.111 storm-supervisor1\n192.168.200.112 storm-supervisor2'>>/etc/hosts&&tail -3 /etc/hosts

增加zookeeper主机名称【3台服务器】

echo -e '192.168.200.61 zookeeper1\n192.168.200.62 zookeeper2\n192.168.200.63 zookeeper3'>>/etc/hosts&&tail -3 /etc/hosts

1.2 安装JDK

请参考:Linux下快速安装JDK

1.3 安装zookeeper

请参考:zookeeper集群搭建指南

二、安装storm

2.1 下载

wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.0.5/apache-storm-1.0.5.tar.gz

2.2 解压安装

tar zxf /usr/local/src/apache-storm-1.0.5.tar.gz -C /usr/local/
ln -s /usr/local/apache-storm-1.0.5 /usr/local/storm

2.3 配置环境变量

echo 'export STORM_HOME=/usr/local/storm' >> /etc/profile&&echo 'export PATH=$STORM_HOME/bin:$PATH' >> /etc/profile&&source /etc/profile&&tail -2 /etc/profile

2.4 配置storm

vim /usr/local/storm/conf/storm.yaml

指定zookeeper

 storm.zookeeper.servers:
     - "zookeeper1"
     - "zookeeper2"
     - "zookeeper3"

Nimbus和Supervisor守护进程需要在本地磁盘上的目录来存储少量的状态

 storm.local.dir: "/usr/local/storm/status"

配置nimbus.seeds:用于配置主控节点的地址,可以配置多个

nimbus.seeds: ["storm-nimbus"]

配置supervisor.slots.ports

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

2.5 启动storm

启动nimbus和supervisor

storm nimbus
storm supervisor

查看日志

tail -f /usr/local/storm/logs/nimbus.log
tail -f /usr/local/storm/logs/supervisor.log

2.6 启动storm UI

storm ui
tail -f /usr/local/storm/logs/ui.log 

访问:http://192.168.200.110:8080/index.html

相关参考

storm中文博客

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1. Storm介绍: Storm是实时流计算框架。企业中典型实时分析框架搭建模式: Flume + Kafka ...
    奉先阅读 5,674评论 0 3
  • 背景 OpenShift是目前比较主流的基于Kubernetes的容器云解决方案,OpenShift在kubern...
    小白_18M阅读 5,000评论 0 5
  • Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配...
    看山远兮阅读 7,991评论 0 7
  • storm启停脚本的编写: 第一步:在master节点创建start-supervisor.sh脚本,然后分发到各...
    夙夜M阅读 4,044评论 0 0
  • 首先,恭喜你经过层层申请,最终和我们一起开启这段口才成长之旅,让我们共同珍惜吧。 下面我说一下我们的学习攻略,请认...
    Tom教练阅读 3,085评论 0 2

友情链接更多精彩内容