storm集群部署

【准备】
1:虚拟机奇数台(3)
2:java环境(java1.7)
3:python环境(python2.7)
3:zookeeper集群环境(投票机制,所以需要奇数台机器)

【python安装】

#准备tar包
python2.7.X.tgz包

#解压
    tar -xzvf Python2.7.x.tgz

#复制至其他两个节点
    scp -r /Python2.7.x root@hadoop2005:/usr/local
    scp -r /Python2.7.x root@hadoop2006:/usr/local


#进入python目录
    cd Python2.7

#编译
    ./configure --prefix=/usr/local

#make
    make && make install

#进入/usr/local/bin目录
    cd /usr/local/bin    (你会看到编译的python执行文件)

#备份2.6版本
    mv /usr/bin/python /usr/bin/python2.6.6

#建立2.7软连接
    ln -s /usr/local/bin/python2.7 /usr/bin/python

#测试版本
    python --version

【zookeeper安装】
请查看zookeeper安装:http://www.jianshu.com/p/6b53a6a8564a
【storm安装】

#准备storm-0.9.2.tar.gz
    http://apache.mirrors.pair.com/storm/apache-storm-0.9.2-incubating/

#解压
    tar -xzvf storm-0.9.2.tar.gz

#配置
    cd /storm-0.9.2/conf
    vim storm.yaml

#配置项【注意,在配置是,首行留空格符,冒号后面留空格】
    storm.zookeeper.servers:
         - "hadoop2004"
         - "hadoop2005"
         - "hadoop2006"
    storm.zookeeper.port: 2181
    storm.local.dir: "/usr/local/DataStorm"
    nimbus.host: "hadoop2004"
    ui.port: 18080
    supervisor.slots.ports:
           - 6700
           - 6701
           - 6702
           - 6703

#配置STROM_HOME
    vim /etc/profile

    export STORM_HOME=/usr/local/storm-0.92
    export PATH=$STORM_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

#测试
    storm version

#启动ui
    storm ui & 或者 storm ui > /dev/null 2>&1 &

#启动nimbus(在nimbus节点机器上)
    storm nimbus & 或者storm nimbus > /dev/null 2>&1 &

#启动supervisor(在supervisor节点机器上)
    storm supervisor &  或者  storm supervisor > /dev/null 2>&1 &

#查看任务节点
    storm list &

#查看线程 
    jps

这里注意:不是每天机器都启动所有进程,

主机器:启动nimbus  (nohup storm nimbus &)
从机器:启动supervisor (nohup storm supervisor &)
主机器:启动ui (nohup storm ui &)
主机器:启动logviewer (nohup storm logviewer &)

storm配置:【注意,各个配置首行留空格】

storm配置.png

storm_home配置

2017-01-18_145117.png

jps线程查看

2017-01-18_150059.png

访问hadoop2004:18080

2017-01-18_150211.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Date: Nov 17-24, 2017 1. 目的 积累Storm为主的流式大数据处理平台对实时数据处理的相关...
    一只很努力爬树的猫阅读 6,639评论 0 4
  • 背景 OpenShift是目前比较主流的基于Kubernetes的容器云解决方案,OpenShift在kubern...
    小白_18M阅读 4,963评论 0 5
  • Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构,主节点通过配...
    看山远兮阅读 7,959评论 0 7
  • 1. Zookeeper介绍: 1.基本介绍: Zookeeper: 为分布式应用提供分布式协作(协调)服务。使用...
    奉先阅读 10,076评论 0 10
  • 7月某日,一个偶然的机会看见了夏说英文这几个字,就好奇的在微信上搜索了一下,听了夏老师的一篇精讲就义无反顾加入了,...
    角落蜷缩阅读 2,394评论 0 0

友情链接更多精彩内容