指标相关部署文档

  1. common
  2. zookeeper
  3. hadoop
  4. hbase
  5. opentsdb
  6. 指标监控系统部署

common:

IP 角色
192.168.1.80 master
192.168.1.81 slave1
192.168.1.82 slave2

1.将上述映射 添加到host

$ vi /etc/hosts

2.ssh无密码登陆

1.生成秘钥
2.将公钥添加到每个host的authorized_keys

$ ssh-keygen -t rsa             
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

$ scp authorized_keys master:/root/.ssh/
$ scp authorized_keys slave1:/root/.ssh/
$ scp authorized_keys slave2:/root/.ssh/

zookeeper

说明

存放相关数据目录:${zookeeper_data}
存放log日志目录:${zookeeper_log}
解压目录:${zookeeper_home}

1.下载,解压

2.配置

  1. 获取zoo.cfg
cd ${zookeeper_home}
cp zoo_sample.cfg zoo.cfg
  1. 修改zoo.cfg
dataDir=${zookeeper_data}
dataLogDir=${zookeeper_log}
clientPort=2181
//
server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888
  1. 新建myid 文件
vi ${zookeeper_data}/myid 
//写入数字x,该数字与配置文件中的server.x 有关,
//例如 本台服务器为master,则在myid中填入0即可

3.相关命令

  1. 启动
${zookeeper_home}/bin/zkServer.sh start 
  1. 查看状态
${zookeeper_home}/bin/zkServer.sh status
  1. bin/zkServer.sh stop
${zookeeper_home}/bin/zkServer.sh stop

hadoop

1.下载,解压

2.配置

  1. core-site.xml
<property>
        <name>hadoop.tmp.dir</name>
        <value>file://${hadoop_data}</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
  1. hdfs-site.xml
<configuration>
   <property>
        <name>dfs.name.dir</name>
        <value>${hadoop_data}/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>${hadoop_data}/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>
  1. hadoop-env.sh
    添加java的软连接到sbin里面 或者
export JAVA_HOME=${java_home}
  1. 修改slaves文件
vi ${hadoop_home}/etc/hadoop/slaves
//--------
master
slave1
slave2
  1. 分发同步包(将整个hadoop安装目录都拷贝到所有slave服务器:)
 scp -r ${hadoop_home} slave1:${hadoop_home}
 scp -r ${hadoop_home} slave2r:${hadoop_home}

3.相关命令

  1. 启动
${hadoop_home}/sbin/start-all.sh
//
//第一次启动前,需要执行,以后不可以执行
${hadoop_home}/bin namenode -format
  1. 停止
${hadoop_home}/sbin/stop-all.sh

hbase

1.下载,解压

2.配置

  1. hbase-env.sh
export JAVA_HOME=${java_home}
export HBASE_CLASSPATH=${hadoop_home}
  1. hbase-site.xml
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
  
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  
 <property>
    <name>hbase.zookeeper.quorum</name>
   <value>master,slave1,slave2</value>
 </property>
 
 <property>
    <name>hbase.tmp.dir</name>
    <value>/software/tmp/hbase/tmp</value>
</property>
<!-- 开启web-->
<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
</property>
  1. 修改 regionservers
vi ${hbase_home}/conf/regionservers
//
master
slave1
slave2
  1. 分发同步包(将整个hbase安装目录都拷贝到所有slave服务器:)
 scp -r ${hbase_home} slave1:${hbase_home}
 scp -r ${hbase_home} slave2r:${hbase_home}

3.相关命令

  1. 启动
${hbase_home}/bin/start-hbase.sh
  1. 停止
${hbase_home}/bin/stop-hbase.sh

opentsdb

1.下载,安装

rpm -ivh xxx.rpm

2.配置

  1. 导入表到hbase
env COMPRESSION=NONE HBASE_HOME=${hbase_home} /usr/share/opentsdb/tools.create_table.sh
  1. 配置config
vi xxx

tsd.http.cachedir - 临时文件的路径
tsd.http.staticroot - 找到的静态GUI文件的路径./build/staticroot,后台管理用到
tsd.storage.hbase.zk_quorum - 如果HBase和Zookeeper未在同一台计算机上运行,请在此处指定主机和端口。

3.相关命令

  1. 启动
service opentsdb start
  1. 关闭
seervice opentsdb stop

指标监控系统部署

1.编译 打成jar包
mvn clean package

(打包前,需要自己修改配置参数)
2.运行
nohup java -jar xxxx.jar &
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容

  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,748评论 0 14
  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 129,840评论 12 168
  • hadoop2集群搭建详解------------------------天津九安医疗电子--吴伟 一、需要软件 ...
    hogface阅读 1,810评论 1 4
  • 想起曾经取悦别人的堆笑的嘴脸,真想伸手抓住那个自己的衣领,狠狠地抽一巴掌。有一种愚蠢叫活成别人喜欢的样子!
    麦子的麦地阅读 206评论 0 0
  • 有些故事,不提笔记下来就忘了。 有些人,不拿出来回忆,会在记忆里老去的。 我不想你们老去,我想你们永远和我初见时候...
    58d5298a2f86阅读 169评论 0 0