数仓集群部署全过程

云服务器配置：4核8G

云服务器数量：3台

版本：

Zookeeper 3.7.1

Hadoop 3.3.4

HBase 2.4.16

Hive 3.1.3

一、配置好ssh key免密登录

1.首先配置hosts文件

vim /etc/hosts

192.168.10.11 linux1

192.168.10.12 linux2

192.168.10.13 linux3

2.生成ssh rsa

第一台机器

[ubuntu@linux1 conf]$ ssh-keygen -t rsa

[ubuntu@linux1 conf]$ ssh-copy-id linux2

[ubuntu@linux1 conf]$ ssh-copy-id linux3

第二台机器

[ubuntu@linux2 conf]$ ssh-keygen -t rsa

[ubuntu@linux2 conf]$ ssh-copy-id linux1

[ubuntu@linux2 conf]$ ssh-copy-id linux3

第三台机器

[ubuntu@linux3 conf]$ ssh-keygen -t rsa

[ubuntu@linux3 conf]$ ssh-copy-id linux1

[ubuntu@linux3 conf]$ ssh-copy-id linux2

二、zookeeper集群安装

1、下载地址：https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz

2、配置zoo.cfg文件

cp zoo_sample.cfg zoo.cfg

具体配置，修改dateDir,添加日志存放目录

dataDir=/opt/module/apache-zookeeper-3.6.0/Data

dataLogDir=/opt/module/apache-zookeeper-3.6.0/Data/logs

　在末尾增加

server.1=linux1:2888:3888

server.2=linux2:2888:3888

server.3=linux3:2888:3888

3、集群配置

3.1 在/opt/module/apache-zookeeper-3.6.0/Data目录下创建一个myid的文件

[ubuntu@linux1 Data]$ touch myid

vim myid

3台主机分别设置编号：1、2、3

scp -r apache-zookeeper-3.7.1-bin/ ubuntu@linux2:~/soft/

3.2 启动集群

./bin/zkServer.sh start

查看启动状态：./bin/zkServer.sh status

3.3 环境变量

export ZOOKEEPER_HOME=/home/ubuntu/soft/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

三、hadoop集群部署

1、下载地址：https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2、添加hadoop用户：sudo useradd -m hadoop -s /bin/bash

修改密码：sudo passwd hadoop

添加权限：sudo adduser hadoop sudo

3、免密登录

3.1 master-1

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys

scp ~/.ssh/id_rsa.pub hadoop@master-2:/home/hadoop/

3.2 master-2/master-3

mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在，则忽略本命令

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

rm ~/id_rsa.pub # 用完以后就可以删掉

4、java环境变量

export JAVA_HOME=/etc/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

5、配置hadoop环境变量

vim ~/.bashrc

export PATH=$PATH:/home/hadoop/hadoop-3.3.4/bin:/home/hadoop/hadoop-3.3.4/sbin

vim ~/hadoop-3.3.4/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/etc/jdk1.8.0_151

6、配置

6.1 core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://master-1:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/hadoop-3.3.4/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

6.2 hdfs-site.xml

<name>dfs.namenode.secondary.http-address</name>

<value>master-1:50090</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop-3.3.4/hadoop-datas/namenodes</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop-3.3.4/hadoop-datas/datanodes</value>

</property>

6.3 mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>master-1:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master-1:19888</value>

</property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>

</property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>

</property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>

</property>

6.4 yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>master-1</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

7、scp同步文件

8、启动

hdfs namenode -format #第一次启动需要，以后不用

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

8、停止

stop-yarn.sh

stop-dfs.sh

mr-jobhistory-daemon.sh stop historyserver

四、hbase集群部署

1、下载地址：https://dlcdn.apache.org/hbase/2.4.16/hbase-2.4.16-bin.tar.gz

2、配置

2.1 hbase-env.sh

export JAVA_HOME=/etc/jdk1.8.0_151

export HBASE_MANAGES_ZK=false

2.2 hbase-site.xml

<name>hbase.rootdir</name>

<value>hdfs://master-1:9000/HBase</value>

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.master.port</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>master-1,master-2,master-3</value>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/ubuntu/soft/zookeeper/zkData</value>

</property>

2.3 regionservers

master-1

master-2

master-3

2.4 软连接 hadoop 配置文件到 HBase：

ln /home/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml /home/hadoop/hbase-2.4.16/conf/core-site.xml

ln /home/hadoop/hadoop-3.3.4/etc/hadoop/hdfs-site.xml /home/hadoop/hbase-2.4.16/conf/hdfs-site.xml

3、HBase 分发

scp -r hbase-2.4.16 master-2:/home/hadoop/

scp -r hbase-2.4.16 master-3:/home/hadoop/

4、启动

bin/start-hbase.sh

5、停止

bin/stop-hbase.sh

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,163评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,301评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,089评论 0赞 352
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,093评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,110评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,079评论 1赞 295
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,005评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,840评论 0赞 273
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,278评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,497评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,667评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,394评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,980评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,628评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,796评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,649评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,548评论 2赞 352

数仓集群部署全过程

推荐阅读更多精彩内容