准备3台机器(node1,node2,node3),每台机器上安装openjdk1.8
3台机器配置无密码访问
hadoop-3.3.3.tar.gz放到3台机器上,解压
(三台)编辑etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0/....
export HADOOP_HOME=/root/package/hadoop-3.3.3
export HADOOP_LOG_DIR={HADOOP_HOME}/pid(三台) 编辑etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>编辑etc/hadoop/hdfs-site.xml
(node1)
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/package/hadoop-3.3.3/data/namenode</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/package/hadoop-3.3.3/data/datanode</value>
</property>
</configuration>
===============
(node2,node3)
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/package/hadoop-3.3.3/data/datanode</value>
</property>
</configuration>(node1)如果以root启动,需要编辑sbin/start-dfs.sh,bin/stop-dfs.sh
添加
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECURE_DN_USER=hdfs
HDFS_SECONDARYNAMENODE_USER=root(node1)启动hdfs的namenode和datanode
bin/hdfs namenode -format
sbin/start-dfs.sh开放9000和9870,9866,9864端口
(node2,node3)启动datanode
bin/hdfs --daemon start datanode配置yarn
(node1,node2,node3)
<configuration>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/root/package/hadoop-3.3.3/data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/root/package/hadoop-3.3.3/data/yarn/logs</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node2</value>
</property>
</configuration>(node2)启动yarn resourcemanager,开放8030,8031,8032,8033端口
bin/yarn --daemon start resourcemanager(三台)启动yarn nodemanager,开发8042端口
bin/yarn --daemon start nodemanager
手动搭建hadoop cluster
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 1.解压Hadoop,zookeeper,配置环境变量 #JAVA_HOME JAVA_HOME=/home/ad...
- 以5台服务器为例(node1-node5) node1为namenode,node2为SecondaryNameN...