准备3台机器(node1,node2,node3),每台机器上安装openjdk1.8
3台机器配置无密码访问
hadoop-3.3.3.tar.gz放到3台机器上,解压
(三台)编辑etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0/....
export HADOOP_HOME=/root/package/hadoop-3.3.3
export HADOOP_LOG_DIR={HADOOP_HOME}/pid
(三台) 编辑etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>编辑etc/hadoop/hdfs-site.xml
(node1)
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/package/hadoop-3.3.3/data/namenode</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/package/hadoop-3.3.3/data/datanode</value>
</property>
</configuration>
===============
(node2,node3)
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/package/hadoop-3.3.3/data/datanode</value>
</property>
</configuration>(node1)如果以root启动,需要编辑sbin/start-dfs.sh,bin/stop-dfs.sh
添加
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECURE_DN_USER=hdfs
HDFS_SECONDARYNAMENODE_USER=root(node1)启动hdfs的namenode和datanode
bin/hdfs namenode -format
sbin/start-dfs.sh开放9000和9870,9866,9864端口
(node2,node3)启动datanode
bin/hdfs --daemon start datanode配置yarn
(node1,node2,node3)
<configuration>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/root/package/hadoop-3.3.3/data/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/root/package/hadoop-3.3.3/data/yarn/logs</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node2</value>
</property>
</configuration>(node2)启动yarn resourcemanager,开放8030,8031,8032,8033端口
bin/yarn --daemon start resourcemanager(三台)启动yarn nodemanager,开发8042端口
bin/yarn --daemon start nodemanager
手动搭建hadoop cluster
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 1.解压Hadoop,zookeeper,配置环境变量 #JAVA_HOME JAVA_HOME=/home/ad...
- 以5台服务器为例(node1-node5) node1为namenode,node2为SecondaryNameN...