Hadoop集群环境搭建

最近搞环境需要搭建hadoop环境,现在分享下过程!

1、首先下载相应的安装包,选择相应的版本选择包要是binary的。

2、上传相应的包配置相应环境

使用 tar -zxvf 压缩包 解压, 如果是集群环境配置相应的映射这只限于内网使用 修改 vi /etc/hosts ps:如果不是集群环境忽略

内网映射

3.配置:

配置etc/hadoop 下面的  core-site.xml   添加如下配置:fs:defaultFS 配置namenode hdp-01是主节点名称,9000是端口号,hdfs://是协议

配置

hdfs-site.xml 配置hdfs 文件

服务路径

4、启动 

环境变量和jdk配置一样的,这里给出:

export JAVA_HOME=/root/apps/jdk1.8.0_60

export HADOOP_HOME=/root/apps/hadoop-2.8.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

初始化namenode的元数据目录 :hadoop namenode -format

启动namenode进程:hadoop-daemon.sh startnamenode

启动datanode进程:hadoop-daemon.sh startdatanode

web端访问:http://hdp-01:50070 ,如果50070 端口打不了或者看不了参考这篇文章也就是防火墙问题https://blog.csdn.net/u010458114/article/details/78388015(50070不能访问)

如果是集群环境忽略上面的,我们在/etc/hadoop/slaves 添加自己的节点 ,主节点上使用start-dfs.sh 来自动启动整个集群,stop-dfs.sh 关闭整个集群节点

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容