Hadoop伪分布式安装

伪分布式的安装步骤

1. 我使用的是CentOS 7系统，CentOS 8 系统部分命令无法使用。

2. 本文档只是一个从0开始学习的笔记。

3. 出现错误希望大佬指正。

修改主机名

bash 实施改动

创建hadoop用户

要记住要设置密码

设置ssh免密登录的映射

映射IP地址

#设置静态IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

NAT模式下设置静态IP

更改为 BOOTPROYO=static

在后面添加

IPADDR=192.168.71.111                         71是我电脑的子网号需要要改成自己的，端口号自己设置 

NETMASK=255.255.255.0                      子网掩码  

GATEWAY=192.168.71.2                        网关地址

DNS1=8.8.8.8

编辑内查看

查看自己的子网IP

设置免密登录

ssh登录hadoop1

必须设置hadoop的密码

创建免密登录

回车三次

设置免密

测试是否成功

没有要求输入密码

设置成功

安装jdk

我是直接将文件直接拖到虚拟机中，最好使用Xshell传输不然有错误要重新传输

解压文件

tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/

设置环境变量

vi /etc/proflie

java -version

将hadoop传输到本地服务器

传输

解压

进入hadoop 登录到hadoop1 创建文件夹apps

将hadoop解压到apps

修改hadoop环境变量

cd apps/hadoop-2.7.6/etc/hadoop/

vi hadoop-env.sh

修改hadoop配置文件

vi core-site.xml

vi hdfs-site.xml

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

vim yarn-site.xml

vim ~/.bashrc

hadoop version

hadoop namenode -format

初始化显示为零

开启进程

我使用的是全部开启

也可以分开开启但是必须先开启dfs在开启yarn

$HADOOP_HOME/sbin/start-dfs.sh

$HADOOP_HOME/sbin/start-yarn.sh

jps查看进程

进程有6个正确