在Mac下安装Hadoop3.1.0的坑

一、首先要配置好java环境(这个网上多的是这里就。。。)

二、1.关闭防火墙


2.ssh免登陆配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod og-wx ~/.ssh/authorized_keys

测试 ssh localhost如果仍然提示要输入密码,那么可以vim ~/.ssh/config文件,添加以下代码。

Host localhost

  AddKeysToAgent yes

  UseKeychain yes

  IdentityFile ~/.ssh/id_rsa

三、1.下载好Hadoop3.1.0(这里下载http://ftp.riken.jp/net/apache/hadoop/common/hadoop-3.1.0/)

2.我将下载好的Hadoop放到/usr/local/hadoop目录下

3.配置一下Hadoop环境


export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

4.1 配置hadoop-env.sh


4.2配置core-site.xml——指定了NameNode的主机名与端口(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/core-site.xml)

4.3配置hdfs-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/hdfs-site.xml)


4.4配置mapred-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/mapred-site.xml )


4.5配置yarn-site.xml(open /usr/local/hadoop/hadoop-3.1.0/etc/hadoop/yarn-site.xml )


4.6格式化HDFS

在终端上     hdfs namenode -format

我这里没有下面这条信息不知道为啥,😄


4.7 一次启动hadoop所有进程:

在终端上     start-all.sh

4.8 在终端上 敲jps


看看节点是不是都有

放大招啦:测一下

浏览器输入:

http://localhost:9870/而不是http://localhost:50070/

为啥是http://localhost:9870呢,这是Hadoop3后面新特性吧😄,我是在大神指导下发现的😄


最后有不足指出请多多指教😄

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容