大家好,我是Iggi。
今天我给大家分享的是如何在Mac系统上配置Hadoop-3.1.1版本的开发环境。
1.展示基础环境截图。

IDE版本

操作系统版本

Hadoop 生态圈中各个组件版本
2.下载Hadoop-3.1.1版本的发布文件。
网络链接如下:https://www-eu.apache.org/dist/hadoop/common/hadoop-3.1.1/

下载文件
下载到本地后解压备用,我的解压目录是:/Users/Iggi/Documents/hadoop-3.1.1

解压后的目录
3.配置环境变量
打开终端输入:vi ~/.bash_profile
倒数第2行追加:export HADOOP_HOME=/Users/Iggi/Documents/hadoop-3.1.1
最后一行修改成这样:export PATH=$JAVA_HOME/bin:$M2_PATH/bin:$HADOOP_HOME/bin:$PATH
编辑完毕后继续在终端输入:source ~/.bash_profile
完成环境变量的更新。
4.配置Hadoop 插件。
下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin
解压后在release目录中复制以下文件到IDE的plugins文件夹内。

复制插件
然后打开IDE配置Hadoop-3.1.1的安装路径,如下图操作。

第一步操作,

第二步操作
然后点击如图下所示:

第三步操作
然后选择如图下所示:

第四步
点击Open后生成蓝色小象。
5.添加集群配置点击蓝色小象,如图操作。

点击蓝色小象
配置集群参数,如下图所示。

配置MapReduce与HDFS
MapReduce参考Advanced mapred-site配置中

MapReduce配置
DFS参考Advanced core-site配置中

DFS配置
6.验证配置

最终效果
至此,在Mac系统下配置Hadoop-3.1.1完毕。