作为一个有6年工作经验的蜘蛛人,已经记不清爬了多少网站的多少数据了,见识到各种各样的数据,在此期间听到看到不少大数据相关的知识点,却又对它们一知半解,故此决定把这些相关技术系统学习一遍并留下学习脚印。
一、下载相关文件
1.JDK下载
3.Windows下安装Hadoop工具下载,提取码:84wg
二、JDK安装
1.JDK安装方法
注:JDK安装路径不能包含空格,否则hadoop找不到JDK
三、hadoop配置
1.解压hadoop到任意目录(我的是放在F:\hadoop目录下)
2.配置环境变量:同JDK环境变量配置
我的电脑:右键->属性->高级系统设置->环境变量->系统变量下新建HADOOP_HOME->Path环境变量中配置%HADOOP_HOME%\bin;
配置完成后点击确定生效
3.修改hadoop配置文件
3.1.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/F:/hadoop/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/F:/hadoop/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.2.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
3.3.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/F:/hadoop/workplace/data</value>
</property>
</configuration>
3.4.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
3.5.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hadoop-env.cmd文件,修改JAVA_HOME为jdk安装目录
set JAVA_HOME=D:\Java\jdk1.8.0_131
3.6.将下载的hadooponwindows.zip压缩包解压,将bin目录中全部文件复制到F:\hadoop\hadoop-2.7.6\bin中,替换全部已存在文件
四、运行hadoop环境
1.打开cmd窗口,执行hdfs namenode -format
2.打开cmd窗口,进入F:\hadoop\hadoop-2.7.6\sbin目录,执行start-all.cmd,它将会启动以下4个进程窗口。
至此,hadoop就启动成功,可以愉快的玩耍啦!!!