最近频繁写MapReduce,测试代码需要打jar包上传到服务器上在进行测试,每次调试的时候很是费时费力,故写下该篇文章,对初学hadoop的人来说应该还有用
需要的物件
1.win7系统
2.Hadoop2.7.3对应的win下的工具
传送门1链接:http://pan.baidu.com/s/1dEWgxv7密码:1r9u
3.Hadoop2.7.3.tar.gz(请自行下载初始压缩包,从0到1一步步都会有的:-D)
动手干
1.解压你下载的Hadoop2.7.3.tar.gz到某个盘符下并改名Hadoop2.7.3-win
我的是在F:\jzz\hadoop-2.7.3-win如:
2.添加hadoop的环境变量(和Java jdk相似)
1)新建HADOOP_HOME,把你刚才解压到的路径写上
1)在path后加上HADOOP_HOME变量
方法:;%HADOOP_HOME%\bin
高度注意:\bin不要忘了哦
3.修改配置文件
配置文件的路径在hadoop-2.7.3-win\etc\hadoop下
这里的配置文件如果打不开的话,下载一个超文本编辑器,这里用Notepad++
(Notepad++可以各应用商店随便下,这里就不传了)
3.1修改core-site.xml配置文件
3.2修改hdfs-site.xml配置文件
3.3修改yarn-site.xml配置文件
3.4修改mapred-site.xml配置文件
4.添加hadoop.all文件
解压传送门1中下载的文件,将hadoop.dll拷贝到
C盘Windows\system32下和%HADOOP_HOME%\sbin目录下
5.改变%HADOOP_HOME%\bin目录的内容
将传送门1中解压出来的bin文件下的所有内容都拷贝到%HADOOP_HOME%\bin目录下,重复的文件选择替换,如上图所示
至此,Windows中的hadoop就配置完了,有没有觉得很简单:-D
6.启动hadoop
Win+R键打开命令提示窗口,输入cmd回车
打开黑窗口,先进到%HADOOP_HOME%所在的哪个盘符(我这里是F盘,
命令>f:
注意:大小写均可)如下:
用cd命令进入到%HADOOP_HOME%\bin目录,并格式化namenode
命令>cd jzz\hadoop-2.7.3-win\bin
>hdfs namenode -format
上一步格式化成功,没有报错可以启动hadoop了
命令>cd ..\sbin
>start-all.cmd
执行完上步后黑窗口会自动弹出四个窗口分别启动namenode,datanode,resoucemanage和nodemanage
7.测试hadoop dfs
打开浏览器,输入http://localhost:8088即可看到
输入http://localhost:50070点击utilities即可看到HDFS存储的文件目录
至此,wondows中hadoop的安装就完成了,感兴趣的可以自己写个Wordcount测试MapReduce任务,用eclipse打成jar包执行。和Linux下测试的一样。
附
1.自己写的wordCount的MapReduce
传送门2链接:http://pan.baidu.com/s/1qXZNEPY密码:9sre
2.已经配置好的hadoop-2.7.3-win
传送门3链接:http://pan.baidu.com/s/1bpNDjOj密码:cmo6
有什么问题可留言,相互学习