1、确保系统中安装配置好jdk,配置了JAVA_HOME
2、去镜像网站下载hadoop稳定版
http://mirror.bit.edu.cn/apache/hadoop/common/
下载名称为hadoop-2.9.0-src.tar.gz和hadoop-2.9.0.tar.gz两个文件,前面一个是源码文件,后面是安装包
3、解压到/opt/hadoop目录下
tar -zxvf hadoop-2.9.0.tar.gz
去/opt/hadoop/hadoop-2.9.0/etc/hadoop目录下修改hadoop-env.sh文件
在export JAVA_HOME=${JAVA_HOME}下面添加
export PATH=$PATH:/opt/hadoop/hadoop-2.9.0/bin
保存之后在命令行中使用source ./hadoop-env.sh
4、运行hadoop自带的wordcount例子
在hadoop-2.9.0目录下新建文件夹input,在input下新建text.txt文件,里面随意写入一些单词,空格间隔。
在hadoop-2.9.0目录下执行如下命令:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input output
最后可以在output文件夹中看到统计单词个数的结果
5、自己运行打包wordcount代码
在/opt/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh中添加如下配置:
export CLASSPATH="/opt/hadoop/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH"
新建文件夹playground,在playground目录下新建文件夹src和class
解压src源码,WordCount.java在目录/opt/hadoop/src/hadoop-src-2.9.0/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples目录下,将WordCount.java拷贝到playground的src目录下。
在playground目录下执行下面命令:
javac -d class/ src/WordCount.java
生成class文件
6、将生成的class文件打包成jar包
jar -cvf WordCount.jar ./WordCount*.class
7、运行生成的jar包
hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount /opt/hadoop/hadoop-2.9.0/input /opt/hadoop/hadoop-2.9.0/output
运行上述命令即可运行wordcount程序,以后我们就可以修改wordcount.java的代码,然后运行测试了。