通过一个 MapReduce 程序测试 Hadoop,统计 HDFS 中/input/data.txt 文件内单词出现 的次数。
(1)在 Ubuntu 操作系统的~目录下,创建一个文本文件 data.txt。
$ vi data.txt
在 data.txt 文件中输入如下内容,保存并退出。
Hello World
Hello Hadoop
(2)在 HDFS 创建 input 文件夹,命令如下。
$ hdfs dfs -mkdir /input
(3)将 data.txt 上传到 HDFS,命令如下。
$ hdfs dfs -put data.txt /input
(4)查看是否上传成功,命令如下
$ hdfs dfs -ls /input
(5)运行 MapReduce WordCount 例子,命令如下。
$ cd ~/hadoop/share/hadoop/mapreduce
$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output
(6)查看结果。
$ hdfs dfs -cat /output/part-r-00000
(7)关闭Hadoop进程
stop-all.sh