Hadoop测试使用

通过一个 MapReduce 程序测试 Hadoop,统计 HDFS 中/input/data.txt 文件内单词出现 的次数。

(1)在 Ubuntu 操作系统的~目录下,创建一个文本文件 data.txt。

$ vi data.txt

在 data.txt 文件中输入如下内容,保存并退出。

Hello World

Hello Hadoop


(2)在 HDFS 创建 input 文件夹,命令如下。

$ hdfs dfs -mkdir /input

(3)将 data.txt 上传到 HDFS,命令如下。

$ hdfs dfs -put data.txt /input

(4)查看是否上传成功,命令如下

$ hdfs dfs -ls /input

(5)运行 MapReduce WordCount 例子,命令如下。

$ cd ~/hadoop/share/hadoop/mapreduce

$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output

(6)查看结果。

$ hdfs dfs -cat /output/part-r-00000


(7)关闭Hadoop进程

stop-all.sh

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容