Hadoop 总结 三 hadoop目录结构以及运行模式
3.1 hadoop目录结构
#查看目录
ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5月 22 2017 share
3.2 重要目录
bin:存放Hadoop相关服务进行的脚本
etc:Hadoop配置文件目录,存放Hadoop配置文件
lib:存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin:存放启动或者停止Hadoop相关服务的脚本
share:存放Hadoop的依赖jar包,文档,官方案例
Hadoop的运行模式
Hadoop运行模式包括:本地模式,伪分布式,以及完全分布式模式
4.1 本地运行模式
以官方案例Wordcount为例
-
在hadoop的安装目录下面创建一个wcinput文件夹
mkdir wcinput -
wcinput文件下创建一个word.txt文件
touch word.txt 编辑文件内容 增加任意单词
-
回到hadoop的安装目录,执行命令
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput -
查看结果
cat wcinput/part-r-00000可以从结果中看到对单词出现次数的统计,并且按照但是字母的顺序进行排序过.
