Hadoop常用命令
启动HDFS集群：start-dfs.sh
image.png
启动YARN集群：start-yarn.sh
image.png
命令启动HDFS和YARN：start-all-sh
image.png
查看HDSF系统根目录：hdfs dfs -ls /
image.png
创建文件夹：hdfs dfs -mkdir /a
创建文件.png
递归创建文件夹：`hdfs dfs -mkdir -p /aa/bb/cc
递归查看文件夹：hdfs dfs -ls -R /aa
递归创建文件.png
上传文件：
hdsf dfs -put words.txt -/aa或 hdfs dfs -copyFromLocal words.txt /aa/bb
image.png
下载文件
hdfs dfs -get /aa/bb/words.txt ~/newdownloadwords.txt
download.png
合并下载
hdfs dfs -getmerge /aa/bb/word.txt /aa/words.txt ~/2words.txt
image.png
复制
hdfs dfs -cp /aa/words.txt /a
image.png
移动
hdfs dfs -mv /a/words.txt / /aa/bb/cc/强制删除
hdfs dfs -rm -r /aa/words.yxt
image.png
HDFS操作命令 （HDFS操作命令帮助信息 hdfs dfs）
| 命令 | 说明 | 示例 |
|---|---|---|
| -mkdir | hdfs上创建目录 | hdfs dfs -mkdir /data |
| -ls | 列出hdfs文件系统根目录下的目录和文件 | hdfs dfs -ls / |
| -ls -R | 列出hdfs文件系统所有的目录和文件 | hdfs dfs -ls -R / |
| -put | 上传文件或者从键盘输入字符到hdfs | 将本地Linux的文件data.txt上传到hdfs上 hdfs dfs -put data.txt /data/ |
| -moveFromLocal | 与put类似，命令执行后源文件local src会被删除 也可以从键盘读入到hdfs file中 | hdfs -dfs -moveFromLocal data.txt /data/input |
| -copyToLocal | 复制 | |
| -get | 将hdfs中的文件被复制到本地 | hdfs dfs -get /data/input.txt /root/ |
| -rm | 每次可以删除多个文件或目录 | hdfs dfs -rm <hdfs file> 删除多个文件 hdfs dfs -rm -r <hdfs file> ...删除多个目录 |
| -getmerge | 将hdfs指定目录下所有文件排序后合并到local指定的文件中，文件不存在时会自动创建，文件存在时会覆盖里面的内容 | 将hdfs上/data/input目录下的所有文件，合并到本地的a.txt文件中 hdfs dfs -getmerge /data/input/ /root/a.txt |
| -du | 显示hdfs对应路径下每个文件夹和文件的大小 | hdfs dfs -du / |
| -cp | 拷贝hdfs上的文件 | |
| -mv | 移动hdfs上的文件 | |
| -count | 统计hdfs对应路径下的目录个数，文件个数，文件总数大小 | |
| -text 、cat | 将文本文件或某些格式的非文本文件通过文本格式输出 | |
| balancer | 如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手册启动内部的均衡过程。 |
HDFS管理命令 （HDFS管理命令帮助信息 hdfs dfsadmin）
| 命令 | 说明 | 示例 |
|---|---|---|
| -report | 显示文件系统的基本数据 | hdfs dfsadmin -report |
| -safemode | HDFS的安全模式命令 <enter /leave/get/wait> | hdfs dfsadmin -safemode enter / leave/get/wait |
