hadoop命令

一、hadoop基本命令

两种指令均可:

hadoop fs 或者 hdfs dfs 

1.查看hdfs文件系统中已经存在的文件:

hadoop fs -ls /

2.在hdfs问价系统中创建文件

hadoop fs -touchz /test.txt   (/test.txt 指的是像根目录下创建test.txt文件)

3.向hdfs文件系统中文件中追加内容

hadoop fs -appendToFile edit1.xml /edits.txt #将本地磁盘当前目录的edit1.xml内容追加到HDFS根目录 的edits.txt文件

4.查看HDFS文件内容

hadoop fs -cat /test.txt  查看根目录下的test.txt 的内容

5.从本地路径上传hdfs

#用法:hdfs dfs -put /本地路径 /hdfs路径

hdfs dfs -put hadoop-2.7.3.tar.gz /

hdfs dfs -copyFromLocal hadoop-2.7.3.tar.gz /    与put作用一样

hdfs dfs -moveFromLocal hadoop-2.7.3.tar.gz /  与put作用一样,只不过,源文件被拷贝成功后,会被删除

6.在hdfs文件系统上下载文件

hdfs dfs -get /hdfs路径 /本地路径

hdfs dfs -copyToLocal /hdfs路径 /本地路径  #根get作用一样

7.在hdfs文件系统中创建目录

hdfs dfs -mkdir /shell

8.在hdfs文件系统中删除文件

hdfs dfs -rm /edits.txt

hdfs dfs -rm -r /shell

9.在hdfs文件系统中修改文件名称(也可以用来移动文件到目录)

hdfs dfs -mv /xcall.sh /call.sh

hdfs dfs -mv /call.sh /shell

10.在hdfs中拷贝文件到目录

hdfs dfs -cp /xrsync.sh /shell

11.递归删除目录

hdfs dfs -rmr /shell

12.列出本地文件的内容(默认是hdfs文件系统)

hdfs dfs -ls file:///home/hadoop/

13.查找文件

# linux find命令

find . -name 'edit*'

# HDFS find命令

hadoop fs -find / -name part-r-00000 # 在HDFS根目录中,查找part-r-00000文件

二、与getconf结合使用

获取NameNode的节点名称(可能有多个)

hdfs getconf -namenodes 

获取hdfs最小块信息

hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size

查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

三、 hdfs与dfsadmin结合使用

借助帮助信息

hdfs dfsadmin -help safemode

查看hdfs dfsadmin的帮助信息

hdfs dfsadmin

查看当前的模式

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

4. hdfs与fsck结合使用

fsck指令显示HDFS块信息

hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的块信息

5. 其他命令

检查压缩库本地安装情况

hadoop checknative

格式化名称节点(慎用,一般只在初次搭建集群,使用一次;格式化成功后,不要再使用)

hadoop namenode -format

执行自定义jar包

hadoop jar xxxx.jar com.xxx.hadoop.WordCount  /world.txt /out

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 一、前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下。 二、具体 1、启动hadoop...
    BI罗阅读 635评论 0 0
  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 4,489评论 0 2
  • HDFS前言l 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量...
    NickYS阅读 701评论 0 48
  • 与其 通过规章制度让大家 遵守 某项规定 ,时而还要担惊受怕 总有那么一小嘬人 冒天下之大不韪 以身试法 ...
    Helen_Cat阅读 11,465评论 0 0
  • 王冬冬,中原焦点讲师心理咨询师,持续记录624天(2019.8.22) 阅读打卡第407天:《儿童与青少年焦点解决...
    和佛陀去赏花阅读 231评论 0 3

友情链接更多精彩内容